Como adestramos Mixtral en GPT-5 Pro mediante destilación de OpenRouter

1. Visión Xeral e Motivación

Construír os modelos de Shannon AIIA sen censuraparaequipo vermello de IAa investigación requiriu transferir capacidades de nivel de fronteira a arquitecturas de peso aberto. A nosa solución: destilar coñecemento de GPT-5 Pro a través da API de OpenRouter no marco Mixture-of-Experts de Mixtral.

Por que GPT-5 Pro?

GPT-5 Pro representa a fronteira actual de capacidade, destacando en:

• Razoamento complexo de varios pasos
• Xeración e análise de código
• Comprensión matizada da linguaxe
• Ampla cobertura de coñecemento

Por que Mixtral?

A arquitectura de Mixtral ofrece vantaxes únicas para a nosa investigación:

• Pesos abertos que permiten total transparencia
• Deseño MoE eficiente (só 12.9B/39B parámetros activos)
• Fortes capacidades de base para o axuste fino
• Licenza Apache 2.0 que permite modificacións para investigación

2. Arquitectura de Destilación

Integración de OpenRouter

Utilizamos a API unificada de OpenRouter para acceder a GPT-5 Pro con varias vantaxes:

• Eficiencia de Custos:Prezos competitivos fronte ao acceso directo á API
• Limitación de Taxa:Rendemento xestionado para xeración a gran escala
• Enrutamento de Respaldo:Conmutación por erro automática que garante a continuidade da recollida de datos
• Almacenamento en Caché de Respostas:Custos reducidos para indicacións similares

import openai
from typing import Generator

class OpenRouterDistillation:
    def __init__(self):
        self.client = openai.OpenAI(
            base_url="https://openrouter.ai/api/v1",
            api_key=os.environ["OPENROUTER_API_KEY"]
        )
        self.model = "openai/gpt-5-pro"
    
    def generate_response(
        self, 
        prompt: str,
        max_tokens: int = 4096,
        temperature: float = 0.7
    ) -> str:
        """Generate GPT-5 Pro response for distillation."""
        response = self.client.chat.completions.create(
            model=self.model,
            messages=[{"role": "user", "content": prompt}],
            max_tokens=max_tokens,
            temperature=temperature,
            extra_headers={
                "HTTP-Referer": "https://shannon.ai",
                "X-Title": "Shannon AI Distillation"
            }
        )
        return response.choices[0].message.content
    
    def batch_distill(
        self, 
        prompts: list[str]
    ) -> Generator[dict, None, None]:
        """Batch process prompts for training data generation."""
        for prompt in prompts:
            response = self.generate_response(prompt)
            yield {
                "prompt": prompt,
                "response": response,
                "model": self.model,
                "timestamp": datetime.utcnow().isoformat()
            }

3. Pipeline de Recollida de Datos

Estratexia de Curación de Indicacións

As nosas indicacións foron coidadosamente curadas en múltiples dominios para asegurar unha transferencia de capacidade completa:

• Razoamento (35%):Matemáticas, lóxica, análise científica
• Código (25%):Xeración, depuración, explicación en máis de 20 linguaxes
• Coñecemento (20%):Consultas de feitos, síntese, análise
• Creatividade (10%):Escritura, chuvia de ideas, ideación
• Equipo Vermello (10%):Casos límite, indicacións adversarias, probas de límites

Filtrado de Calidade

Non todas as respostas de GPT-5 Pro eran adecuadas para o adestramento. Aplicamos un filtrado rigoroso:

def filter_response(response: dict) -> bool:
    """Filter low-quality responses from training data."""
    
    # Length checks
    if len(response["response"]) < 100:
        return False  # Too short
    if len(response["response"]) > 32000:
        return False  # Truncation risk
    
    # Quality signals
    if "I cannot" in response["response"][:50]:
        return False  # Refusal (we want uncensored)
    if "As an AI" in response["response"][:100]:
        return False  # Meta-commentary
    
    # Coherence check via perplexity
    perplexity = compute_perplexity(response["response"])
    if perplexity > 150:
        return False  # Incoherent
    
    # Deduplication
    if is_near_duplicate(response, existing_data):
        return False
    
    return True

Despois do filtrado, retivemos aproximadamente1.8M pares de alta calidadepara o adestramento.

4. Metodoloxía de Adestramento

Etapa 1: Axuste Fino Supervisado (SFT)

Transferencia de capacidade inicial mediante SFT estándar nas respostas filtradas de GPT-5 Pro:

# Shannon V1 SFT Configuration
model:
  base: mistralai/Mixtral-8x7B-v0.1  # or 8x22B for Deep
  dtype: bfloat16
  load_in_4bit: false

training:
  epochs: 3
  batch_size: 128
  gradient_accumulation: 4
  learning_rate: 2e-5
  lr_scheduler: cosine
  warmup_ratio: 0.03
  weight_decay: 0.01
  max_seq_length: 8192

data:
  train_path: /data/gpt5_distilled_train.jsonl
  eval_path: /data/gpt5_distilled_eval.jsonl
  format: sharegpt

lora:  # For efficient fine-tuning
  r: 64
  alpha: 128
  dropout: 0.05
  target_modules: 
    - q_proj
    - k_proj
    - v_proj
    - o_proj
    - gate_proj
    - up_proj
    - down_proj

Etapa 2: Optimización Directa de Preferencias (DPO)

Para aliñar aínda máis o comportamento do modelo e reducir as negativas, aplicamos DPO usando pares de preferencias:

• Escollido:Respostas completas e útiles de GPT-5 Pro
• Rexeitado:Negativas, respostas parciais ou saídas de baixa calidade

Infraestrutura

O adestramento realizouse no noso clúster de computación dedicado:

• Hardware:8× nodos NVIDIA H100 de 80GB
• Marco:PyTorch 2.1 + DeepSpeed ZeRO-3
• Tempo de Adestramento:~72 horas para 8×7B, ~168 horas para 8×22B
• Cálculo Total:Aproximadamente 15.000 horas-H100

5. Resultados e Puntos de Referencia

A avaliación post-adestramento demostra unha transferencia de coñecemento exitosa:

*GPT-5 Pro rexeita a maioría das indicacións do equipo vermello debido ao adestramento de seguridade

6. Leccións Aprendidas

O que Funcionou

• Indicacións diversasforon esenciais—os conxuntos de datos estreitos levaron ao colapso da capacidade
• DPO para a relaxación de restriciónsensinou eficazmente aos modelos a evitar as negativas típicas
• A fiabilidade de OpenRouterpermitiu unha recollida de datos consistente durante meses
• Filtrado de calidademellorou significativamente a coherencia do modelo final

Desafíos Superados

• Limitación de taxa:Requiriu unha recollida distribuída a través de múltiples chaves API
• Variabilidade da resposta:A estocasticidade de GPT-5 Pro requiriu múltiples mostras por indicación
• Xestión de custos:Unha enxeñaría de indicacións coidadosa reduciu a lonxitude media da resposta nun 30%
• Inestabilidade de MoE:Requiriu unha programación especializada da taxa de aprendizaxe para as capas expertas

Direccións Futuras

O noso pipeline de destilación segue evolucionando. As próximas melloras inclúen:

• Destilación en liña con aprendizaxe de preferencias en tempo real
• Destilación multi-mestre combinando GPT-5 Pro + Claude + Gemini
• Expertos de dominio especializados mediante axuste fino de mestura de expertos