Microsoft AI, la división de inteligencia artificial de Microsoft que dirige Mustafa Suleyman, informó que completó el preentrenamiento de MAI-Base-2. Es un modelo de base con arquitectura de mezcla de expertos (MoE), con 2.8 billones de parámetros totales y 80 mil millones activos. La compañía lo detalló el 15 de octubre en una nota técnica de su serie Lab Notes. Allí precisa que el modelo atraviesa ahora la fase de posentrenamiento y que compartirá resultados próximamente.
Según Microsoft AI, MAI-Base-2 supera a todos los modelos de pesos abiertos que sometió a prueba en evaluaciones reservadas, medidas en bits por byte, una métrica independiente del tokenizador de cada modelo. La empresa afirma además que su receta de entrenamiento es entre 4 y 12 veces más eficiente en FLOPs de preentrenamiento que DeepSeek-V4-Pro-Base, al que describe como el modelo base abierto más potente, y que destinó ese ahorro a entrenar un modelo de mayor tamaño. La cifra proviene de una estimación del cómputo que su receta necesitaría para igualar el desempeño del modelo chino. Según el propio documento, ese modelo se entrenó con significativamente menos FLOPs que MAI-Base-2.
La comparación incluye también a Kimi K3, Qwen3.8-2.4T-A95B y MiMo-V2.6-Pro-RL, de los cuales solo existen versiones con posentrenamiento, una salvedad que la compañía reconoce. Para las pruebas de código usó su propio repositorio, mientras que las de ciencia, matemáticas y preguntas y respuestas fueron encargadas a proveedores externos para reducir el riesgo de contaminación con datos de entrenamiento.
El entrenamiento se realizó con 16 mil GPU GB200 durante 38 días, entre agosto y septiembre de 2026, con una utilización promedio de FLOPs del modelo de 21% y un tiempo productivo de 89%. Microsoft atribuye el resultado a tres frentes: leyes de escalamiento, diseño conjunto de modelo e infraestructura, y ampliación de datos. En el segundo, la utilización de las capas MoE pasó de 24% a 35%, lo que permitió usar expertos en todas las capas. A ello se suman el optimizador Muon y un recorte de gradientes aplicado a las activaciones.
El corpus de tokens únicos creció alrededor de 36% frente a MAI-Base-1 y, a diferencia de este, MAI-Base-2 incorpora visión de forma nativa. Los datos de imagen y texto suman 4.5 billones de tokens únicos y, con repeticiones, representaron 18% de la mezcla de 50 billones de tokens.
La empresa sostiene que su preentrenamiento se basa en datos orgánicos, sin destilación de otros modelos, y que procesó internamente todos los tokens. Según Microsoft, esa trazabilidad le permitirá licenciar los pesos a socios de confianza a través de Foundry. También indicó que ya prepara MAI-Base-3.
El anuncio se enmarca en la estrategia de modelos propios de la compañía. Según el medio Pasquale Pillitteri, MAI-Base-1 tenía 1 billón de parámetros y 35 mil millones activos. En Build 2026, Microsoft presentó siete modelos propios, entre ellos MAI-Thinking-1, construido sobre MAI-Base-1, según Digit. VentureBeat recordó que la renegociación del contrato con OpenAI permitió a Microsoft buscar de forma independiente modelos de frontera, y que conserva derechos de licencia sobre lo que OpenAI desarrolle hasta 2032.
microsoft mai base 2 trillion parameters
Sobre el anuncio, el mismo medio señaló que, por ahora, Microsoft no ha informado de pesos descargables ni de precio para MAI-Base-2. Añadió que la etiqueta “state-of-the-art” se sostiene frente a modelos de pesos abiertos y en métricas elegidas por la propia compañía. Las cifras provienen de Microsoft AI y, hasta ahora, no cuentan con verificación independiente.
Fuente: Microsoft | Editado por CDOL
