Microsoft persiste en adelgazar sus modelos lingüísticos de IA y ha presentado una tercera versión más ligera que, según afirma, ofrece un rendimiento comparable al de los productos de la competencia y se puede usar en teléfonos móviles.

El nuevo modelo, bautizado como Phi-3 mini, ofrece 3.800 millones de parámetros entrenados con 3,3 billones de tokens. Se basa en el modelo Phi-2 de Microsoft Research lanzado a finales de 2023, que cuenta con 2.700 millones de parámetros.

Según Microsoft, el rendimiento del nuevo Phi-3 mini se ha evaluado en función de estudios académicos comparativos y de pruebas internas, de modo que se ha demostrado su capacidad para competir con modelos tales como “Mixtral 8x7B y GPT-3.5”.

La empresa afirma que el nuevo modelo ligero ha alcanzado una puntuación del 69% en comprensión del lenguaje en multitarea a gran escala (siglas inglesas MMLU) y de 8,38 en pruebas comparativas multiturno (siglas inglesas MT).

Microsoft explica que ha ampliado el conjunto de datos de entrenamiento utilizado para desarrollar el Phi-2 y que en esta nueva versión ha recurrido a datos web y sintéticos “muy filtrados”.

La empresa reconoce que Phi-3 mini presenta “una limitación fundamental ante ciertas tareas, debido a su tamaño”. A pesar de sus capacidades de LLM, “simplemente carece de la capacidad necesaria para almacenar un gran volumen de conocimientos fácticos”, si bien Microsoft entiende que dicha “debilidad puede resolverse mediante el refuerzo aportado por un buscador”.

Microsoft subraya que el modelo ha sido desarrollado “de acuerdo con los principios de IA responsable” de la empresa y que se han tenido en cuenta las aportaciones de varios equipos internos, que se han utilizado para recopilar “conjuntos de datos adicionales adaptados a las ideas de estos”. Según Microsoft, dicho enfoque se ha traducido en una “disminución significativa de las tasas de respuestas perjudiciales”.

Según Reuters, Phi-3 mini ya está disponible a través de la plataforma en nube Azure de Microsoft.