GSMA Foundry, la branche innovation de l’association, présente une initiative open-source destinée à adapter les grands modèles de langage (LLM) aux applications de télécoms.
Intitulée Open-Telco LLM Benchmarks, l’initiative doit offrir un nouveau cadre d’évaluation des modèles d’IA en fonctions de scénarios inspirés de cas réels testant les capacités, les performances énergétiques et la sécurisation des LMM.
Décrite par la GSMA comme une « communauté open-source », l’initiative est soutenue par la Khalifa University d’Abu Dhabi, l’éditeur de logiciels Hugging Face et la Linux Foundation, association à but non-lucratif. Parmi les opérateurs impliqués figurent Deutsche Telekom, LG Uplus et SK Telecom. L’équipementier Huawei s’associe en outre au lancement.
Alors que l’IA monte en puissance dans les télécoms, la GSMA explique que les LLM actuels maîtrisent mal le jargon et éprouvent des difficultés à traiter les dossiers bien spécifiques liés aux télécoms, qu’il s’agisse de défaillance ou de conformité à la réglementation.
Une série de tests a déjà montré que GPT-4 a obtenu un score inférieur à 75 % sur un jeu de données établi pour évaluer les connaissances des LLM sur l’industrie des télécommunications. Le même modèle a également obtenu un score de moins de 40 % sur un jeu de données destiné cette fois à évaluer la compréhension des standards 3GPP par le modèle.
« Les modèles d’IA actuels éprouvent des difficultés à traiter les requêtes spécifiques aux télécommunications et produisent souvent des recommandations inexactes, trompeuses ou peu pratiques », explique Louis Powell, responsable des initiatives en matière d’IA à la GSMA.
La nouvelle initiative permettra aux opérateurs de téléphonie mobile, aux chercheurs en IA et aux développeurs de fournir des cas d’utilisation, des jeux de données et des modèles d’IA pour évaluation. Un système d’étalonnage normalisé servira à confronter les modèles d’IA à des cas d’école tirés de la réalité des télécoms – compréhension du secteur, raisonnement mathématique, efficacité énergétique et sécurité. Les résultats des tests seront hébergés sur la plateforme d’Hugging Face afin de promouvoir la transparence et l’engagement.
En offrant des bornes de référence, l’initiative permettra selon Louis Powell d’améliorer les performances des LLM tout en garantissant que « l’IA dans les télécommunications sera sûre, fiable et alignée sur les besoins opérationnels du monde réel ».
Alors que l’industrie des télécoms appuie l’émergence d’une IA éthique et respectueuse de l’environnement, l’initiative se place dans lignée des engagements précédents de la GSMA. L’an passé, l’association a présenté une feuille de route visant à l’émergence d’une d’IA responsable, cadre destiné à aider les opérateurs mobiles à mettre en œuvre de bonnes pratiques dans le développement et le déploiement de l’IA.