Le National Cyber Security Centre (NCSC) britannique souligne les risques que représente une intégration inconsidérée des grands modèles de langage (large language models, ou LLM) basés sur l’IA par les entreprises. L’agence souligne que les développeurs n’ont toujours pas une idée claire des faiblesses et vulnérabilités dont souffrent leurs systèmes.

Dans un blog, le NCSC constate que les LLM font l’objet d’un intérêt généralisé et considérable depuis la mise en service de ChatGPT en 2022, ce qui a conduit des organisations de tous les secteurs à expérimenter la technologie.

Mais les experts britanniques remarquent toutefois que le secteur de l’IA est en évolution rapide et que les modèles sont constamment mis à jour sur un marché incertain. Ce qui signifie qu’une start-up offrant un service aujourd’hui pourrait fort bien avoir disparu dans deux ans.

Les organisations qui bâtissent des services fondés sur les LLM devraient donc envisager  que les modèles puissent changer en aval des API utilisées, ce qui remettrait en cause une bonne partie du travail d’intégration.

Le NCSC note par ailleurs que l’implémentation des LLM dans les procédures de fonctionnement des entreprises n’est pas sans risque. Les chercheurs remarquent en particulier que les LLM « sont intrinsèquement incapables de faire la différence entre une instruction et les données destinées à y répondre ».

En guise d’exemple, le NCSC explique d’un chatbot basé sur l’IA utilisé par une banque pourrait être incité à détourner de l’argent ou à réaliser des transactions interdites si la requête envoyée est adéquatement structurée.

« Les organisations qui développent des services qui font appel aux LLM doivent rester sur leurs gardes et recourir aux mêmes précautions qu’elles adopteraient en cas d’utilisation d’un produit ou d’une bibliothèque de code en version bêta », avertit le NCSC.