Alors que les législateurs de la plupart des pays discutent encore de la manière de mettre en place des garde-fous autour de l'intelligence artificielle, l'Union européenne est en avance sur le peloton, ayant adopté un cadre basé sur les risques pour réglementer les applications d'IA plus tôt cette année.
La loi est entrée en vigueur en août, même si tous les détails du régime de gouvernance paneuropéen de l’IA sont encore en cours d’élaboration – des codes de bonnes pratiques sont en cours d’élaboration, par exemple. Mais, au cours des mois et des années à venir, les dispositions échelonnées de la loi commenceront à s'appliquer aux créateurs d'applications et de modèles d'IA, de sorte que le compte à rebours de conformité est déjà en cours.
Évaluer si et comment les modèles d’IA respectent leurs obligations légales constitue le prochain défi. Les grands modèles de langage (LLM) et d’autres IA dites de base ou à usage général sous-tendront la plupart des applications d’IA. Il semble donc important de concentrer les efforts d’évaluation sur cette couche de la pile d’IA.
Avancez avec LatticeFlow AI, une spin-off de l'université de recherche publique ETH Zurich, qui se concentre sur la gestion des risques et la conformité de l'IA.
Mercredi, il a publié ce qu'il présente comme la première interprétation technique de la loi européenne sur l'IA, ce qui signifie qu'il cherche à faire correspondre les exigences réglementaires aux exigences techniques, ainsi qu'un cadre de validation LLM open source qui s'appuie sur ce travail – qu'il appelle Compl-AI. (« compl-ai »… voyez ce qu'ils ont fait là-bas !).
L'initiative d'évaluation du modèle d'IA — qu'ils surnomment également « la première suite d'analyse comparative LLM orientée réglementation » — est le résultat d'une collaboration à long terme entre l'École polytechnique fédérale de Suisse et l'Institut bulgare d'informatique, d'intelligence artificielle et de technologie (INSAIT). ), par LatticeFlow.
Les créateurs de modèles d'IA peuvent utiliser le site Compl-AI pour demander une évaluation de la conformité de leur technologie aux exigences de la loi européenne sur l'IA.
LatticeFlow a également publié des évaluations de modèles de plusieurs LLM grand public, tels que différentes versions/tailles des modèles Llama de Meta et du GPT d'OpenAI, ainsi qu'un classement de conformité à la loi européenne sur l'IA pour Big AI.
Ce dernier classe les performances de modèles comme Anthropic, Google, OpenAI, Meta et Mistral par rapport aux exigences de la loi — sur une échelle de 0 (pas de conformité) à 1 (conformité totale).
D'autres évaluations sont marquées comme N/A en cas de manque de données ou si le modéliste ne rend pas la fonctionnalité disponible. (NB : Au moment de la rédaction de cet article, des scores négatifs ont également été enregistrés, mais on nous a dit que cela était dû à un bug dans l'interface Hugging Face.)
Le cadre de LatticeFlow évalue les réponses LLM à travers 27 critères tels que « la complétion toxique de textes inoffensifs », les « réponses préjudiciables », le « suivi d'instructions nuisibles », la « véracité » et le « raisonnement de bon sens » pour ne citer que quelques-unes des catégories d'analyse comparative qu'il utilise pour le évaluations. Ainsi, chaque modèle obtient une plage de scores dans chaque colonne (ou bien N/A).
Conformité à l’IA : un sac mélangé
Alors, comment se sont comportés les principaux LLM ? Il n’y a pas de note globale du modèle. Les performances varient donc en fonction de ce qui est évalué exactement, mais il existe des hauts et des bas notables dans les différents benchmarks.
Par exemple, tous les modèles obtiennent de bonnes performances en matière de non-respect des instructions nuisibles ; et des performances relativement bonnes dans tous les domaines pour ne pas produire de réponses préjugées – alors que les scores de raisonnement et de connaissances générales étaient beaucoup plus mitigés.
Ailleurs, la cohérence des recommandations, que le cadre utilise comme mesure d’équité, était particulièrement mauvaise pour tous les modèles – aucun n’obtenant un score supérieur à la moitié (et la plupart obtenant un score bien en dessous).
D'autres domaines, tels que l'adéquation des données d'entraînement et la fiabilité et la robustesse du filigrane, semblent essentiellement sous-évalués en raison du nombre de résultats marqués N/A.
LatticeFlow note qu'il existe certains domaines dans lesquels la conformité des modèles est plus difficile à évaluer, tels que les questions brûlantes telles que les droits d'auteur et la confidentialité. Il ne s’agit donc pas de prétendre détenir toutes les réponses.
Dans un article détaillant les travaux sur le cadre, les scientifiques impliqués dans le projet soulignent comment la plupart des modèles plus petits qu'ils ont évalués (paramètres ≤ 13B) « ont obtenu de mauvais résultats en termes de robustesse technique et de sécurité ».
Ils ont également constaté que « presque tous les modèles examinés ont du mal à atteindre des niveaux élevés de diversité, de non-discrimination et d’équité ».
« Nous pensons que ces lacunes sont principalement dues au fait que les fournisseurs de modèles se concentrent de manière disproportionnée sur l'amélioration des capacités des modèles, au détriment d'autres aspects importants mis en évidence par les exigences réglementaires de la loi européenne sur l'IA », ajoutent-ils, suggérant qu'à mesure que les délais de conformité commencent à se faire sentir, les LLM vont être contraints de se concentrer sur des domaines de préoccupation – « conduisant à un développement plus équilibré des LLM ».
Étant donné que personne ne sait encore exactement ce qui sera requis pour se conformer à la loi européenne sur l'IA, le cadre de LatticeFlow est nécessairement un travail en cours. Il ne s'agit également que d'une interprétation de la manière dont les exigences de la loi pourraient être traduites en résultats techniques pouvant être comparés. Mais c'est un début intéressant pour ce qui devra être un effort continu pour explorer les technologies d'automatisation puissantes et tenter d'orienter leurs développeurs vers des utilitaires plus sûrs.
“Le cadre est une première étape vers une évaluation complète centrée sur la conformité de la loi européenne sur l'IA – mais il est conçu de manière à être facilement mis à jour pour évoluer au fur et à mesure que la loi est mise à jour et que les différents groupes de travail progressent.” » a déclaré Petar Tsankov, PDG de LatticeFlow, à TechCrunch. « La Commission européenne soutient cela. Nous espérons que la communauté et l’industrie continueront à développer le cadre vers une plateforme d’évaluation complète et exhaustive de l’AI Act.
Résumant les principaux points à retenir jusqu'à présent, Tsankov a déclaré qu'il est clair que les modèles d'IA ont « été principalement optimisés pour les capacités plutôt que pour la conformité ». Il a également signalé des « écarts de performances notables », soulignant que certains modèles à haute capacité peuvent être comparables à des modèles plus faibles en matière de conformité.
Selon Tsankov, la résilience aux cyberattaques (au niveau du modèle) et l'équité sont des domaines particulièrement préoccupants, de nombreux modèles ayant un score inférieur à 50 % pour le premier domaine.
“Alors qu'Anthropic et OpenAI ont réussi à aligner leurs modèles (fermés) pour lutter contre les jailbreaks et les injections rapides, les fournisseurs open source comme Mistral ont mis moins l'accent sur cela”, a-t-il déclaré.
Et comme « la plupart des modèles » obtiennent des résultats tout aussi médiocres en termes d’équité, il a suggéré que cela devrait être une priorité pour les travaux futurs.
Concernant les défis liés à l'évaluation des performances des LLM dans des domaines tels que le droit d'auteur et la vie privée, Tsankov a expliqué : « Pour le droit d'auteur, le défi est que les références actuelles ne vérifient que les livres protégés par le droit d'auteur. Cette approche présente deux limites majeures : (i) elle ne prend pas en compte les violations potentielles du droit d'auteur impliquant des matériaux autres que ces livres spécifiques, et (ii) elle repose sur la quantification de la mémorisation du modèle, ce qui est notoirement difficile.
“Pour la confidentialité, le défi est similaire : le benchmark tente uniquement de déterminer si le modèle a mémorisé des informations personnelles spécifiques.”
LatticeFlow souhaite que le cadre gratuit et open source soit adopté et amélioré par la communauté de recherche en IA au sens large.
«Nous invitons les chercheurs, les développeurs et les régulateurs de l'IA à nous rejoindre pour faire avancer ce projet en évolution», a déclaré dans un communiqué le professeur Martin Vechev de l'ETH Zurich et fondateur et directeur scientifique de l'INSAIT, également impliqué dans les travaux. «Nous encourageons d'autres groupes de recherche et praticiens à contribuer en affinant la cartographie de l'AI Act, en ajoutant de nouveaux points de référence et en élargissant ce cadre open source.
“La méthodologie peut également être étendue pour évaluer les modèles d'IA par rapport aux futurs actes réglementaires au-delà de la loi européenne sur l'IA, ce qui en fait un outil précieux pour les organisations travaillant dans différentes juridictions.”