Le PDG d'OpenAI, Sam Altman, a déclaré qu'OpenAI travaillait avec l'US AI Safety Institute, un organisme du gouvernement fédéral qui vise à évaluer et à traiter les risques dans les plateformes d'IA, sur un accord visant à fournir un accès anticipé à son prochain modèle majeur d'IA générative pour les tests de sécurité.
L'annonce faite par Altman dans un message publié sur X jeudi soir n'est pas très détaillée. Mais elle – ainsi qu'un accord similaire conclu en juin avec l'organisme britannique de sécurité de l'IA – semble avoir pour but de contrer le discours selon lequel OpenAI a déclassé le travail sur la sécurité de l'IA au profit de technologies d'IA génératives plus performantes et plus puissantes.
En mai, OpenAI a effectivement dissous une unité travaillant sur le problème du développement de contrôles pour empêcher les systèmes d'IA « superintelligents » de devenir incontrôlables. Des rapports – y compris les nôtres – ont suggéré qu'OpenAI a mis de côté les recherches sur la sécurité de l'équipe en faveur du lancement de nouveaux produits, ce qui a finalement conduit à la démission des deux co-directeurs de l'équipe, Jan Leike (qui dirige désormais la recherche sur la sécurité chez la startup d'IA Anthropic) et le co-fondateur d'OpenAI Ilya Sutskever (qui a lancé sa propre entreprise d'IA axée sur la sécurité, Safe Superintelligence Inc.).
En réponse à un nombre croissant de critiques, OpenAI a déclaré qu'elle éliminerait ses clauses restrictives de non-dénigrement qui décourageaient implicitement la dénonciation et créerait une commission de sécurité, ainsi que consacrerait 20 % de son calcul à la recherche sur la sécurité. (L'équipe de sécurité dissoute s'était vu promettre 20 % du calcul d'OpenAI pour son travail, mais ne l'a finalement jamais reçu.) Altman s'est réengagé à respecter l'engagement de 20 % et a réaffirmé qu'OpenAI avait annulé les conditions de non-dénigrement pour le personnel nouveau et existant en mai.
Ces mesures n’ont toutefois pas suffi à apaiser certains observateurs, en particulier après qu’OpenAI a doté la commission de sécurité entièrement de membres de l’entreprise, dont Altman, et, plus récemment, a réaffecté un haut responsable de la sécurité de l’IA à une autre organisation.
Cinq sénateurs, dont Brian Schatz, un démocrate d'Hawaï, ont soulevé des questions sur les politiques d'OpenAI dans une récente lettre adressée à Altman. Le directeur de la stratégie d'OpenAI, Jason Kwon, a répondu à la lettre aujourd'hui, en écrivant qu'OpenAI «[is] « Nous nous engageons à mettre en œuvre des protocoles de sécurité rigoureux à chaque étape de notre processus. »
Le timing de l'accord entre OpenAI et l'Institut américain de sécurité de l'IA semble un peu suspect au vu de l'approbation par l'entreprise en début de semaine du Future of Innovation Act, un projet de loi du Sénat qui autoriserait le Safety Institute à devenir un organe exécutif chargé de définir des normes et des lignes directrices pour les modèles d'IA. Ces démarches conjointes pourraient être perçues comme une tentative de capture réglementaire – ou à tout le moins comme un exercice d'influence d'OpenAI sur l'élaboration des politiques en matière d'IA au niveau fédéral.
Ce n’est pas pour rien qu’Altman fait partie du comité de sécurité et de sûreté de l’intelligence artificielle du ministère américain de la Sécurité intérieure, qui formule des recommandations pour le « développement et le déploiement sûrs et sécurisés de l’IA » dans l’ensemble des infrastructures critiques des États-Unis. Et OpenAI a considérablement augmenté ses dépenses en lobbying fédéral cette année, dépensant 800 000 dollars au cours des six premiers mois de 2024 contre 260 000 dollars pour l’ensemble de l’année 2023.
L'Institut américain de sécurité de l'IA, hébergé au sein de l'Institut national des normes et de la technologie du ministère du Commerce, consulte un consortium d'entreprises qui comprend Anthropic, ainsi que de grandes entreprises technologiques comme Google, Microsoft, Meta, Apple, Amazon et Nvidia. Le groupe industriel est chargé de travailler sur les actions décrites dans le décret exécutif d'octobre du président Joe Biden sur l'IA, notamment l'élaboration de lignes directrices pour le red-teaming de l'IA, les évaluations des capacités, la gestion des risques, la sûreté et la sécurité et le tatouage du contenu synthétique.