Grok, la société d'Elon Musk, a lancé mardi soir une nouvelle fonctionnalité de génération d'images par IA qui, tout comme le chatbot IA, comporte très peu de garanties. Cela signifie que vous pouvez générer de fausses images de Donald Trump en train de fumer de la marijuana dans l'émission de Joe Rogan, par exemple, et les télécharger directement sur la plateforme X. Mais ce n'est pas vraiment la société d'IA d'Elon Musk qui alimente cette folie ; c'est plutôt une nouvelle startup – Black Forest Labs – qui est à l'origine de cette fonctionnalité controversée.
La collaboration entre les deux a été révélée mardi, lorsque xAI a annoncé qu'elle travaillait avec Black Forest Labs pour alimenter le générateur d'images de Grok en utilisant son modèle FLUX.1. Black Forest Labs, une startup d'images et de vidéos IA lancée le 1er août, semble sympathiser avec la vision de Musk pour Grok en tant que « chatbot anti-woke », sans les garde-fous stricts que l'on trouve dans Dall-E d'OpenAI ou Imagen de Google. Le site de médias sociaux est déjà inondé d'images scandaleuses de la nouvelle fonctionnalité.
Black Forest Labs est basé en Allemagne et a récemment fait son entrée dans la clandestinité avec un financement de démarrage de 31 millions de dollars, dirigé par Andreessen Horowitz, selon un communiqué de presse. Parmi les autres investisseurs notables figurent le PDG de Y Combinator, Garry Tan, et l'ancien PDG d'Oculus, Brendan Iribe. Les cofondateurs de la startup, Robin Rombach, Patrick Esser et Andreas Blattmann, étaient d'anciens chercheurs qui ont contribué à la création des modèles de diffusion stable de Stability AI.
Selon Artificial Analysis, les modèles FLUX.1 de Black Forest Lab surpassent les générateurs d'images IA de Midjourney et d'OpenAI en termes de qualité, du moins selon le classement des utilisateurs dans leur domaine d'image.
La start-up affirme qu'elle « rend ses modèles accessibles à un large public », avec des modèles de génération d'images IA open source sur Hugging Face et GitHub. L'entreprise affirme également qu'elle prévoit de créer prochainement un modèle de conversion de texte en vidéo.
Black Forest Labs n'a pas immédiatement répondu à la demande de commentaire de TechCrunch.
Dans son communiqué de lancement, la société affirme vouloir « renforcer la confiance dans la sécurité de ces modèles » ; cependant, certains pourraient dire que le flot d'images générées par l'IA sur X Wednesday a eu l'effet inverse. De nombreuses images que les utilisateurs ont pu créer à l'aide de Grok et de l'outil de Black Forest Labs, comme Pikachu tenant un fusil d'assaut, n'ont pas pu être recréées avec les générateurs d'images de Google ou d'OpenAI. Il ne fait aucun doute que des images protégées par le droit d'auteur ont été utilisées pour l'entraînement du modèle.
C'est un peu le but
Ce manque de protection est probablement l’une des principales raisons pour lesquelles Elon Musk a choisi ce collaborateur. Il a clairement indiqué qu’il pensait que les protections rendaient en réalité les modèles d’IA moins sûrs. « Le danger d’entraîner l’IA à être éveillée – en d’autres termes, à mentir – est mortel », a déclaré Elon Musk dans un tweet de 2022.
Anjney Midha, directrice du conseil d'administration de Black Forest Labs, a publié sur X une série de comparaisons entre les images générées le premier jour du lancement par Google Gemini et la collaboration Flux de Grok. Le fil de discussion met en évidence les problèmes bien documentés de Google Gemini dans la création d'images historiquement exactes de personnes, en particulier en injectant de la diversité raciale dans les images de manière inappropriée.
« Je suis heureux que @ibab et son équipe aient pris cela au sérieux et aient fait le bon choix », a déclaré Midha dans un tweet, faisant référence à l'évitement apparent de ce problème par FLUX.1 (et mentionnant le compte du chercheur principal de xAI, Igor Babuschkin).
En raison de cette erreur, Google s'est excusé et a désactivé la fonction de génération d'images de personnes de Gemini en février. À ce jour, l'entreprise ne permet toujours pas à Gemini de générer des images de personnes.
Un déluge de désinformation
Ce manque général de protection pourrait poser des problèmes à Musk. La plateforme X a été critiquée lorsque des images explicites deepfake générées par l'IA représentant Taylor Swift sont devenues virales sur la plateforme. Outre cet incident, Grok génère des titres hallucinés qui apparaissent aux utilisateurs de X presque chaque semaine.
La semaine dernière, cinq secrétaires d’État ont exhorté X à cesser de diffuser de fausses informations sur Kamala Harris sur X. Plus tôt ce mois-ci, Musk a repartagé une vidéo qui utilisait l’IA pour cloner la voix de Harris, donnant l’impression que la vice-présidente admettait être une « embauche de diversité ».
Musk semble déterminé à laisser ce genre de désinformation envahir la plateforme. En permettant aux utilisateurs de publier les images de l'IA de Grok, qui semblent dépourvues de filigrane, directement sur la plateforme, il a essentiellement ouvert un feu de désinformation dirigé vers le fil d'actualité X de tout le monde.