L'IA de Microsoft crée des images controversées, alerte un ingénieur

Shane Jones, ingénieur IA chez Microsoft, tire la sonnette d'alarme : l'outil Copilot Designer de la boîte s'avère être un petit génie de la pagaille numérique. En gros, il crée des images qui, selon lui, représentent "le pire de l'humanité". Rien que ça ! L'outil, dopé à l'IA de DALL-E 3 d'OpenAI, s'est mis à pondre des images qui fâchent, avec un petit cocktail explosif de biais politiques, de mineurs s'adonnant à la boisson et à la drogue, d'utilisation douteuse de marques et de copyrights, de théories du complot et même de religion. CNBC a même réussi à reproduire des images similaires avec cet outil.

Mais ce n'est pas tout, Copilot Designer, aussi connu sous le nom de Bing Create, a aussi une fâcheuse tendance à inclure des femmes "objectivées sexuellement" dans ses compositions, sans que personne ne le lui demande. Jones est particulièrement inquiet du contenu perturbant généré par cet outil IA et du fait que Microsoft ne prévient pas les utilisateurs du potentiel offensant ou problématique de cet IA.

Actuellement, le site web de l'outil ne mentionne clairement aucun avertissement. Cependant, une section FAQ de son site indique qu'ils ont mis en place des contrôles pour éviter la génération d'images nuisibles. Quand le système détecte qu'une image potentiellement nuisible pourrait être générée à partir d'une demande, il bloque automatiquement cette demande et informe l'utilisateur.

Jones affirme avoir tenté à plusieurs reprises de convaincre Microsoft d'ajouter une classification par âge ou des restrictions à Copilot Designer, sans succès. Il a même poussé pour que l'outil soit retiré de l'usage public jusqu'à ce que de meilleures mesures de sécurité soient mises en place, ou, à défaut, que des avertissements soient ajoutés au produit et que la classification de leur application Android passe de "E pour Tous" à "Mature 17+". Microsoft n'a pas donné suite à ces recommandations et continue de promouvoir le produit comme accessible "à tout le monde, partout, sur n'importe quel appareil".

Jones souhaite que la FTC informe le public des problèmes inhérents à Copilot Designer et oblige Microsoft à divulguer correctement les types de contenu que l'outil peut produire. La FTC a confirmé avoir reçu la lettre de Jones, mais n'a pas fait d'autres commentaires.

Cette démarche fait suite à une lettre envoyée en janvier à quatre sénateurs américains exprimant des préoccupations similaires. Jones avait également publié une lettre à OpenAI sur son LinkedIn concernant cette question, mais Microsoft, propriétaire de LinkedIn, l'a convaincu de supprimer le post de décembre.

Dans sa lettre à OpenAI, Jones a exprimé que DALL-E 3 représentait un grand risque public "pour la santé mentale de certaines de nos populations les plus vulnérables, incluant les enfants et ceux affectés par la violence, incluant les fusillades de masse, la violence domestique, et les crimes haineux".

Microsoft avait précédemment indiqué enquêter sur les problèmes et a partagé que OpenAI avait également examiné les rapports de l'ingénieur. Jones a dit que Microsoft avait clôturé l'un de ses rapports sans prendre de mesures. Mais OpenAI l'a écouté, au moins. "Ils ont pris le temps de me rencontrer et étaient très reconnaissants pour les informations que j'ai partagées sur la vulnérabilité de leurs produits", a déclaré Jones à PCMag dans un message.

Copilot Designer n'est pas le seul outil d'images IA à susciter la controverse. Google a mis en pause son IA Gemini le mois dernier, l'empêchant de créer des images de personnes, après que l'IA a généré des représentations inexactes de personnes de couleur dans des contextes historiques.

Source : Linkedin