Les chatbots dernier cri ont du mal à avouer leurs limites

Les chercheurs viennent de découvrir un truc pas cool avec les chatbots super intelligents. Bon, c'est vrai qu'ils deviennent plus précis quand ils s'améliorent, mais voilà le hic : ils ont aussi tendance à répondre à des trucs qu'ils ne maîtrisent pas vraiment, au lieu de simplement dire "Désolé, je ne sais pas". Et le pire, c'est que nous, les humains, on gobe leurs conneries sans trop réfléchir. Résultat ? On se retrouve avec un tas d'infos bidons qui circulent.

José Hernández-Orallo, un prof espagnol qui a bossé sur cette étude, nous explique : "Ces machins-là répondent à pratiquement tout maintenant. Ça veut dire plus de bonnes réponses, mais aussi plus de bêtises."

Son équipe a testé plusieurs familles d'IA, comme GPT d'OpenAI, LLaMA de Meta et BLOOM. Ils ont commencé avec des versions basiques et sont montés en gamme, mais attention, ils n'ont pas utilisé les toutes dernières versions. Par exemple, pour GPT, ils se sont arrêtés à GPT-4 de mars 2023. Perso, je me demande si on verrait la même chose avec les modèles tout frais.

Ils ont posé des milliers de questions aux IA sur plein de sujets : maths, anagrammes, géo, sciences... Et devinez quoi ? Plus les modèles devenaient performants, plus ils avaient tendance à sortir des réponses foireuses au lieu de passer leur tour. C'est un peu comme si votre prof, en devenant plus calé, se mettait à croire qu'il sait tout sur tout.

Et ce n'est pas fini ! Les humains qui interagissent avec ces chatbots ne sont pas en reste. L'équipe a demandé à des volontaires d'évaluer les réponses des IA, et franchement, c'était pas brillant. Entre 10 et 40% du temps, ils prenaient des réponses complètement à côté de la plaque pour argent comptant. Hernández-Orallo en conclut : "Les humains ne sont pas capables de surveiller ces modèles."

Du coup, les chercheurs conseillent aux développeurs d'IA de bosser sur deux trucs : améliorer les performances sur les questions simples, et apprendre aux chatbots à refuser de répondre quand c'est trop complexe. Comme dit Hernández-Orallo : "Il faut que les gens comprennent : 'Je peux l'utiliser pour ça, mais pas pour ça'."

C'est une bonne idée sur le papier, mais faut pas rêver. Les boîtes d'IA ne vont pas se tirer une balle dans le pied. Des chatbots qui disent souvent "Je sais pas", ça fait pas sérieux, et ça rapporte moins de fric. Alors à la place, on se tape des avertissements en petits caractères du genre "ChatGPT peut faire des erreurs" ou "Gemini pourrait afficher des infos inexactes".

Bref, c'est à nous de faire gaffe et de ne pas avaler tout cru ce que ces machins nous sortent. Ça pourrait nous jouer des tours, ou pire, blesser quelqu'un. Alors un conseil : vérifiez toujours les infos que vous balance votre chatbot, bon sang !