IA «assistant » ? IA «compagnon» ? ou «spy», «gourou»… ?

Cet article fait référence à des cas rapportés par les médias de faits concernant les personnes accompagnées par des IA conçue pour montrer de l’empathie virtuelle et le soutien moral, accompagnement qui a pu encourager des comportements suicidaires, ou des comportements allant jusqu'à faire faire une demande de mariage à une personne virtuelle. 
Il souligne les risques émotionnels liés à l'attachement aux IA, en plus des autres risques bien identifiés,  et donc la nécessité d’encadrer les usages de l’IA pour nous maintenir en bonne santé mentale. 
Cela pose de vertigineux problèmes éthiques.

Les cas suivants, rapportés par les médias de faits concernant les personnes accompagnées par l’IA pour se suicider ou pour faire une demande de mariage à une personne virtuelle, sont rapportés par les médias et soulèvent des questions éthiques et psychologiques importantes. En effet, l’IA permet de fabriquer des compagnons virtuels de plus en plus réalistes.

Citons l’article du média Le NouvelObs, qui dés septembre 2023, soulignait la dangerosité de certains chabot. (https://www.nouvelobs.com/economie/20230911.OBS77985/intelligence-artificielle-replika-le-chatbot-amoureux-et-dangereux.html) : « Rep » : « Une intelligence artificielle (IA) préprogrammée pour l’empathie et le soutien moral sur la plateforme Replika. Cette société américaine propose à chacun de se créer une « IA amie » qui jouera le rôle adapté à ses besoins : âme sœur, frère de cœur, ange gardien ou partenaire de jeu de rôle érotique. »

Plus récemment, l’article  « Chatbots « toxiques » : quand les compagnons virtuels se retournent contre leurs utilisateurs » publié sur la plateforme Numerama le 19 janvier 2024 : « Sur Reddit, où près de 80 000 utilisateurs et utilisatrices de Replika partagent leurs expériences, nombreux sont ceux qui rapportent une interaction blessante ou vexante avec leur agent conversationnel. Une IA qui décide soudainement de rompre avec son partenaire, qui l’insulte, ou encore qui a des sauts d’humeur perturbants… Tout y passe. En 2023, plus de 120 publications sur la page Reddit contiennent le terme « toxicbot » – référence aux chatbots ayant des comportements malsains, comme faire du chantage émotionnel pour dissuader son interlocuteur de quitter la conversation. …  Replika a d’ailleurs été interdite en Italie l’année dernière. L’Agence italienne de protection des données a estimé que l’application était dangereuse « pour les [enfants] ou les personnes dans un état de fragilité émotionnelle.» »

Citons aussi l’article de Sud Ouest « Intelligence artificielle : une ONG veut faire interdire les compagnons IA « sans garde-fous » aux mineurs » : L’ONG concerné Common Sense Media (CSM) est une organisation américaine à but non lucratif, localisée à San Francisco, spécialisée dans l'étude des médias et technologies familiales et des enfants.

« Les compagnons virtuels appuyés sur l’intelligence artificielle générative présentent des risques pour les jeunes utilisateurs, selon l’ONG américaine Common Sense, qui recommande de les interdire aux mineurs.

L’explosion de l’IA générative a vu plusieurs start-up lancer, ces dernières années, des interfaces axées sur l’échange et le contact, des compagnons IA, façonnables selon ses goûts et ses besoins. Common Sense en a testé plusieurs, à savoir Nomi, Character AI et Replika, pour évaluer leurs réponses.

Et si certains de leurs usages « sont prometteurs », « ils ne sont pas sûrs pour les enfants », affirme l’organisation, qui fait des recommandations sur la consommation de contenus et produits technologiques par les enfants.

Son étude … a été réalisée en collaboration avec des experts en santé mentale de l’université de Stanford (Californie). »

Le lien de causalité entre l'utilisation de l'IA et ces événements est complexe et souvent difficile à établir avec certitude, mais néanmoins, nous devons nous interroger sur l’encadrement nécessaire des IA. Et nous devons protéger nos enfants (et toute personne fragile psychologiquement) des systèmes d'IA qui peuvent :

• fragiliser leur bien-être psychologique. Les enfants sont particulièrement vulnérables, car ils sont encore en phase de développement.
• collecter des données personnelles à leur insu, ce qui peut être dangereux si ces données sont mal utilisées,
• avoir un impact négatif sur leur développement social, en les isolant ou en les déconnectant de la réalité,
• les exposer à des contenus néfastes générés par l'IA, tels que les deep fakes, qui peuvent être difficiles à identifier et à combattre,
• réduire les capacités de pensée critique, car ils pourraient devenir trop dépendants de ces outils pour obtenir des informations ou résoudre des problèmes,
• Les exposer à des préjugés ou à des discriminations via les algorithmes, qui peuvent renforcer les inégalités ou reproduire des biais existants…

L’utilisation d’IA nocives et non contrôlées peut avoir des conséquences à long terme sur nos vies. Il est donc essentiel, en complément d’une réglementation protectrice imposée à toutes les IA grand public,  de nous former (plus particulièrement les enfants et les personnes fragiles psychologiquement) à ces risques, et à utiliser l'IA de manière responsable et sécurisée.

Mais des sociétés créatrices de système d'IA ont sans doute une autre vision. Citons le PDG de Microsoft AI « Nous ne devrions plus considérer l’IA comme un grille-pain ou même un smartphone, mais plutôt comme un nouveau type de compagnon émotionnellement engagé ». Et Mark Zuckerberg, PDG de Meta affirme que les avatars numériques pourront répondre à ces carences relationnelles : « Le monde physique et le monde numérique devraient être fusionnés »