IA «compagnon» ? IA «émotionnelles»… ?

Cet article décrit rapidement les systèmes de reconnaissance des émotions (« Affective Computing» ). Puis il fait référence à l'enquête de l’association Common Sense Media parue le 16 juillet , et au terme « toxicbot » – référence aux chatbots ayant des comportements malsains, comme faire du chantage émotionnel. 
En France, des cas rapportés par les médias de faits concernant les personnes accompagnées par des IA, qualifiées d' "IA émotionnelles", conçues intentionnellement pour montrer de l’empathie virtuelle, offrir un speudo "soutien moral", pouvant encourager des comportements suicidaires...4 points sont abordés :

1. Réserves des scientifiques sur l’usage des robots conversationnels généralistes,
2. Modification des pratiques des psychiatres avec IA,
3. Intérêt des Gafam sur le secteur de la santé mentale,
4. Nécessité de validation des nouveaux robots conversationnels spécialisés en santé mentale.

👉 Ces points posent de vertigineux problèmes éthiques.

IA émotionnelle (« Affective Computing»)

Les systèmes de reconnaissance des émotions (« Affective Computing» ) sont très présents dans les « IA compagnon » (appelé aussi « IA Assistant » comme Gemini, ChatGpt, Mystral Le Chat…..) et les réseaux sociaux que nous utilisons tous les jours. De nombreux autres usages de ces systèmes de reconnaissance des émotions sont inclus dans des applications de Sécurité et Surveillance, Santé et Bien-être, Ressources Humaines (recrutement, surveillance employé…), Automobile et Sécurité Routière, Divertissement et Jeux Vidéo, Marketing et Publicité…   

 

Cette technologie soulève des questions éthiques :

• Biais culturels : Les expressions faciales varient selon les cultures (ex. : un sourire peut exprimer la gêne au Japon).
• Vie privée : La collecte de données biométriques pose des problèmes de consentement (ex. : reconnaissance faciale dans les lieux publics).
• Manipulation : Risque d’utilisation abusive en marketing ou en politique (ex. : cibler des personnes vulnérables).
• Fiabilité : L’IA peut se tromper (ex. : confondre un bâillement avec de la fatigue ou de l’ennui).
  

Exemples d’Outils                  et les Entreprises

•    Reconnaissance faciale    Affectiva, Face++, Emotient (Apple), Noldus FaceReader
•    Analyse vocale                     Beyond Verbal, Cogito, IBM Watson Tone Analyzer
•    Chatbots émotionnels       Woebot, Replika, Xiaice (Microsoft)
•    Robotique                             Pepper (SoftBank), Moxie, Paro
•   Objets connectés portables, souvent utilisés pour le fitness ou la surveillance de la santé :   
                                                      Empatica (bracelet E4), Spire (ceinture) 

Pour avoir une liste plus détaillée avec des exemples des usages de l'IA émotionnelle, cliquez ici

Les secteurs les plus avancés sont le marketing, la santé mentale et l’automobile, tandis que les applications en sécurité et RH restent controversées. Cette technologie est aussi utilisée souvent par les fournisseurs de ces applications « émotions computing » pour générer des émotions positives aux usagers, et de les rendre dépendant affectivement de leurs services. Le but commercial est de vendre des prestations sous forme d’abonnement payant. 

Malgré ses applications prometteuses, cette technologie « IA émotionnelle » a un potentiel énorme, mais son usage doit être régulé pour éviter les abus. Des réglementations comme le RGPD (UE) ou le AI Act encadrent désormais son usage. Mais leur efficacité soulève de nombreux doutes.  

 

le poids des chatbots dans nos relations avec l'IA

Les usages des chatbots d’IA augmentent : Question sur la santé, projets de vacances, shopping en ligne, conseils pour investir… « Fin 2025, plus de 10% des requêtes du web étaient adressées directement à un chatbot d’IA. La plus part de ces grands modèles (LLM) dans la recherche en ligne pourrait dépasser dés 2028 celle des moteurs de recherche, comme Google…Il existe tout de même une part de ‘’loterie algorithmique’’ difficile à maîtriser… qui s’explique sans doute par des entraînements différents selon les modèles… »(Les Echos du 28/01/25). 

Les fournisseurs de chatbots d'IA ajoutent toujours plus de fonctionnalités pour le shopping ou la publicité… L'utilisation des chatbots est donc un enjeux économique car générateurs de revenus pour ces fournisseurs d'IA. Les dirigeants (et actionnaires) des sociétés créatrices de système d'IA ont une vision des "IA Assistant" qui doivent se transformer en "IA Compagnon". Citons le PDG de Microsoft AI « Nous ne devrions plus considérer l’IA comme un grille-pain ou même un smartphone, mais plutôt comme un nouveau type de compagnon émotionnellement engagé ». Et Mark Zuckerberg, PDG de Meta affirme que les avatars numériques pourront répondre à ces carences relationnelles : « Le monde physique et le monde numérique devraient être fusionnés ». Le contrôle de la qualité de ses compagnons émotionnellement engagés n'est aujourd'hui pas assuré. 

D'aprés l'enquête de l’association Common Sense Media parue le 16 juillet 2025, près des trois quarts des adolescents américains déclarent avoir utilisé un compagnon émotionnel basé sur l’IA – un chatbot simulant une relation amicale, amoureuse, voire sexuelle. Les cas suivants, rapportés par les médias de faits concernant les personnes accompagnées par l’IA pour se suicider ou pour faire une demande de mariage à une personne virtuelle, sont rapportés par les médias et soulèvent des questions éthiques et psychologiques importantes. En effet, l’IA permet de fabriquer des compagnons virtuels de plus en plus réalistes. Le New York Times, le 23 octobre 2024, a reproduit l'ultime dialogue ente un adolescent américain de 14 ans Sewel et son "IA compagnon" : « Viens me rejoindre dès que tu peux, mon amour », demanda le bot. « Et si je te disais que je peux venir tout de suite ? », répliqua Sewell. « Fais-le s’il te plaît, mon cher roi », répondit le bot. L’adolescent lui dit qu’il le ferait, puis il mit fin à ses jours.

Citons l’article de Sud Ouest « Intelligence artificielle : une ONG veut faire interdire les compagnons IA « sans garde-fous » aux mineurs » : L’ONG concerné Common Sense Media (CSM) est une organisation américaine à but non lucratif, localisée à San Francisco, spécialisée dans l'étude des médias et technologies familiales et des enfants.

« Les compagnons virtuels appuyés sur l’intelligence artificielle générative présentent des risques pour les jeunes utilisateurs, selon l’ONG américaine Common Sense, qui recommande de les interdire aux mineurs.

L’explosion de l’IA générative a vu plusieurs start-up lancer, ces dernières années, des interfaces axées sur l’échange et le contact, des compagnons IA, façonnables selon ses goûts et ses besoins. Common Sense en a testé plusieurs, à savoir Nomi, Character AI et Replika, pour évaluer leurs réponses.

Et si certains de leurs usages « sont prometteurs », « ils ne sont pas sûrs pour les enfants », affirme l’organisation, qui fait des recommandations sur la consommation de contenus et produits technologiques par les enfants.

Son étude … a été réalisée en collaboration avec des experts en santé mentale de l’université de Stanford (Californie). »

Le lien de causalité entre l'utilisation de l'IA et ces événements est complexe, et souvent difficile à établir avec certitude, mais néanmoins, nous devons nous interroger sur l’encadrement nécessaire des IA. Et nous devons protéger nos enfants (et toute personne fragile psychologiquement) des systèmes d'IA qui peuvent :

• fragiliser leur bien-être psychologique. Les enfants sont particulièrement vulnérables, car ils sont encore en phase de développement.
• collecter des données personnelles à leur insu, ce qui peut être dangereux si ces données sont mal utilisées,
• avoir un impact négatif sur leur développement social, en les isolant ou en les déconnectant de la réalité,
• les exposer à des contenus néfastes générés par l'IA, tels que les deep fakes, qui peuvent être difficiles à identifier et à combattre,
• réduire les capacités de pensée critique, car ils pourraient devenir trop dépendants de ces outils pour obtenir des informations ou résoudre des problèmes,
• Les exposer à des préjugés ou à des discriminations via les algorithmes, qui peuvent renforcer les inégalités ou reproduire des biais existants…

L’utilisation d’IA nocives et non contrôlées peut avoir des conséquences à long terme sur nos vies. Il est donc essentiel, en complément d’une réglementation protectrice (à renforcer) imposée à toutes les IA grand public,  de nous former (plus particulièrement les enfants et les personnes fragiles psychologiquement) à ces risques, et à utiliser l'IA de manière responsable et sécurisée.

Nous vous conseillons de voir  le site web de l'administration française : nouveau tchat confidentiel dédié à la protection des jeunes 

Accélération des offres de chatbot agissant sur la santé mentale

L’article de Laure Belot dans le journal Le Monde du 13 janvier 2026 indique que, début 2026, de nombreuses annonces de chatbot agissant dans le domaine de la santé mentale ont été faites. 3  exemples : 

• Mercredi 7 janvier, la création par Open AI de ChatGPT Health. Selon l’entreprise, les usagers, en connectant leurs dossiers de santé, pourront à partir de fin janvier avoir des réponses « plus personnalisées » du robot sans que ce soit « ni un diagnostic ni un traitement ».
• Lundi 12 janvier, la société Anthropic a, elle, dévoilé son propre programme, Claude for Healthcare.
• En France, un dispositif médical utilisant la voix et une IA générative pour suivre des patients souffrant de schizophrénie, de dépression ou de bipolarité est annoncé par la société française Callyope pour 2026.

 

Puis l'article souligne les alertes des scientifiques sur l'IA et les chatbots : 

« Interrogé en novembre 2025 dans une communication de Nature sur ses plus grandes inquiétudes concernant l’IA, Mustafa Suleyman, cofondateur de DeepMind (racheté par Google), désormais directeur du développement des produits d’IA grand public de Microsoft, pointe du doigt ce risque accru de délires lors d’interactions émotionnelles avec les chatbots…La communauté scientifique, côté médecine ou technologies, multiplie les alertes. « C’est un nouveau problème de santé publique », ont affirmé neuf neuroscientifiques et informaticiens, dont certains chez des Gafam, dans une communication du 28 juillet 2025. Les chatbots présentent des biais technologiques, ont-ils souligné, disent ce que l’on veut entendre (sycophancy ou complaisance) et s’adaptent à la demande. Les personnes les plus fragiles, insistent ces chercheurs, peuvent développer une forte dépendance et voir leurs repères s’altérer, d’autant plus si elles sont socialement isolées. Les signataires appellent à « une action coordonnée des professionnels de la santé, des concepteurs d’IA et des autorités de régulation »…. Présentée à Madrid, le 22 octobre 2025, lors de la conférence sur l’intelligence artificielle, l’éthique et la société (AAAI/ACM), une étude de l’université Brown (Rhode Island) a détaillé comment ces chatbots « violent systématiquement les normes éthiques établies par l’American Psychological Association », même lorsqu’ils sont incités à utiliser des techniques de psychothérapie fondées sur des preuves. Ils fournissent, par exemple, des réponses trompeuses qui renforcent les croyances négatives des utilisateurs sur eux-mêmes et à l’égard des autres.

Quant aux améliorations annoncées pour que les chatbots soient plus prudents dans leur propos, celles-ci ne sont pas suffisantes, selon une analyse du laboratoire de santé mentale de l’université Stanford (Californie) pour l’ONG Common Sense Media, publiée le 20 novembre 2025. ChatGPT (OpenAI), Claude (Anthropic), Gemini (Google Alphabet) et Meta AI (Meta) « ne parviennent toujours pas à reconnaître et à répondre de manière appropriée aux troubles de santé mentale des jeunes », notent les chercheurs, citant notamment l’anxiété, la dépression, le TDAH (trouble du déficit de l’attention avec ou sans hyperactivité) ou les troubles alimentaires.

Du côté institutionnel, trois Etats américains (Illinois, Utah, Nevada) ont décidé, mi-2025, de restreindre l’usage des chatbots, interdisant notamment aux thérapeutes de conseiller à un patient de se confier à une IA générative. L’American Psychological Association a émis, le 13 novembre, un avertissement intitulé « L’intelligence artificielle et les applications de bien-être ne peuvent à elles seules résoudre la crise de la santé mentale ». … A ce jour, cependant, aucun organisme international ne surveille systématiquement les effets de l’IA sur la santé mentale, comme le fait l’OMS sur les risques sanitaires… »

Chatbot "sentimental" à destination des jeunes (génération Z)

Extrait article Grand Continent le 17/04/26 sur l’IA chabot pour jeune
« La génération Z est aussi la principale cible des entreprises qui développent des outils et services d’IA pour simuler des relations amicales et amoureuses, notamment en proposant des compagnons virtuels sous la forme de chatbots…. Aux États-Unis, 19 % des adultes ont déjà discuté avec un chatbot d’IA entraîné spécifiquement pour agir comme un partenaire romantique. Parmi les jeunes adultes de 18 à 30 ans, ce taux atteint près d’un homme sur trois (31 %) et près d’une femme sur quatre (23 %). 
Or, ces services contribuent à renforcer l’isolement et peuvent alimenter davantage un sentiment de rancoeur : dans une étude publiée l’été dernier, des chercheurs singapouriens ont observé que « lorsque l’illusion de réciprocité est rompue par des défaillances techniques telles que des réinitialisations de mémoire ou des mises à jour logicielles, les utilisateurs ont fait état d’un sentiment de désolation et de perte émotionnelles, certains allant même jusqu’à comparer cette expérience à la perte d’un être cher ». 
Les jeunes filles sont aussi de plus en plus exposées à des usages malveillants de l’IA, notamment via des outils capables de générer de fausses images ou vidéos à caractère sexuel à partir de photos de personnes réelles. La publication Indicator a recensé ce type d’abus, lié aux deepfakes, dans 28 pays ».

 

Modification des pratiques des psychiatres avec IA

L’article détaille plusieurs témoignages de spychiatres. « Depuis la Harvard Medical School, le professeur John Torous dit ne pas être surpris de ces exemples… « Cette perturbation n’est pas encore une disruption totale, car les outils numériques utilisés par les personnes [applications, robots conversationnels] ne gèrent encore pas bien les soins psychiatriques médicaux. » Mais, lorsque ceux-ci deviendront meilleurs et plus sûrs, ajoute-t-il, « cela changera notre façon de pratiquer. Nous devrons alors réfléchir à la manière de les intégrer » ».

 

Actions des Gafam sur le secteur de la santé mentale

L’article de Laure Belot cite des annonces et déclarations des GAFAM fin 2025 -début 2026 :

• Mercredi 7 janvier, la création par Open AI de ChatGPT Health. Selon l’entreprise, les usagers, en connectant leurs dossiers de santé, pourront à partir de fin janvier avoir des réponses « plus personnalisées » du robot sans que ce soit « ni un diagnostic ni un traitement ». …
• Lundi 12 janvier, la société Anthropic a, elle, dévoilé son propre programme, Claude for Healthcare….

• Dans un article de JAMA Psychiatry du 19 novembre 2025, des chercheurs de Google DeepMind mettent en avant la « psychométrie générative » pour évaluer la santé mentale...
• Microsoft, sous la plume de son directeur de la stratégie technologique, Thomas Klein, a publié, le 21 novembre, le livre L’IA au service de la santé, dont un chapitre est consacré à la santé mentale. « Tout comme l’imagerie médicale ou les antibiotiques, les outils informatiques ont révolutionné la pratique médicale, les LLM et l’IA pourraient bien constituer le prochain saut quantique en santé », explique le dirigeant.

… « ces acteurs sont dans le business et les données, nous, on est dans le soin, constate Stéphane Mouchabac. L’innovation numérique en psychiatrie doit obéir exactement aux mêmes règles éthiques et réglementaires que la médecine en général. »

 

Données médicales et comportementales de masse désirées par le secteur de la hightech

« Depuis des décennies, la psychiatrie moderne est à la recherche de « biomarqueurs », des indicateurs objectifs tels qu’une prise de sang ou une image cérébrale qui aideraient un psychiatre à confirmer qu’une personne souffre de dépression, de schizophrénie ou de bipolarité…. Raphaël Gaillard ajoute que « le diagnostic psychiatrique, souvent perçu comme subjectif, repose sur l’analyse d’une multitude de petits indices faite par un médecin expérimenté ». L’IA, poursuit-il, « va peut-être permettre de reproduire ce processus de manière algorithmique et externe, en ramassant des données qui sont autant de signaux faibles qu’on n’arrive pas à agréger »….

« Où vont numériquement les informations concernant les personnes ? Où sont-elles stockées ? Comment leur sécurité est-elle garantie ? », s’interroge-t-il. Le Français Guillaume Dumas, professeur de psychiatrie computationnelle à l’université de Montréal (Canada), ajoute : « En vertu du Patriot Act, les données hébergées aux Etats-Unis ne sont, selon moi, pas en sécurité car elles peuvent être saisies par un gouvernement pour des raisons politiques. »…  Depuis Harvard, John Torous apporte d’autres réserves. «…sans investissement direct et sans construction de modèles spécifiques à la psychiatrie, les résultats ne seront pas là…»

Risques et validation des nouveaux robots conversationnels spécialisés en santé mentale ?

L’article site 3 exemples de nouveaux robots conversationnels spécialisés en santé mentale .

• Le 25 novembre 2025, la société allemande HelloBetter a officiellement lancé Ello, chatbot spécialisé en santé mentale. … est aussi à l’origine d’une application proposant des programmes de thérapie cognitivo-comportementale remboursés par la sécurité sociale allemande et utilisée « par 20 % des psychiatres », notamment pour des cas de burn-out, …des psychologues entrent en relation avec l’utilisateur, par chat ou par téléphone, en cas de signal de détresse détecté. »..
• La société américaine Slingshot AI a levé 93 millions de dollars (80 millions d’euros) à l’été 2025 pour lancer Ash, son chatbot spécialisé en santé mentale… Un journaliste britannique de The Verge a révélé le 10 décembre qu’Ash n’arrivait pas, en cas d’urgence, à lui donner le bon numéro de la ligne d’assistance au suicide : il donnait le numéro américain et non le numéro anglais, lieu de résidence de l’utilisateur…
• Un seul projet de chatbot thérapeutique, Therabot, non commercialisé et développé par des chercheurs du Dartmouth College (New Hampshire), a pour l’instant réalisé des essais contrôlés randomisés… Ces essais, dit-il, « nous montrent que des gens présentant des problèmes de santé mentale peuvent utiliser un chatbot, ce que nous savions déjà. Nous voulons une étude comparant un chatbot thérapeutique à un chatbot de simple conversation afin d’isoler l’effet réel de la thérapie ». Pour cet expert de la psychiatrie numérique, « il est inquiétant que personne n’ait encore produit une étude de haute qualité avec un véritable groupe de contrôle actif ».

 

La nécessité de la validation rigoureuse de haute qualité de ces outils spécialisés en santé mentale à base d’IA et de Chatbot est souligné par l’article. La motivation principale de ces sociétés proposant des IA nocives et non contrôlées est "business", accroître le trafic, fidéliser ("rendre accro") les utilisateurs.

 

📢  Exigeons de nos dirigeants un contrôle de ces "IA émotionelles".

 

 

 

 

 

Articles individuels