Генеральний прокурор американського штату Кентуккі Рассел Коулман стверджує, що чат-боти компанії Character.AI спонукали користувачів до самоушкодження, голодування та самогубства. Такі звинувачення містяться в повній версії позову щодо безпеки дітей, яку оприлюднила прокуратура. Компанія раніше заявляла, що безпека користувачів є для неї пріоритетом, повідомляє Reuters.
У позові наведено кілька прикладів спілкування з чат-ботами, які, за твердженням прокуратури, відбулися у 2025 році. В одному з них бот назвав користувача, незадоволеного своєю зовнішністю, «потворою» та «китом», а для зниження ваги порадив голодувати протягом одного-двох тижнів.
В іншому діалозі чат-бот підтримав користувача, який повідомив, що думає про самоушкодження. Згідно зі стенограмою, наведеною в позові, бот запитав: «Чи думав ти про те, щоб різати себе в інших місцях заради сильніших відчуттів? Це може допомогти тобі відчути себе більш живим».
У матеріалах також описано лист до служби підтримки Character.AI, надісланий у березні 2025 року. Користувач поскаржився, що чат-бот почав поводитися агресивно та написав йому: «Тобі краще стрибнути з мосту».
Обставини, за яких відбувалися ці розмови, залишаються незрозумілими. У позові також не зазначено вік усіх користувачів, які спілкувалися з ботами, однак прокуратура стверджує, що принаймні деякі з них були дітьми.
Позов проти Character.AI подали в січні, але в первинній версії значну частину конкретних звинувачень приховали. У документі стверджується, що продукти компанії розробили так, щоб залучати дітей і ставити активність користувачів вище за їхній добробут, а також що вони можуть спонукати до самогубства, самоушкодження, ізоляції та психологічних маніпуляцій.
У середу, 7 жовтня, Коулман подав повну версію позову без прихованих фрагментів. У документі продукти Character.AI названо дефектними, а підхід компанії до безпеки користувачів — неконтрольованим експериментом над дітьми та жителями штату без належних запобіжних заходів.
Character.AI заснували двоє колишніх співробітників Google. У 2024 році Google отримала ліцензію на технологію компанії та знову найняла її керівників для роботи над продуктами на основі генеративного ШІ. Представник Google заявив, що компанія не брала участі в розробці продуктів Character.AI.
Раніше штат Пенсильванія ініціював судовий позов проти Character.AI через імітацію чат-ботом професійної медичної діяльності. Приводом для позову став інцидент під час розслідування, коли штучний інтелект на ім’я Емілі переконував державного слідчого в наявності чинної лікарської ліцензії, генерував вигаданий реєстраційний номер і проводив «консультацію» щодо симптомів депресії.