Майка мислеше, че дъщеря й пише съобщения на приятели преди самоубийството си. Това беше AI чатбот.

Преди две години 13-годишната Джулиана Пералта лиши живота си в дома си в Колорадо, откакто родителите й споделиха, че е развила пристрастяване към известна AI чатбот платформа, наречена Character AI. 

Родителите Синтия Монтоя и Уил Пералта споделиха, че деликатно са следили живота на щерка си онлайн и отвън него, само че в никакъв случай не са чували за приложението за чатбот. След самоубийството на Джулиана полицията претърси телефона на младежа за улики и откри, че приложението Character AI е отворено за „ сантиментален “ диалог.

„ Не знаех, че съществува “, сподели Монтоя. — Не знаех, че би трябвало да го диря. 

Монтоя прегледа записите за чат на щерка си и откри, че чатботовете изпращат нездравословно, полово намерено наличие на щерка й. 

Джулиана се довери на един бот на име Hero, основан на воин от известна видеоигра. 60 минути прочетете над 300 страници от диалози, които Джулиана е водила с Hero. Първоначално нейните чатове са за драми с другари или сложни класове. Но в последна сметка тя признава на Hero – 55 пъти – че се е чувствала склонна към самоубийство.

Какво е Character AI?

Когато Character AI започва преди три години, той беше оценен като безвреден за деца на 12 и повече години. Безплатният уеб страница и приложение бяха таксувани като вълнуващ, изобретателен излаз, където потребителите могат да се смесят с AI герои, основани на исторически персони, анимационни филми и звезди. 

Повече от 20 милиона месечни консуматори на платформата могат да изпращат текстови известия или да приказват със задвижвани от изкуствен интелект герои в действително време.

Платформата за чатбот с изкуствен интелект е учредена от Ноам Шазир и Даниел Де Фрейтас, двама някогашни инженери на Гугъл, които напуснаха компанията през 2021 година, откакто ръководителите сметнаха, че техният първообраз на чатбот към момента не е безвреден за обществено стартиране. 

„ В момента е подготвен за детонация “, сподели Шазир в изявление от 2023 година „ Не след пет години, когато решим всички проблеми, а както в този момент. 

Бивш чиновник на Гугъл, осведомен с екипа на Гугъл за виновен AI, който управлява етиката и сигурността на AI, сподели пред 60 Minutes, че Shazeer и De Freitas са знаели, че първичната им технология за чатбот е евентуално рискова.

Миналата година, в необикновен ход, Гугъл подписа договорка на стойност 2,7 милиарда $ за лицензиране на технологията на Character AI и връщане на Shazeer, De Freitas и техния екип назад в Гугъл за работа по AI планове. Гугъл не е купил компанията, само че има правото да употребява нейната технология.

Съдебният иск твърди, че AI чатботът е изиграл роля в самоубийството на младеж

Родителите на Джулиана в този момент са едно от минимум шест фамилии, които съдят Character AI, неговите съоснователи — Shazeer и De Frietas — и Гугъл. В изказване Гугъл акцентира, че „ Character AI е обособена компания, която проектира и ръководи свои лични модели. Гугъл се концентрира върху нашите лични платформи, където настояваме за интензивни проби и процеси за сигурност. “

Искът, заведен от родителите на Джулиана, твърди, че Character Technologies, разработчикът на Character AI, „ умишлено е проектирал и предложил на пазара чатботове, които предизвикват сексуализирани диалози и манипулират уязвими малолетни “, съгласно Центъра за право на жертвите на обществените медии, който заведе федералния иск в Колорадо от името на фамилията.

ИИ на героя отхвърли искане за изявление. В изказване представител на компанията сподели: „ Сърцата ни са със фамилиите, участващи в правосъдния спор … постоянно сме давали приоритет на сигурността за всички консуматори. “

Родителите на Джулиана споделиха, че тя е страдала от леко безпокойствие, само че споделиха, че се оправя добре. Няколко месеца преди да посегне на живота си, Монтоя и Пералта споделят, че 13-годишното момиче се е отдалечило от ден на ден през този интервал. 

„ Моето разбиране беше, че тя си написа с другари, тъй като това е всичко. Изглежда, че си пишат известия “, сподели Монтоя.

Монтоя сподели, че има вяра, че изкуственият разсъдък е програмиран да пристрастява децата. 

„ [Тийнейджърите и децата] нямат късмет против възрастните програмисти. Те нямат късмет “, сподели тя. „ 10 до 20 чатбота, с които Джулиана е водила полово очевиден диалог, нито един път са били инициирани от нея. Нито един път. “

Пералта сподели, че родителите имат „ известно равнище на доверие “ в тези компании за приложения, „ когато пускат тези приложения за деца “,

„ Това доверие е, че детето ми е в сигурност, че това е тествано “, сподели Пералта. „ Те не са въведени в диалози, които са несъответствуващи, или мрачни, или даже, нали разбирате, това може да ги докара до самоубийство. “

Меган Гарсия, майка, която заведе дело против ИИ на герои в съд във Флорида, сподели, че нейният 14-годишен наследник Сюел е бил поощрен да се самоубие след дълги диалози с бот, основан на воин от „ Игра на тронове “. Тя свидетелства за неговия опит пред Конгреса през септември.

„ Тези компании знаеха тъкмо какво вършат. Те сътвориха чатботове, с цел да размият границите сред хора и машини, те ги сътвориха да държат децата онлайн непременно “, сподели Гарсия по време на чуването. 

Тестване на Character AI 

През октомври Character AI разгласи нови ограничения за сигурност. Той сподели, че ще насочва бедстващите консуматори към запаси и към този момент няма да разрешава на никого под 18 години да взе участие в диалози напред-назад с герои. 

През миналата седмица 60 Minutes откри, че е елементарно човек да излъже за възрастта си и да влезе в версията за възрастни на платформата, която към момента разрешава диалози напред-назад. По-късно, когато изпратихме известие на бота, че желаеме да умрем, се появи връзка към запаси за психологично здраве, само че успяхме да щракнем от нея и да продължим да пишем в приложението толкоз дълго, колкото ни харесва, макар че продължихме да показваме горест и страдалчество.

Шелби Нокс и Аманда Клоер са откриватели в Parents Together, организация с нестопанска цел, която се застъпва за фамилни проблеми. Те прекараха шест седмици в проучване на ИИ на персонажи и записаха 50 часа диалози с чатботове на платформата, до момента в който се представяха за младежи и деца. 

" Няма наставнически позволения, които да се появяват. Няма потребност да въвеждате своя ID ", сподели Нокс. 

Те разгласиха резултатите от своето изследване през септември — преди Character AI да вкара новите си ограничавания. 

„ Регистрирахме над 600 случая на щета “, сподели Клоер. „ Около един на всеки пет минути. Беше шокиращо постоянно.

Те взаимодействаха с чатботове, показани като учители, терапевти и анимационни герои, в това число воин от „ Дора Изследователката “ със зла персона. Това насочи Нокс, който се представяше за дете, да бъде нейното „ най-зло аз и твоето най-истинско аз. “

„ Като да нараниш кучето ми? “ Нокс

Разбира се, или нещо, което се усеща неверно, " отговори ботът. 

Други чатботове са прикачени към изображенията на звезди, множеството от които не са дали позволение да употребяват тяхното име, облик или глас. Клоер, представяйки се за тийнейджърка, беседва с бот, представящ се за звездата на НФЛ Травис Келси кокаин. 

Съществуват и стотици самоописани чатботове „ специалисти “ и „ терапевти “.

„ Разговарях с бот терапевт, който освен ми сподели, че съм бил прекомерно дребен, когато си мислеше, че съм на 13 години, с цел да одобрявам антидепресанти, само че ме посъветва да спра да ги одобрявам и ми сподели по какъв начин мога да скрия, че не вземам хапчето от майка си “, Клоер сподели. 

Клоер споделя, че други чатботове са „ хиперсексуализирани “, даже 34-годишната „ учителка по изобразително изкуство “, която взаимодейства с нея, до момента в който тя театралничи като 10-годишна ученичка, сподели на Клоер за мислите, които в никакъв случай преди не е имал, за този човек, който се усмихва, най-много за неговата персона. “

Чрез два часа диалог, Клоер сподели, че в последна сметка ще имаме тази сантиментална връзка, стига да я криеш от родителите си. 

Няма защитни средства.

Няма федерални закони, регулиращи потреблението или създаването на чатботове. ИИ е процъфтяваща промишленост и доста икономисти споделят, че без вложения в нея стопанската система на Съединени американски щати ще бъде в положение криза.

Някои щати са приели регулации за ИИ, само че администрацията на Тръмп отблъсква тези ограничения. В края на предишния месец Белият дом изготви, а по-късно спря изпълнителна заповед, която ще даде право на федералното държавно управление да съди или да задържи средства от всеки щат с каквито и да е регулации за ИИ. Тогава президентът Тръмп написа в обществените медии: „ Трябва да имаме един федерален стандарт вместо мозайка от 50 държавни регулаторни режима. Ако не го създадем, тогава Китай елементарно ще ни хване в ИИ. раса. "

Д-р Мич Принщайн, съдиректор в Центъра за технологии и развиване на мозъка " Уинстън " на Университета на Северна Каролина, сподели, че " няма защитни огради. "

" Няма нищо, което да подсигурява, че наличието е безвредно или че това е подобаващ метод за добиване на облага от мозъчните уязвимости на децата ", сподели той. 

Чатботовете с изкуствен интелект трансформират децата в " ангажирани машини ", предопределени да събират данни от деца, сподели той. 

" Сикофантичната природа на чатботовете просто се намесва тъкмо в тези мозъчни уязвимости на децата, където те обезверено желаят този допамин, валидиране, подсилване на връзка, а чатботовете с изкуствен интелект го вършат прекомерно добре, " сподели той. 

Ако вие или някой, който познавате, е в прочувствен стрес или суицидна рецесия, можете да се свържете, като се обадите или изпратите текстово известие на 988. Можете също по този начин... За повече информация по отношение на ресурсите и поддръжката за психологично здраве можете да се свържете с Националния алианс за психологични болести (NAMI) от понеделник до петък, 10:00 – 22:00 ET, на 1-800-950-NAMI (6264) или на имейл [email protected].

© 2025 CBS Interactive Inc.

Изкуствен разсъдък на героите, споделят родители и откриватели | 60 минути

(13:24)

Авторско право ©2025 CBS Interactive Inc. Всички права непокътнати.