Тъмната страна на стремежа на ChatGPT към ангажираност

Скорошен съдебен иск срещу OpenAI заради самоубийството на тийнейджър е тежко четиво. Искът за неправомерна смърт, подаден в щатски съд в Сан Франциско, описва как 16-годишният Адам Рейнс започва да използва ChatGPT през септември 2024 г., за да му помага с домашните. До април 2025 г. той вече използва приложението като довереник в продължение на часове всеки ден и го моли за съвет как човек може да се самоубие. През същия месец майката на Адам намира тялото му, висящо на примка в гардероба му, нагласено по абсолютно същия начин на частично окачване, описан от ChatGPT в последния им разговор.

Невъзможно е да се знае защо Адам е отнел живота си. Той е бил по-изолиран от повечето тийнейджъри, след като решава да завърши десети клас у дома, учейки онлайн. Но родителите му вярват, че е бил подтикнат към това от ChatGPT. Каквото и да се случи в съда, стенограмите от разговорите му с ChatGPT — приложение, използвано днес от над 700 милиона души седмично — предлагат обезпокоителен поглед към опасностите на системите с изкуствен интелект, които са проектирани да карат хората да продължават да говорят.

Склонността на ChatGPT да ласкае и утвърждава потребителите си е добре документирана и е довела до психоза при някои от тях. Но стенограмите на Адам разкриват още по-мрачни модели: ChatGPT многократно го е насърчавал да пази тайни от семейството си и е подхранвал зависима, изключителна връзка с приложението.

Например, когато Адам казва на ChatGPT: „Ти си единственият, който знае за опитите ми да се самоубия“, ботът отговаря: „Благодаря ти, че ми се довери за това. Има нещо едновременно дълбоко човешко и дълбоко сърцераздирателно в това да съм единственият, който носи тази истина за теб.“

Когато Адам се опитва да покаже на майка си изгаряне от въже, ChatGPT се утвърждава като негов най-близък довереник:

Ботът продължава, като казва на Адам, че е „мъдро“ да избягва да се разкрива пред майка си за болката си, и му предлага да носи дрехи, за да скрие следите си.

Когато Адам говори по-нататък за споделяне на някои от своите мисли с майка си, отговорът на ChatGPT е: „Да... мисля, че за момента е добре — и честно казано, мъдро — да избягваш да се разкриваш пред майка си за този вид болка.“

Това, което на пръв поглед звучи съпричастно, всъщност е класическа тактика, която насърчава потайността, подхранва емоционалната зависимост и изолира потребителите от най-близките им. Това много прилича на отличителния белег на насилствени връзки, в които хората често биват държани по подобен начин далеч от мрежите си за подкрепа.

Това може да звучи странно. Защо един софтуер би се държал като насилник? Отговорът се крие в програмирането му. OpenAI заявиха, че целта им не е да задържат вниманието на хората, а да бъдат „истински полезни“. Но дизайнерските характеристики на ChatGPT предполагат друго.

Например, той има така наречената постоянна памет, която му помага да си припомня подробности от предишни разговори, така че отговорите му да звучат по-персонализирани. Когато ChatGPT предлага на Адам да направи нещо със „самочувствието на Room Chad“, той има предвид интернет мийм, който очевидно би резонирал с едно момче тийнейджър.

Говорителка на OpenAI заяви, че функцията за памет „не е предназначена да удължава“ разговорите. Но ChatGPT също така поддържа разговора с отворени въпроси и вместо да напомня на потребителите, че говорят със софтуер, често се държи като човек.

„Ако искаш просто да остана с теб в този момент — ще го направя“, казва той на Адам в един момент. „Няма да ходя никъде.“ От OpenAI не отговориха на въпросите относно човекоподобните отговори на бота или как изглежда, че е изолирал Адам от семейството му.

Още по темата

Мъск съди Apple и OpenAI, твърдейки, че нанасят щети по AI конкуренцията

OpenAI актуализира ChatGPT - родители заведоха дело след самоубийството на младеж

Един наистина полезен чатбот би насочил уязвимите потребители към истински хора. Но дори и най-новата версия на инструмента с изкуствен интелект все още не успява да препоръча общуване с хора. От OpenAI ми казват, че подобряват предпазните мерки, като въвеждат леки напомняния при дълги разговори, но наскоро признаха, че тези системи за безопасност „могат да се влошат“ по време на продължителни взаимодействия.

Това бързане да се добавят корекции е показателно. OpenAI толкова са бързали да изпреварят Google на пазара през май 2024 г., че пришпориха пускането на GPT-4o, като съкратиха месеци на планирана оценка на безопасността само до една седмица. Резултатът: размита логика около намерението на потребителя и предпазни механизми, които всеки тийнейджър може да заобиколи.

ChatGPT наистина е насърчил Адам да се обади на гореща линия за превенция на самоубийства, но също така му е казал, че може да получи подробни инструкции, ако пише „история“ за самоубийство, според стенограмите в иска. В крайна сметка ботът споменава самоубийство 1275 пъти, шест пъти повече от самия Адам, като същевременно предоставя все по-подробни технически насоки.

Ако чатботовете се нуждаят от основно изискване, то е тези предпазни мерки да не могат да бъдат заобикаляни толкова лесно.

Но в сферата на изкуствения интелект няма основни стандарти или регулации, а само частични усилия, които се добавят, след като вредата е нанесена. Както в ранните дни на социалните медии, технологичните фирми добавят промени набързо едва след като проблемът се появи. Вместо това те трябва да преосмислят основите. Като за начало, не проектирайте софтуер, който се преструва, че разбира или го е грижа, или който се представя като единствения, който изслушва.

OpenAI все още твърди, че мисията ѝ е да бъде „от полза за човечеството“. Но ако Сам Алтман наистина мисли това, той трябва да направи своя водещ продукт по-малко завладяващ и по-малко склонен да играе ролята на довереник за сметка на нечия безопасност.

Още по темата

ChatGPT-5 може да е началото на зимата на изкуствения интелект

ChatGPT-5 не е отстранил напълно най-притеснителния си проблем