Кевин реши да се занимава с модериране на съдържание, след като препоръките му в YouTube поеха в объркваща посока. През 2021 г. в неговия фийд се появиха видеоклипове, показващи насилствени атаки на нигерийската милитантна група „Боко Харам“. Те бяха сурови и кървави и му напомняха за насилието, на което беше свидетел като дете в Нигерия.
Един ден видеоклиповете изчезнаха. Кой го е направил?, се чудеше той. Прочете в интернет, че премахването на смущаващи материали от интернет е работа – такава, за която може да кандидатства. „Не исках хората да прекарват живота си, гледайки тези графични неща“, каза Кевин, който говори под псевдоним поради поверителния характер на работата си. „Исках да направя света по-добър.“
Сега Кевин е един от служителите на фирма за модериране на съдържание, която работи за TikTok, където проверява видеоклипове, публикувани от потребители от цяла Субсахарска Африка. Неговото решение определя дали „всичко лошо и всичко жестоко“ – малтретиране на животни, малтретиране на хора, осакатявания, смъртни случаи, инциденти с деца – да остане или да бъде премахнато, каза той.
Това е трудна и емоционална работа. Наскоро му е било предложено да използва програма за изкуствен интелект, за да му помага. Но след повече от година работа със системата, Кевин каза, че изкуственият интелект е създал нови проблеми. Технологията не може надеждно да открива злоупотреби или зло, каза той. Все пак Кевин вярва, че това няма да спре работодателя му да използва инструментите, за да го замести.
Появата на генеративният изкуствен интелект доведе до толкова впечатляващи постижения, че много компании залагат на това, че един ден технологията ще се научи да разграничава доброто от лошото, ако й се предоставят достатъчно примери за всяко от двете. Но според 13 професионални модератори, моделите, на които сега се разчита да спрат разпространението на опасно съдържание, като материали със сексуално посегателство над деца или политическа дезинформация, заменят работниците по-бързо, отколкото могат да се научат на работата. Работниците, които остават, се страхуват, че интернет, наблюдаван от изкуствен интелект, ще се превърне в опасно минно поле, където кодираната реч на омраза, пропагандата, подмамването на деца и други форми на онлайн вреда ще продължат да съществуват и да се разпространяват безконтролно.
„Ако поемете по пътя на внедряването на изкуствен интелект, за да намалите броя на персонала, отговарящ за доверието и безопасността, това ще намали общата безопасност“, каза Лойд Ричардсън, директор по технологии в Канадския център за защита на децата. „Имате нужда от хора.“
Компании като Meta Platforms Inc., TikTok на ByteDance Ltd., Roblox Corp. и X изтъкват предимствата на по-голямата зависимост от модериране на съдържание чрез изкуствен интелект. Това е травматична и стресираща работа, която може да остави трайни емоционални белези у хората, които я извършват, а наемането на достатъчно хора, които да се справят с всичко това, е невъзможно или прекалено скъпо. Имайте предвид, че потребителите публикуват над 20 милиона видеоклипа в YouTube всеки ден. Автоматизираните системи донякъде са намалили натоварването, като блокират повторно качването на съдържание, за което вече е известно, че е лошо – като видеоклипове с масови стрелби. Но сега компаниите разчитат на изкуствения интелект да се научи да възприема нюансите в публикуваното съдържание и да взема решения.
Днешните чатботове, задвижвани от изкуствен интелект, могат да подпомагат хората в емоционални разговори. Това не означава, че същата технология е готова да предпази интернет потребителите от вредно съдържание, казаха модераторите. От 13-те модератори, с които Bloomberg разговаря, всички с изключение на един заявиха, че инструментите, с които разполагат, активно затрудняват работата им. „Не можем да разчитаме на предложенията на изкуствения интелект“, каза 36-годишната Жанерке Каденова, която работи за фирма за модериране на съдържание в Казахстан, която има договор с голяма технологична компания. „Повечето пъти не съвпада – около 80%. Дори не ги гледаме.“
Кевин оценява, че за него то се проваля в 70% от случаите. Системата все още често стига до погрешни заключения – например посочва ниското ниво на горивото на таблото на кола във видео, когато трябва да посочи скоростта от 200 километра в час на скоростомера. Или може да очертае лицето на малко дете на платформата и да го идентифицира като 17-годишно. Той отделя време да коригира грешките и въвежда изключително конкретни етикети за всичко, което вижда. Коригирането на изкуствения интелект увеличава натоварването и отнема време, което би могло да се използва за решаване на по-спешни проблеми.
„Това е страшно. Много е страшно“, каза Кевин, който вярва, че неговите щателни корекции обучават системата и в крайна сметка ще го заменят, въпреки че шефовете му не са го казали изрично.
Roblox, YouTube, TikTok, Meta и X са били подложени на строг контрол по отношение на практиките си за модерация. През 2024 г. американски сенатори по време на изслушване по въпросите на детската безопасност зададоха въпроси на последните три компании. Днес TikTok се бори с десетки съдебни дела след разследвания за съдържание, свързано със самоубийства, сексуална експлоатация и др. Федералната търговска комисия на САЩ обвини Instagram на Meta, че свързва непълнолетни с лица, които ги манипулират, а безброй доклади описват предизвикателствата пред Facebook при модерацията на насилствено и екстремистко съдържание.
След като Илон Мъск придоби Twitter, който преименува на X, регулаторните органи и журналистите изразиха редица опасения, че платформата разпространява несъгласувана порнография с deep fake и съдържание, свързано с малтретиране на деца. Roblox също беше критикуван за това, че не защитава децата от престъпници на платформата, включително в разследване на Businessweek от 2024 г. През последните три седмици срещу компанията са подадени седем съдебни жалби за нанасяне на вреда на децата, включително от главния прокурор на Луизиана Лиз Мърилл. В жалбите се твърди, че пресстъпниците са се насочвали към деца на възраст от 8 години в Roblox. „Твърдението, че Roblox умишлено излага нашите потребители на риск от експлоатация, е категорично невярно“, заяви компанията в отговор на жалбата.
През изминалата година обаче, под натиска да намалят разходите си, всички тези компании обявиха намерението си да разчитат в по-голяма степен на модерация чрез изкуствен интелект, ускорявайки усилията, започнати по време на пандемията, когато компаниите решиха, че работата с чувствително съдържание не е възможна от дома. За някои от приложенията тази стъпка беше подхранена и от твърденията на консервативни законодатели, че човешката модерация е пристрастна.
Под ръководството на Илон Мъск, X драстично намали персонала си за модериране на съдържание, като от 2023 г. насам броят на модераторите в Европейския съюз е намален наполовина до 1486, според доклада на компанията за Закона за цифровите услуги. Telus, подизпълнителят на Meta за модериране на съдържание, съкрати над 2000 работни места в Барселона през април. Бившият финансов директор на Roblox Майкъл Гътри съобщи на инвеститорите миналата година, че компанията е освободила средства от операциите си, като „използва повече изкуствен интелект и изисква все по-малко човешка модерация“, като същевременно поддържа постоянен брой на служителите. Roblox не отговори на запитване за коментар относно броя на модераторите си и дали той се е увеличил успоредно с 41-процентното нарастване на потребителите на платформата през второто тримесечие в сравнение с предходната година. Bloomberg съобщи през 2024 г., че Roblox е имал около 3000 модератори за своите 80 милиона активни потребители дневно по това време. Компанията заяви, че броят на модераторите не е показател за качеството.
Според доклад на Ройтерс, TikTok наскоро съкрати стотици работни места на модератори и скоро планира да съкрати още повече в прехода към AI модерация. Петдесет от близо 150-те модератори на TikTok в Германия заплашват да стачкуват заради предстоящото съкращение. Един модератор на съдържание в TikTok за холандски видеоклипове, който се занимава с теми като конспиративни теории и дезинформация по време на избори, заяви, че изкуственият интелект не е подходящ да го замести, защото не може да улови контекста за конкретни региони, като например различните диалекти.
X не отговори на исканията за коментар. Представител на TikTok заяви, че изкуственият интелект „може да подпомогне благосъстоянието на нашите модератори и да подобри човешката модерация“, като се позова на възможността за персонализиране на натоварването на модераторите въз основа на техните културни познания. „Нашето използване на изкуствен интелект за подпомагане на модериране на съдържание все още е в много ранен етап“, заяви говорителят, добавяйки, че компанията определя „строги стандарти за качество“ за новите технологии за модерация, преди да ги пусне в употреба. Човешките модератори са по-фокусирани върху сложни задачи, които са „силно контекстуални, но с по-ниска честота“, заяви представителят.
През август Roblox обяви AI система, предназначена да открива ранни признаци на опасност за деца, която помогна на Roblox да идентифицира 1200 сигнали за потенциална експлоатация на деца за Националния център за изчезнали и експлоатирани деца. Модерирането на големия обем текстово и аудио съдържание е „работа, с която хората не могат да се справят сами“, заяви компанията в публикация в блога си през юли, добавяйки, че за това „биха били необходими стотици хиляди човешки модератори, работещи 24 часа в денонощието, 7 дни в седмицата“. Roblox сподели как обучава системите да предотвратяват фалшиви отрицателни резултати и използва AI само когато тя показва „значително по-висока точност и възстановяване от хората в мащаб“.
Под публикацията на главния изпълнителен директор Дейвид Базуки в X относно блога, десетки коментатори се оплакаха от модерацията на платформата, като много от тях заявиха, че хората са по-подходящи за модерация на платформата за деца. Някои споделиха екранни снимки на неподходящо съдържание, което са видели, включително аватари, носещи бельо. AI може също да превърне особено разстройващи видеоклипове и изображения в черно-бели, което според изследователите е от полза за психическото здраве на модераторите. Представител на TikTok заяви, че модераторите са премахнали с 60% по-малко видеоклипове, нарушаващи политиката на платформата срещу шокиращо или графично съдържание, тъй като „нашите технологии за модерация поеха повече от тези потенциално разстройващи видеоклипове“. Но дори компаниите, които продават инструменти за AI модерация, предупреждават за прекомерното разчитане на технологията.
„Някои AI системи имат много фалшиви положителни резултати“, каза Рон Кърбс, главен изпълнителен директор на софтуерната фирма за детска безопасност Kidas. AI може да не е в състояние да различи дали някой, който играе Call of Duty и казва „Ще те убия“, го прави като част от играта или като реална заплаха за живота. В публикация в блога си през януари Meta заяви, че автоматизираните системи на компанията, които сканират за нарушения на политиките, „водят до твърде много грешки“ и прекомерна цензура, така че ще се фокусира върху нарушения с висока степен на тежест, като наркотици и измами.
Фалшивите положителни резултати на изкуствения интелект могат да доведат до лошо потребителско преживяване за хора, които не правят нищо лошо онлайн, като погрешно ги блокират от акаунтите им. Това води до по-голяма натовареност за хората, които получават огромно количество жалби срещу решенията. „Някои от нещата, които изкуственият интелект премахваше, просто нямаха смисъл“, каза 29-годишният Майкъл Нкоко, бивш модератор в компания, работеща по договор с Meta. Тъй като той все още трябваше да спазва дневната си квота за отговори на жалби, жалбите „създаваха повече работа“. Представител на Meta заяви, че грешките съставляват малка част от премахнатото съдържание.
Компютрите са много добри в отговорите на въпроси с „да“ или „не“. Те не са толкова добри в субективността, културния контекст и вкуса. Развитието на правилната преценка е постоянен процес. Политиката на компаниите се променя бързо в зависимост от регулациите и политическия климат, социалните норми се развиват и постоянно се измислят нови обидни думи. Хората развиват езика си по-бързо, отколкото изкуственият интелект може да го открие и разбере, каза Майк Папас, главен изпълнителен директор на компанията за модерация на изкуствен интелект Modulate. „Нужни са хора, които да кажат: „Ей, „лилаво“ вече е расова обида.“ Умножете това по хилядите живи езици, публикувани на тези платформи.
За да се даде на изкуствения интелект някаква приблизителна представа за човешката преценка, системата трябва да бъде обучена на много конкретни въпроси с отговор „да“ или „не“, за да може по-често да постига това, което човекът вече знае как да прави интуитивно. Кевин каза, че често се иска от колегите му да преглеждат едно и също съдържание – знак, според него, че компанията се опитва да обучи изкуствения интелект въз основа на тяхната работа. В едно видео, което си спомня, двама души се карат, като единият държи оръжие и удря другия.
„Субектът вдигна ли ръка? Кликнете върху „да“. Ръката се спусна с определена скорост? Да. Имаше ли удар? Да. Другият субект реагира ли на удара? Да. Субектът изглеждаше ли като че ли е претърпял тежка травма? Да. Имаше ли пръски кръв или осакатяване? Да“, обясни Кевин. „Би било наивно да мислите, че правите това, без да обучавате изкуствения интелект.“
Питър, който също е нигериец и помоли да използва псевдоним, каза, че възприема модерацията като общественополезна дейност, след като като дете е бил свидетел на насилие. Когато седне на работното си място, понякога му се налага да маркира всеки малък детайл във видеото, като части от тялото или предмети от бита. Друг път докладва обидни изрази, които изкуственият интелект не е уловил. В крайна сметка автоматизираната система на компанията му започна да улавя думи като „арне“, което е унизителен термин на хауса за немюсюлманските групи. (Питър, подобно на Кевин, знае половин дузина езици.)
„Знаех, че няма да мине много време, преди услугите ми да не са вече необходими“, каза Питър за амбициите на компанията му в областта на изкуствения интелект. „Ако бях собственик на бизнес, бих искал да намаля разходите.“
Модераторите се притесняват, че независимо колко добре обучават изкуствения интелект, той няма да улови фините нюанси в човешката реч и поведение. Един от тях, който пожела да остане анонимен, каза, че често преглежда видеоклипове, в които хората носят оскъдно бельо. AI може да го открие надеждно. Но няма да направи изключения, ако потребителят стои близо до водоем, каза той. В други случаи AI може да открие разголена гърда, но няма да вземе предвид политиката, която позволява изображения на кърмене.
Бикините са най-малката грижа на тези модератори. Мнозина заявиха, че основната им грижа са децата. Злонамерените лица изучават внимателно тактиките за автоматизация на платформите, за да могат да ги заобикалят – и се учат по-бързо от изкуствения интелект.
Във форумите в тъмната мрежа престъпниците, които преследват деца, обменят трикове за това кои думи се засичат от автоматизацията на платформите или доколко могат да стигнат в разговорите си с дете, преди да бъдат забранени. И докато изкуственият интелект може надеждно да идентифицира деца в изображения или видеоклипове, той има затруднения да разпознае текстови разговори, които човешки модератор би класифицирал като подготвяне за сексуално насилие, казват модераторите. Престъпниците, които се опитват да преместят деца на платформа с по-либерални правила, използват безобидни фрази като „Да купонясваме“ или „Срещни ме в приложението Ghost“. Ако платформата забележи това, престъпниците поставят X между буквите, казва един модератор.
Експертите заявиха, че най-безопасният път за големите технологични компании е да запазят човешкия си персонал, като същевременно го развиват и допълват с AI инструменти. Броят на потенциално вредните публикации, които трябва да се разглеждат, „само се увеличава – особено с генеративния AI и платформите, които се заливат с такова съдържание“, заяви Джонатан Фрегер, старши вицепрезидент на модериращата фирма WebPurify.
Савана Бадалич, ръководител на продуктовата политика на Discord, заяви в интервю, че компанията няма планове да намалява разходите, свързани с модерацията, преди първичното си публично предлагане. Макар Discord да използва машинно обучение и големи езикови модели в подкрепа на човешките рецензенти, тя заяви: „За нас е много важно да имаме хора в процеса, особено при тежки решения за налагане на санкции. Използването на изкуствен интелект не замества никого от нашите служители. То има за цел да подпомага и ускорява тяхната работа.“
Аутсорсинг компанията Teleperformance SE наема хиляди модератори на договор, които сканират съдържание в компании като TikTok. Представител на компанията заяви, че „въпреки големите напредъци в автоматизацията, човешките модератори са от съществено значение за осигуряване на безопасност, точност и емпатия както в социалните медии, така и в игровите среди“. Модерацията е нещо повече от това да се каже „да“ или „не“ на дадена картинка; тя е „интерпретиране на поведението, разбиране на контекста и вземане на решения, с които изкуственият интелект все още се затруднява“, заяви говорителят.
Кевин каза, че това е последната му година като модератор в TikTok. „Нямам намерение да остана повече от четири години“, каза той. „Ние сме депресирани. Истинска депресия.“ В свободното си време гледа стари комедии, свири на китара и се моли. „Докато обучаваме изкуствения интелект на това, което правим, той всъщност става все по-добър“, каза той.
Но добави, че това няма да е достатъчно. „Ще има много изтичания на много нарушаващо съдържание“, каза Кевин.