- Anthropic и OpenAI вече разработват инструменти, които могат да подпомагат собственото си усъвършенстване
- Стартъпи в областта на самоусъвършенстващия се AI привлякоха стотици милиони долари финансиране
- Споровете около безопасността на AI се изместват към въпроса дали човешкият контрол може да бъде запазен
Протестиращи се събраха пред централите на Anthropic и OpenAI в Сан Франциско по-рано този месец, призовавайки за пауза в надпреварата за усъвършенстване на изкуствения интелект.
Само един поглед към надписите, издраскани с боя върху плакатите им - „Моля, не ме убивайте“ и „QuitGPT“ - може да накара някои хора да ги приемат като крайни активисти с повърхностно разбиране на технологията.
Но страховете им насочват вниманието към една от най-горещите нови тенденции в областта: т.нар. рекурсивно самоусъвършенстване, или изкуствен интелект, който може да се развива сам.
Съществуват не само значителни доказателства, че подобна научнофантастична промяна е възможна, но и милиарди долари вече се насочват към нея. Също така остава неясно дали изобщо е възможно подобна „пауза“ да бъде приложена.
„Смятаме, че създаването на AI, който може да автоматизира изследванията в областта на изкуствения интелект и да се самоусъвършенства, може да представлява опасност за човечеството“, заяви Майкъл Траци в скорошно телевизионно интервю.
Траци е един от активистите, които миналата година проведоха осемдневна гладна стачка пред офисите на Google DeepMind. „Не само аз и други изследователи казваме това, а и самите лаборатории.“
Той е прав. След като инструментите за програмиране, задвижвани от изкуствен интелект, доведоха до значителен скок в разработката на софтуер в OpenAI и Anthropic, двете лаборатории започнаха да наемат изследователи с убеждението, че техните инструменти ChatGPT и Claude могат да помогнат за собственото си усъвършенстване.
Anthropic привлече Андрей Карпати - съосновател на OpenAI и бивш ръководител в Tesla Inc., чиито онлайн уроци по темата оказаха силно влияние - за да ръководи екип, който ще използва Claude, за да се усъвършенства..
Нови компании се насочват към създаването на AI, способен да се подобрява сам
Нова вълна от стартъпи също се включва в надпреварата за самоусъвършенстващ се изкуствен интелект. Базираната в Лондон Recursive Superintelligence привлече 650 милиона долара през май при оценка от 4,7 милиарда долара, докато базираната в Пало Алто Ricursive Intelligence - която се фокусира повече върху чипове - е осигурила 335 милиона долара.
Ineffable Intelligence, основана от Дейвид Силвър, пионер в областта на обучението чрез подкрепление (reinforcement-learning), който е ръководил екип в DeepMind, набра 1,1 милиарда долара през април за разработване на AI, който се самоусъвършенства. Това беше най-големият начален инвестиционен кръг в историята на Европа.
Предимството да не бъдеш част от голяма технологична компания е, че можеш да започнеш от нулата с малък брой инженери, вместо да възлагаш на стотици хора да работят по автоматизирането на собствените си позиции, според съоснователя на Recursive Superintelligence Тим Роктешел. Последният подход „би навредил на морала“, казва Роктешел със спокоен тон.
Това задълбочаващо се усещане за безсилие сред програмистите се вижда в цитат от един от инженерите на Anthropic, включен в скорошна публикация на компанията, озаглавена „Когато AI се създава съм“:
„В дни, когато всичко работи добре, не мога да не мисля, че нищо от това, което правя, няма значение, всичко е автоматизирано и по-добро и по-бързо, отколкото някога ще бъда аз“, казва анонимният изследовател.
Публикацията отбелязва, че по-голямата част от кода на Anthropic вече се създава от Claude, което ограничава ролята на хората до тясно място в процеса на разработка. Основният принос на хората все повече се свежда до преценка и усет - избор кои експерименти си заслужават и кои проблеми трябва да бъдат изследвани. Но Роктешел предполага, че дори тази задача започва да се прехвърля към AI.
Той смята, че AI вече е автоматизирал предишни етапи от ръчната работа по софтуерното инженерство с развитието си, а сега последният етап от самия научен процес - способността на интелигентен агент постоянно да се усъвършенства чрез самостоятелно откриване - започва да отстъпва.
„Напуснахме работата си на тези различни места, за да се съсредоточим изцяло върху това“, казва той.
Компаниите твърдят, че развитието се контролира, но опасенията остават
Няколко пъти питам Роктешел защо се фокусира върху пробив, който потенциално може да излезе извън човешкия контрол. Той ме уверява, че цялото развитие на компанията се извършва в изолирана среда.
С други думи, саморазвиващ се AI модел няма да може да излезе в интернет и да причини хаос. Вместо това, казва той, моделът действа като млад изследовател, който трябва да убеди своите човешки ръководители в надеждността на научния резултат.
Аналогията звучи убедително, но не успява да разсее съмненията. А по-тревожният аргумент на Роктешел е, че AI вече се подобрява сам през последните две години - чрез автоматизирани инструменти за програмиране, които пишат големи части от следващия модел, или чрез методи като обучение чрез подкрепление.
Протестиращите, които настояват за пауза, трудно биха постигнали такава мярка, защото няма един конкретен процес, който да бъде спрян, а десетки обичайни практики, вплетени в работата на всяка голяма лаборатория.
Това прави ситуацията различна от предишни опити за ограничаване на научното развитие по морални причини. Например на конференцията в Асиломар през 1975 г. биолозите доброволно спряха експерименти със снаждане на гени, докато не бъдат въведени правила за безопасност, заради опасенията, че създадени в лаборатория микроорганизми могат да избягат и да се разпространят.
Това беше една конкретна техника, която можеше или да бъде използвана, или да бъде забранена. Самоусъвършенстващият се AI представлява множество методи, без единен еквивалент, който да бъде забранен.
Роктешел настоява, че ползите за науката ще оправдаят усилията. Anthropic отива още по-далеч с един отдавна изтъркан аргумент: ако компанията забави собствената си работа, „най-малко предпазливите играчи“ - които не назовава - ще я настигнат и ще създадат опасна заплаха за света.
Проблемът с този аргумент е, че той може да оправдае почти всичко. Компаниите, които изграждат тази нова технологична граница, могат да настояват, че са най-надеждни, дори когато се движат към неизвестен краен резултат с непредвидими последици.
Експериментите с AI агенти поставят въпроса за бъдещия човешки надзор
Скорошен научен доклад на Anthropic дава предварителна представа за това: група от девет Claude агента, оставени да решат проблем, свързан с безопасността, са се представили по-добре от човешките изследователи на компанията, но същевременно са открили хитър начин да манипулират показателя за успех на теста.
Това подсказва, че по-нататъшното отслабване на човешкия контрол може да създаде реални съмнения какво всъщност означава „подобрение“.
Протестиращите в Сан Франциско с картонени плакати може да не разбират напълно как работи AI, но разбират, че пред тях се взема фундаментално научно решение дали развитието да продължи независимо от рисковете. А това решение се оставя на хора, които вече са решили, че отговорът е „да“.
Парми Олсън е колумнистка на Bloomberg Opinion, пишеща за технологиите. Тя е бивша репортерка на Wall Street Journal и Forbes. Автор е на „Господство: AI, ChatGPT и надпреварата, която ще промени света“.