Anthropic в сблъсък с Пентагона за бъдещето на автономните оръжия

Докато Пентагонът оказваше натиск върху Anthropic PBC да премахне ограниченията върху мощните си инструменти за изкуствен интелект, високопоставен служител от американската отбранителна администрация постави хипотетичен сценарий пред главния изпълнителен директор на компанията, Дарио Амодеи, известен със своята грижа за безопасността.

„Какво би станало, ако междуконтинентална балистична ракета с ядрена бойна глава се устреми към САЩ и остават едва 90 секунди до целта ѝ, а алгоритъмът с изкуствен интелект на Anthropic е единственият начин да се изстреля ракета, която да я прехване и спаси страната, но мерките за безопасност на компанията биха възпрепятствали това?“, размишлява служителят по време на декемврийски разговор по телефона.

„Обади ми се“ - така Пентагонът интерпретира отговора на Амодеи, според друг високопоставен служител, запознат с дискусията, който беше удивен от реакцията на милиардера.

Още по темата

Български дронове с германски радари ще пазят денонощно небето на Европа

ЕС ще настоява за "доверени" чипове като част от новата стратегия за дроновете

Перспективата да се налага да открият както президентът Доналд Тръмп, така и неговото куфарче с ядрени кодове - и човекът начело на частна компания на стойност 380 милиарда долара, която е в авангарда на AI - представлява немислима промяна в ядрената стратегия.

Това подчертава и колко бързо се развива глобалната дискусия по въпроса къде да се поставят границите на използването на технология, която все още е в начален етап и остава склонна към грешки.

Представител на Anthropic отхвърли описанието на служителя на Пентагона за декемврийския разговор, за което Semafor писа, и го нарече „откровено невярно. Дарио не е казал това, и всяка версия на предложената от нас договорна формулировка би позволила на нашите модели да подпомагат противоракетната отбрана и подобни приложения“, заяви говорителят.

По време на този разговор Anthropic е признала, че Министерството на отбраната може да използва нейните AI инструменти за противоракетна отбрана и кибероперации, според човек, запознат с въпроса. От Пентагона не са останали удовлетворени и продължават да оказват натиск върху Anthropic за допълнително разхлабване на правилата за използване в спор, който продължава поне два месеца.

Още по темата

Източноевропейският Rheinmetall: CSG ще расте със снаряди, БТР-и дронове

Български компании доставят дронове за армията и очакват поръчки от чужбина

Във вторник Амодеи, който подкрепяше Камала Харис по време на президентската кампания през 2024 г., се срещна с Пийт Хегсет - известният с настъпателната си позиция ръководител на Пентагона при Тръмп, който обеща война срещу всички прояви на „woke“ културата.

Срещата е била напрегната, а министър на отбраната заплаши да приложи закон от 1950 г., приет за да принуди американската индустриална база да доставя стоки като метали и машини по време на Корейската война, освен ако компанията не предостави на Пентагона пълна свобода да разполага с AI инструментите в рамките на законните граници.

Спорът разкрива зависимостта на Пентагона от Anthropic в случай на пряк военен сблъсък с противници на САЩ, включително Китай. В същото време той засилва напрежението между Силициевата долина и Пентагона относно това кой контролира бъдещето на AI като инструмент за война и наблюдение, включително дали бързо развиващата се технология може да се използва законно.

„Конституционните защити в нашите военни структури зависят от идеята, че има хора, които биха - надяваме се - нарушили незаконни заповеди. С напълно автономни оръжия тези защити не са гарантирани,“ каза Амодеи пред подкаст на New York Times по-рано този месец, изразявайки опасения, че няма достатъчен контрол върху това как AI може да се използва в автономни дронове. „По някакъв начин трябва да бъдем защитени от AI.“

Амодеи и неговият екип изглежда нямат намерение да отстъпят и настояват, че са от правилната страна на историята. Само преди месец Амодеи предупреждаваше за опасностите от напълно автономни оръжия и рисковете AI да шпионира хората, които трябва да защитава. Хегсет настоява Anthropic да се откаже от тези принципи, за да позволи на Пентагона да използва AI за военни цели без ограниченията за безопасност на компанията.

Пентагонът в Арлингтън, Вирджиния, САЩ. Фотограф: Al Drago/Bloomberg

Ако Anthropic откаже да се съобрази до петък, Хегсет предупреди Амодеи, че ще използва Закона за отбранителното производство, за да принуди компанията да предостави AI инструментите си без никакви условия, според хора, запознати с въпроса. Неспазването може да накара Пентагона да обяви компанията за рисков фактор в доставките.

Това би изисквало доставчици като Palantir Technologies Inc., които използват Anthropic в платформата за управление на битки Maven Smart System, да удостоверят, че не използват моделите на компанията.

Този ход може да нанесе опустошителен удар върху усилията на Anthropic да печели държавни поръчки. Такива строги мерки обикновено се прилагат за компании, считани за противници на САЩ, като Huawei Technologies Co. и Kaspersky, казва Алан Розенстийн, доцент по право в Университета на Минесота, специалист по AI и военни теми.

„Заплахите от Пентагона да извади Anthropic от веригата на доставки са напълно неуместни,“ каза той в интервю, добавяйки, че това е и „абсолютно идиотско“, като се има предвид, че Anthropic е една от най-големите надежди САЩ да останат водещи в сферата на AI.

Въпреки това Розенстийн признава, че Пентагонът също има право: служителите не искат да им се диктува как да се справят с потенциални битки с риск за живота, или да зависят от комерсиален софтуер, подчинен на капризите на идеалистични милиардери. В сряда Axios съобщи, че Пентагонът е поискал от Boeing Co. и Lockheed Martin Corp. оценки за зависимостта им от продуктите на Anthropic, възможна първа стъпка към обявяването на компанията за рисков фактор.

Още по темата

Китай показа най-големия в света "кораб майка" за дронове

Германия ускорява мерките срещу дронове - зачестяват инцидентите на летищата

Спорът се разиграва в момент, когато военните по целия свят се стремят да интегрират изкуствен интелект. Той е в сърцето не само на въпроса как AI ще се използва във война, но и дали големите компании могат да устоят на изискванията на капризна администрация и същевременно да разширят държавния и комерсиалния си бизнес.

„Утопичен идеализъм“

Последните проблеми на Anthropic ескалираха, когато Министерството на отбраната започна да подготвя новата си стратегия за военен AI, публикувана миналия месец.

Въпреки че Пентагонът се опитва да разработва и използва изкуствен интелект вече 60 години, администрацията на Тръмп сега се стреми да ускори неговото приложение за всичко - от планиране на кампании до т. нар.„вериги за поразяване“ според новата стратегия.

Тази стратегия за AI също обещава да елиминира „утопичния идеализъм“ по отношение на така наречения отговорен AI. Някои ръководители в отбранителната индустрия разчитат това едва прикрито предупреждение към Anthropic.

Амодеи, който съосновава компанията след раздяла с OpenAI поради опасения за безопасността, е изградил бизнеса си върху принципи, изложени в публични есета. „Ако искаме AI да защитава демокрацията и индивидуалните права, ще трябва да се борим за този резултат,“ написа той през октомври 2024 г.

Амодеи предупреждава за военния потенциал на AI

Той се е аргументирал, че коалиция от демокрации трябва да използва AI за постигане на „солидно военно превъзходство“, като предупреждава, че AI вероятно ще позволи и по-ефективна пропаганда и наблюдение, които той описва като „основни инструменти в арсенала на автократа“.

Още през януари Амодеи осъжда опасностите от „напълно автономни оръжия“, рисувайки образ на милиони въоръжени дронове, контролирани от AI, и заявявайки, че определени приложения „трябва да се считат за престъпления срещу човечеството“. Той също така предупреждава за AI наблюдение и пропаганда от авторитарни правителства, включително Китай, като добавя, че съществува риск демокрации, въоръжени с технологията, „да се обърнат срещу нас“.

Новата стратегия на Пентагона обаче намалява възможностите за несъгласие, включително изискването, че ведомството трябва да използва AI модели „без ограничения на политиката за използване, които могат да ограничат законното военно приложение“.

Пийт Хегсет, министър на отбраната на САЩ. Фотограф: Саул Мартинез/Bloomberg

Хегсет също нареди на Пентагона да установи критерии за обективност на моделите като основен показател при придобиванията в рамките на 90 дни, и на заместник-министъра по военни придобивания да включи стандартния текст „всяко законно използване“ във всеки договор на Пентагона, чрез който се придобиват AI услуги, в рамките на 180 дни.

Тези разпоредби са пряк удар върху Anthropic, която има най-строгата политика за използване сред всички компании, работещи по военни приложения на AI в САЩ, и която съдържа редица ограничения, предназначени да предотвратят по-широки социални вреди.

Още по темата

Български производител на дронове: Да пазим Европа? А условията за бизнес...

Български стартъп създаде система за бърза инспекция на пътища чрез дронове и AI

От септември, когато компанията последно обнови публичната си политика за използване, тези ограничения продължават да включват основни принципи като „Не разработвайте и не проектирайте оръжия“ и „Не компрометирайте компютърни или мрежови системи“.

Има признаци, че собствените ангажименти за безопасност на Anthropic започват да отслабват. Компанията заявява, че може да „адаптира“ ограниченията за използване за определени държавни договори, но не е публикувала какво вече е позволила, за да даде възможност на военните да използват AI инструментите ѝ.

Служителят по безопасността напуска

Ръководителят на екипа за изследване на безопасността в Anthropic напусна компанията по-рано този месец, казвайки колко трудно е да се позволи ценностите на компанията да ръководят действията ѝ, и че служителите „постоянно са под натиск да пренебрегват най-важното“.

Във вторник компанията обяви, че е разхлабила своята основна политика за безопасност, заявявайки, че за да остане конкурентоспособна, повече няма да забавя разработката на AI, която може да бъде опасна, отменяйки стандарт, който е спазван от 2023 г.

Поверителни задача

Предупрежденията на Амодеи за опасностите от AI и призивите му за регулация изискват баланс с военния бизнес на компанията и подкрепата за националната сигурност.

Anthropic беше компания за генеративен AI, постигнала сделка с Пентагона, включително за облак с класифицирана информация, и според съобщения услугите ѝ са използвани по време на операцията на САЩ за залавянето на венецуелския лидер Николас Мадуро.

За разлика от конкурентни AI компании, които все още не работят с облак за класифицирана информация, този бизнес излага Anthropic на рисковете, за които Амодеи се тревожи най-много.

Сваленият венецуелски президент Николас Мадуро пристига на хелипорта Wall Street преди делото си във федералния съд в Ню Йорк, САЩ. Фотограф: Майкъл Нейгъл/Bloomberg

През втората половина на 2024 г. компанията сключи сделка с Пентагона за използване на AI инструментите ѝ чрез Maven Smart System на Palantir, платформа за управление на битки с AI, според бивш служител на отбраната, запознат с въпроса. По това време използването беше главно за прости задачи с чатбот, като обобщаване на съдържание, добави бившият служител.

Оттогава Maven Smart System е разширил използването на генеративен AI, а Anthropic сключи отделна пилотна сделка през юли 2025 г. с Главния офис за цифрови технологии и AI на Пентагона, с база $2 милиона и таван $200 милиона. Данни на Bloomberg Government показват, че Пентагонът е платил на компанията само $2 милиона миналата година.

Въпреки че Anthropic разчита предимно на комерсиални клиенти, компанията е заявила, че иска бързо да разшири държавния си бизнес. През септември компанията организира, според участник, голямо събитие в Union Station в Вашингтон за подкрепа на работата си в публичния сектор.

През този месец Anthropic сключи първата си сделка с Държавния департамент за използване на Claude, макар че стойността от $19 000 засега е незначителна. Компанията също така сключи широка сделка с General Services Administration, позволявайки на федерални агенции да използват Claude за символична такса от $1 миналата година.

Най-голямата заплаха според Хегсет

Най-големият елемент от заплахата на Хегсет не е съществуващият договор с таван $200 милиона, а потенциалът за изваждане на Anthropic от веригата на доставки.

„В най-лошия сценарий това може да направи Anthropic неприложима за голям сегмент от американската икономика и почти фатално за бизнеса им,“ каза Грегъри Алън, старши съветник в Центъра за стратегически и международни изследвания, който преди това е работил в AI отдела на Пентагона, пред Bloomberg Television във вторник.

Алън посочи, че военните потребители на Claude „много харесват това, което получават“ и досега никога не са се оплаквали от ограниченията на компанията. Въпреки месеци на продължителни преговори, Пентагонът продължава да използва Anthropic в операциите.

Един служител на Пентагона, запознат с Claude, казва, че базата на кода е по-лесна за работа от други модели, което прави промените в реално време по-бързи и надеждни. Това обаче не означава, че конкурентите няма да настигнат, или че Пентагонът няма да се примири с по-слаб партньор, докато техният AI се усъвършенства, добавя служителят, описвайки нов поток от договори за военен AI като надпревара във въоръжаването.

В навечерието на срещата на Амодеи с Хегсет и неговите водещи съветници по въпросите на AI, Министерството на отбраната сключи сделка с xAI на Илон Мъск за използване на чатбота Grok в облачни мрежи за класифицирана информация. От Пентагона са потърсили отново и OpenAI за поставяне на AI в облак за класифицирана информация през последните седмици, според двама запознати с въпроса.

Премахването и замяната на Claude от системите на Пентагона би забавило прилагането на AI в националната сигурност на САЩ с минимум шест месеца, каза човек, запознат с областта. Това е защото другите доставчици на модели ще започнат от по-задна позиция, добави той.

Anthropic също е уверена, че потребителите разбират политиките на компанията, според човек, запознат с начина, по който компанията работи с военни и партньорски оператори. Но независимо какво казва политиката или способността ѝ да проверява използването на софтуера, компанията никога няма да има пълен достъп до детайлите как нейният AI се използва в класифицирани и реалновремеви операции, каза служител на Пентагона.

Удари по плавателни съдове

Една от причините компании като Anthropic да са принудени да утвърдят собствена политика за използване на AI е, че Конгресът не е успял да уточни как Пентагонът трябва да разглежда употребата на AI в оръжейни системи, каза Розенстийн.

Той посочи, че политическият и военен апарат на второто управление на Тръмп също е показал нежелание да предприема законни действия с необходимата грижа и мъдрост. Няколко сенатори, активисти за човешки права и бивши военни служители поставиха под въпрос законността на смъртоносните удари на Пентагона срещу плавателни съдове в Карибско море – включително един, който уби двама оцеляли корабокрушенци – и на операцията срещу Мадуро, по международното и американското право.

Още по темата

Anthropic влезе в спор с Пентагона заради AI надзора

Българските компании за дронове минават на етап "отбрана"

„Не съм сигурен, че която и да е компания може да има увереност, че продуктите ѝ ще се използват законно при сегашното управление на Пентагона,“ каза Джон Волфстал, експерт по контрол на оръжията в Центъра за нова американска сигурност, който преди това е служил в администрацията на Обама.

„Налагането на ултиматум по този начин вероятно ще подкопае доверието на обществото и корпорациите в ръководството на Министерството на отбраната.“

Докато колебанията на Anthropic привличат вниманието на медиите, всички производители на оръжия предоставят насоки за това как системите могат да се използват надеждно, преди да се появят вероятни неизправности, и една от основните точки на Амодеи е, че AI все още не е готов за надеждно автономно използване.

Неговата позиция идва и в момент, когато други водещи технологични изпълнителни директори активно търсят подкрепата на администрацията на Тръмп и разхлабват собствените си политики относно използването на AI в бойни условия.

Някои от тези конкуренти вече се опитват. OpenAI и xAI тази година се включиха в предизвикателство на Пентагона с награден фонд $100 милиона за създаване на софтуер за управление на потенциално смъртоносни автономни рояци дронове, предоставяйки технология, която в случая на OpenAI превежда гласови команди в цифрови инструкции, както Bloomberg съобщаваше по-рано.

Това е въпреки уверенията на изпълнителния директор на OpenAI, Сам Алтман, миналата година на конференция, посветена на модерните конфликти, че „не мисля, че повечето хора по света искат AI да взема решения за оръжията.“ В случая с xAI, която Bloomberg съобщава, че е партнирала с новия си собственик SpaceX, двете компании ще разработват технология за дронови групи.

Финансови и политически последици

Сam Altman (в центъра), главен изпълнителен директор на OpenAI Inc., по време на AI Action Summit в Париж, Франция, 2025 г. Фотограф: Nathan Laine/Bloomberg

Имайки предвид, че компанията реализира приходи от $14 милиарда годишно, потенциалната загуба на договор за $200 милиона вероятно няма да подкопае финансовата ѝ стабилност. Все пак, влошаващите се отношения с американското правителство могат да намалят значителни федерални приходи в дългосрочен план, а споровете могат да застрашат и връзката на Anthropic с Palantir, което би било по-голям удар.

Anthropic предизвика гнева и на други места в администрацията с публичната си опозиция към решението на Тръмп да позволи на Nvidia Corp. да продава H200 AI чипове на Китай. По време на интервю за Bloomberg в Давос миналия месец, Амодеи определи стъпката като груба грешка. „Би било голяма грешка да се изпратят тези чипове,“ каза той. „Малко е като да продадеш ядрени оръжия на Северна Корея.“

Компанията също така се противопостави на Тръмп с призивите си за регулация на AI, като се сблъска с усилията на отговорника за AI в Белия дом, Дейвид Сакс, да наложи национално мораториум върху щатските правила. Този конфликт вече се прехвърля и към междинните избори в САЩ, където Anthropic е обещала $20 милиона на политическа група Public First, подкрепяща кандидати за Конгреса, които са за AI ограничения.

Anthropic не се свени и да демонстрира политическите си позиции. Няколко от наетите за политическия ѝ отдел са ветерани от администрацията на Байдън, включително Бен Бюкянан, Тарун Чабра и Адити Кумар, а Амодеи беше открит поддръжник на Камала Харис през президентската кампания през 2024 г.

В същото време компанията наскоро се е опитала да привлече представители, близки до Тръмп, включително назначаването на Крис Лидъл, бивш служител на Белия дом от първия мандат на Тръмп, в борда си и търсенето на инвестиции от 1789 Capital. Фонд за рискови инвестиции, подкрепящ Тръмп, където един от синовете на президента е партньор, съобщава Wall Street Journal.

Кори Шейк, директор на програмата за външна и отбранителна политика в American Enterprise Institute, каза, че частните компании имат право да отказват техните продукти да се използват за наблюдение и насочване.

Въпреки че Пентагонът може да използва Закона за отбранителното производство или да прехвърли бизнеса на други доставчици, тя добави, че „при по-мъдри действия Пентагон би намерил взаимно съгласуван компромис, така че да не откажат най-добрите таланти да работят с Министерството на отбраната.“

В блога във вторник, с който компанията обяви решението си да разхлаби един от ключовите си ангажименти за безопасност, Anthropic изтъкна, че усеща непоколебимостта във Вашингтон. „Политическата среда се е изместила към приоритет на конкурентоспособността на AI и икономическия растеж, докато дискусиите, ориентирани към безопасността, все още не са постигнали съществено влияние на федерално ниво,“ пише в публикацията.

Въпросът сега е дали новата готовност на Anthropic да разхлаби защитните си мерки при конкурентен натиск ще се превърне в отстъпки, които да разсеят конфронтацията с Пентагона.

Амодеи има срок до 17:00 ч. в петък да реши дали да приеме ултиматума на Хегсет.

Материалът е изготвен с помощта на Джейми Тарабай, Ширин Гафари, Антъни Капачио, Джо Матиу и Кейли Лиенц

Още по темата

Европа търси космическа автономност чрез сигурни комуникации

INSAIT и Waymo обсъждат проект за безопасност при автономно шофиране