Последните АI модели на Anthropic предизвикват тревога у някои клиенти

Да срещнеш Дарио Амодей тези дни е като да се открие рядка пеперуда. Главният изпълнителен директор на Anthropic PBC трябваше да се срещне с 50 свои колеги от някои от най-големите компании в Европа в Оксфордшър миналата седмица, на изключителна среща, организирана от неговата компания в имение в якобински стил, която включва бившия британски министър-председател Риши Сунак, който сега е съветник на Anthropic.

Амодей е трябвало да пътува до друга част на Европа след това, но пътуването му е било съкратено до само един или два дни в Обединеното кралство.

Защо е толкова трудно да бъде „хванат“ Амодей?

Причината, поради която той е толкова труден за фиксиране, е Mythos - моделът за изкуствен интелект, който той загатна миналия месец като твърде опасен, за да бъде пуснат. Служители на Anthropic имат достъп до технологията и казват, че тя е по-човешка от предшествениците си. Но тя също може да бъде оръжие за кибератаки, затова компанията е позволила на няколко десетки организации да я тестват и да я преглеждат предварително.

Мощността и потенциалът на модела ще подпомогнат усилията на Амодей да възстанови отношенията с администрацията на Доналд Тръмп, и той също така е нетърпелив Mythos най-накрая да достигне до обществеността.

Това изисква баланс, който засега Амодей успява да запази. Докато компанията му се състезава да направи Mythos готов за пазара (и самата тя готова за борсова листинг процедура), тя също така публичамодейно се позиционира като отговорен обществен участник.

Тя се среща с глобални институции, за да им помогне да „абсорбират шока“ от своята технология, според вътрешен източник от Anthropic. Това включва закрити брифинги с Борд за финансова стабилност в Швейцария, за да се обсъдят потенциалните киберрискове на Mythos, както и присъединяване към папата тази седмица, когато той обяви позицията на Католическата църква относно AI, включително предупреждения срещу използването му във война.

Фактът, че компанията изпраща съоснователя Кристофър Олах да се присъедини към папа Лъв, докато едновременно съди Пентагона относно начина, по който технологията ѝ може да бъде използвана във война, е забележителен сигнал за способността ѝ да бъде две неща едновременно.

Anthropic като ходещо противоречие

Anthropic винаги е била ходещо противоречие. Тя се позиционира като най-безопасната компания за AI, докато същевременно се състезава да изгражда свръхинтелигентни машини, чийто ефект върху света е рисков и неизпитан.

Реструктурирането ѝ като обществено-облагодетелстваща корпорация ѝ дава морална аура на компания с принципи, докато тя се подготвя да печели от AI бума чрез първично публично предлагане, което може да бъде рисковано за индивидуалните инвеститори.

Тя е дала на чатбота Claude морален кодекс, който да насочва поведението му, но също така му е дала обезпокоителна топлота и склонност към прекалена съгласителност, която може да насърчи зависимост у потребителите.

Конференцията в Лондон и нарастващата автономия

Още несъответствия се появяват по време на конференцията на компанията за разработчици в Лондон миналата седмица, когато стотици инженери от индустрии като финанси и енергетика, както и стартъпи, се събират в складово пространство, за да получат най-новата информация за популярния ѝ програмен инструмент Claude Code.

Няколко работилници демонстрират нарастващата автономия на системата, включително способността десетки или стотици AI агенти да изпълняват задачи непрекъснато в продължение на часове, без изрични инструкции.

Един разработчик от голяма банка от Уолстрийт казва, че това го кара да се чувства неспокоен. Колкото повече независимост се дава на AI инструментите, толкова по-трудно ще бъде да се проследи веригата на отговорност, ако нещо се обърка. Той иска да има повече контролни лостове върху технологията.

Контрол срещу автономия

Когато тези опасения са представени на Кат Ву, ръководител продукт за Claude Code, тя казва, че системата е „изключително сигурна“ и че „по-скоро проблемът е в това как обясняваме как вграждаме сигурността в продукта“.

Тя казва, че въпросът е по-скоро комуникационен, отколкото свързан с контролите. Ву твърди, че моделите на Anthropic са насочени към това да стават все по-независими и проактивни с времето.

„Mythos е модел, който демонстрира това“, добави тя. Така че, докато работещите в регулирани, системно важни индустрии като финансите може да искат повече човешки контрол, Anthropic насочва технологията към нужда от все по-малко такъв.

„Черната кутия“ на бъдещето

Въпреки че много разработчици на конференцията казват, че харесват да програмират с AI, някои са разтревожени от това колко отдалечени стават от процеса и как инструментът все повече започва да прилича на черна кутия.

Един от тях отбелязва, че преди година Claude Code автоматично е показвал поток от текст, описващ как обработва всяка стъпка от задачата. Сега това е скрито по подразбиране и трябва да бъде търсено, и този по-непрозрачен изход е предизвикал оплаквания от други разработчици. Програмистите на конференцията на Anthropic не изглежда да се интересуват, но това е още едно доказателство за това как хората отстъпват контрола. Те са започнали да се доверяват на Claude достатъчно, за да не проверяват начина му на работа.

Доверието към системата и бъдещият натиск

Публичната работа на Anthropic в ангажирането на институции като Бордът за финансова стабилност и Ватикана, както и наемането на служители за партньорства с банки за развитие и агенции на ООН, вероятно ще става все по-необходима, тъй като нейните инструменти придобиват все по-голяма автономия.

Колкото повече те напредват, толкова повече светът е принуден да се довери на компанията. А докато Амодей се надпреварва с конкурентите си да изкара Mythos безопасно на пазара, този баланс може да стане все по-труден за поддържане.

Парми Олсън е колумнист на Bloomberg Opinion, която отразява технологиите. Бивш репортер на Wall Street Journal и Forbes, тя е автор на „Превъзходство: ИИ, ChatGPT и надпреварата, която ще промени света“.

Още по темата

Инвестицията на Zoom в Anthropic им донесе 1 млрд. долара

ЕС води преговори с Anthropic за тестване на банки с модела Mythos

Група потребители получиха достъп до новия модел на Anthropic, Mythos

Неоторизиран достъп до AI модела Mythos на Anthropic тревожи индустрията