OpenAI призна, че негов AI модел самостоятелно е причинил голяма кибератака

OpenAI заяви, че нейните усъвършенствани модели с изкуствен интелект са неволно хакнали Hugging Face Inc. в „безпрецедентен“ инцидент, който предизвика нови призиви за ограничаване на технологията.

Създателят на ChatGPT заяви в публикация в блога си във вторник, че моделите са проникнали в инфраструктурата на Hugging Face по време на оценка на техните кибер възможности. Моделите, които включват GPT-5.6 Sol и друг още по-способен модел, който не е пуснат, са работили с по-ниски предпазни мерки, за да могат да бъдат тествани, съобщи стартъпът.

Инцидентът повдига въпроси относно способността на усъвършенстваните модели с изкуствен интелект да извършват кибератаки, дори когато правителствата работят за налагане на предпазни мерки върху технологията. Най-новият набор от модели на OpenAI беше широко разпространен след седмици дискусии с правителствени служители, за да се разсеят опасенията относно потенциалната злоупотреба с нея.

Вашингтон обмисляше ограничаване на чуждестранния достъп до усъвършенстваните модели Claude Fable 5 и Mythos 5 на Anthropic PBC, но не успя да наложи тези ограничения, след като компанията наложи допълнителни предпазни мерки.

„Считаме това за безпрецедентен киберинцидент, включващ най-съвременни кибервъзможности, и реагираме съответно“, заяви OpenAI в публикацията в блога. „На този етап споделяме предварителни констатации, за да помогнем на защитниците да разберат какво се е случило и да помогнем за калибрирането на това, на което моделите са способни сега.“

Докато моделите на OpenAI са работили в така наречената среда за тестване „пясъчник", те са използвали уязвимост в софтуера на неидентифициран доставчик на трета страна, за да получат достъп до интернет и в крайна сметка са пробили системата на Hugging Face, която хоства модели и набори от данни с изкуствен интелект.

Тексаският конгресмен Грег Касар заяви в публикация в X, че инцидентът е „изключително тревожен“, настоявайки за по-голям надзор върху разработването на модели с изкуствен интелект, включително задължително тестване за безопасност и разкриване на инциденти със сигурността.

Миналата седмица Hugging Face съобщи за „проникване“ в системата си, заявявайки в публикация в блога си, че нарушението е „различно от всичко, с което сме се справяли преди, по един важен начин: то е било задвижвано, от край до край, от автономна система с агенти с изкуствен интелект – и ние го открихме и анализирахме до голяма степен със собствен изкуствен интелект“.

OpenAI заяви, че е поискала от моделите да преследват „разширена експлоатация“ и да разработят „сложни пътища за атака“ в опит да оценят техните кибер възможности. Вместо да разработват решения самостоятелно, компанията заяви, че моделите са се насочили към базата данни на Hugging Face, за да получат достъп до секретна информация, която биха могли да използват за оценката.

Anthropic публикува подобни наблюдения по-рано тази година, когато компанията реши първоначално да ограничи пускането на Mythos. В един случай, изследовател настоя ранна версия на модела да се опита да избяга от защитен, изолиран компютър в „пясъчник“ и след това да намери начин да изпрати съобщение до този човек. Mythos успява, но след това продължава да предприема „допълнителни, по-тревожни действия“, разработвайки многоетапен експлойт, за да получи широк достъп до интернет.

Още по темата

В ерата на приложенията няма поверителност на данните

Александър Стаменов: Автоматизацията носи рискове, обучавайте служителите си

Зачестяващите кибератаки са страхотна възможност за застрахователите

Бизнесите у нас по-често са реактиви, а не проактивни за киберсигурността си