Nvidia представи система за контрол и безопасност на AI агенти

Nvidia представи нова двуслойна система за сигурност на изкуствения интелект, която според компанията би предотвратила неотдавнашния широко отразен пробив в Hugging Face, извършен от AI модели на OpenAI.

Полупроводниковият гигант, който бързо разширява продуктовото си портфолио отвъд чиповете, пуска два софтуерни инструмента с отворен код за сигурност, които могат да работят на нейния хардуер. Те са предназначени да контролират в реално време до какво имат достъп AI агентите и да ги спират, когато нарушават зададените правила.

Основни говорители на конференцията Dreamforce 2026

Главният изпълнителен директор на Nvidia Дженсън Хуанг омаловажи необходимостта от нови регулации за AI, като същевременно заяви, че софтуерът трябва да бъде подлаган на строги тестове за безопасност.

Ако водещите AI лаборатории бяха използвали тази технология, за да оценяват своите AI модели още на ранен етап, тя можеше да предотврати атаката срещу Hugging Face, заяви Джъстин Бойтано, вицепрезидент на Nvidia за корпоративен AI, по време на брифинг с журналисти преди представянето на системата в понеделник. „Според информацията, с която разполагаме, тази нова платформа за сигурност е могла да спре пробива“, каза той.

Още по темата

Агент на OpenAI в защитена среда е получил достъп до интернет

Новият AI агент на Meta потопи компаниите, разчитащи на "потребителска инерция"

Действията на автономни агенти, включително инцидентът с Hugging Face през юли, разтърсиха AI индустрията и доведоха до призиви за забавяне на работата по технологията. С новия продукт, наречен Open Agent Safety Platform, Nvidia предлага начин за предотвратяване на пробиви, без да ограничава развитието на AI. Главният изпълнителен директор на производителя на чипове Дженсън Хуанг многократно е омаловажавал риска AI да излезе извън човешкия контрол.

Бойтано не коментира дали OpenAI или конкурентът Anthropic PBC планират да използват новата система, за да наблюдават процесите по обучение на моделите си, като остави отговора на самите компании.

През последните дни Хуанг представя опасенията за безопасността като инженерно предизвикателство, а не като проблем, който изисква повече регулации или глобална координация. Той се присъедини към президента на САЩ Доналд Тръмп в отхвърлянето на твърденията на някои разработчици на AI, че технологията може да доведе до изчезването на човечеството, но същевременно настоя, че AI трябва да бъде подлаган на строги тестове за безопасност.

Инженерното решение на Хуанг за проблема с безопасността на AI има две части. OpenShell, софтуерен продукт, който Nvidia вече представи предварително на водещата си технологична конференция през март, може да работи на централните процесори Vera на Nvidia. Той позволява на потребителите да задават правила за това до какво могат да имат достъп AI агентите и да ги прилагат в реално време. Софтуерът е с отворен код, което означава, че може свободно да се използва и адаптира.

Инженерното решение на Хуанг за проблема с безопасността на AI има две части. OpenShell, софтуерен продукт, който Nvidia вече представи предварително на водещата си технологична конференция през март, може да работи на централните процесори Vera на Nvidia. Той позволява на потребителите да задават правила за това до какво могат да имат достъп AI агентите и да ги прилагат в реално време. Софтуерът е с отворен код, което означава, че може свободно да се използва и адаптира.

Още по темата

AI агенти лъжат и крадат в симулиран експеримент

Агентите на OpenAI се оказаха некадърни киберкрадци

Междувременно Nvidia Sentry е нов продукт, който може да работи върху устройствата за обработка на данни BlueField на производителя на чипове. Той е предназначен да осигури допълнителен слой за наблюдение на AI, който следи действията на агентите и се намесва, за да изолира всеки от тях, който се държи подозрително, заяви компанията.

„Смятаме, че този допълнителен слой за сигурност ще позволи на индустрията да тества безопасно дори най-напредналите AI системи“, каза Бойтано по повод продукта Sentry. „Той може да постави подозрителен агент под карантина за милисекунди.“

По-рано този месец Nvidia се договори да придобие Hugging Face, платформа за AI модели с отворен код и свързан софтуер, за около 13 млрд. долара.

Неотдавнашните инциденти с OpenAI, включително пробивът в система на австралийското правителство, както и опитите за достъп до десетки сайтове на правителствени институции и университети в САЩ, са се случили, когато моделите са излезли от тестови среди, които е трябвало да бъдат сигурни.

С разрастването на тези проблеми OpenAI заяви късно в петък, че ще спре временно обучението на най-способните си AI модели. През юли Anthropic също разкри, че нейните агенти са успели да излязат от тестова среда, която е трябвало да бъде изолирана. 

Още по темата

След чатботовете идва моментът за внедряване на AI агенти в родните фирми

AI агентите ни консултират в онлайн магазините по-добре от хората