NVIDIA казва, че новата й платформа ще попречи на агентите с изкуствен интелект да станат измамници

Nvidia показа в понеделник нова платформа за сигурност, която съгласно производителя на чипове може да спре сътрудниците с изкуствен интелект да станат измамници.

Компанията съобщи, че нейната Open Agent Safety Platform включва програмен продукт с отворен код, който „ дефинира граници за сътрудниците “ и следва поредност от разкрития от водещи AI компании за техни модели, които заобикалят и проникват в други организации.

Разкритията провокираха гняв спор по отношение на сигурността на усъвършенствани системи с изкуствен интелект, в това число самоусъвършенстващи се модели, за които някои се опасяват, че могат да излязат отвън човешки надзор.

Ръководителите на Nvidia споделиха на брифинг за медиите, че новата система е можела да предотврати неотдавнашен случай, включващ рой сътрудници на OpenAI, които самостоятелно хакнаха компанията за изкуствен интелект Hugging Face.

„ От това, което знаем, тази нова платформа за сигурност можеше да спре пробива в случай че е бил употребен в гранични лаборатории за ранна оценка на модела “, сподели вицепрезидентът на компанията за корпоративния AI, Джъстин Бойтано, имайки поради фирмите в челните редици на AI.

Инцидентът с Hugging Face беше пробив с огромен профил, който разпали опасенията за сигурността на AI, които бяха последвани от сходни лъжливи дейности, включващи моделите на OpenAI, в това число нарушение на уеб страница на австралийското здравно министерство. Anthropic и Meta също разкриха, че техните AI системи са хакнали други организации сами.

Получавайте настоящи национални вести

Софтуерът на Nvidia, наименуван OpenShell разрешава на разработчиците „ публично да потвърдят, че даден сътрудник има задоволително пълномощия, с цел да прави работата си и не повече “, сподели Бойтано.

Тъй като е с отворен код, той може да бъде „ уголемен “, с цел да работи на конкурентни изчислителни платформи, в това число тези на Arm и Intel.

Платформата също по този начин включва обособен предпазен пласт, наименуван Sentry, който работи на борда на чип, с цел да следи непрестанно интензивността на AI сътрудника и може „ да се намеси неотложно “, в случай че сътрудникът стартира да се пробва да надвиши задачата си, споделиха от компанията.

„ Той може да сложи под карантина недоверчив сътрудник за милисекунди “, сподели Бойтано.

„ OpenShell ръководи дейностите на сътрудника и по-късно Sentry без значение следи и съдържа съмнително държание “, сподели Боитано.

Nvidia сподели, че повече от 100 организации употребяват платформата при стартирането й, в това число Microsoft, Perplexity, Accenture и JPMorgan Chase.

Дебатът за сигурността на AI раздели промишлеността, като ръководителите на Anthropic и OpenAI поддържат координирано закъснение на развиването на AI, с цел да се наваксат напъните за сигурност. Но други, в това число основният изпълнителен шеф на Nvidia Дженсън Хуанг, споделят, че би трябвало да зависи от обособените компании да се уверят, че техните модели са безвредни за стартиране.

Хуанг, по време на годишната софтуерна конференция на Salesforce, извършена по-рано този месец, характеризира сигурността на ИИ, в това число заплахата от лъжливи сътрудници, като инженерен проблем, с който разработчиците на програмен продукт могат да се оправят.