Anthropic се отказва от основното си обещание за безопасност в средата на борбата за червената линия на AI с Пентагона

Вижте всички тематики Връзката е копирана! Следвайте

Anthropic, компания, учредена от OpenAI изгнаници, обезпокоени от заплахите от AI, разхлабва своя главен принцип за сигурност в отговор на конкуренцията.

Вместо самоналожени парапети, ограничаващи развиването на AI модели, Anthropic приема необвързваща рамка за сигурност, която съгласно него може и ще се промени.

В обява в блог във вторник, очертаваща новата си политика, Anthropic сподели, че минусите в нейната двегодишна политика за отговорно мащабиране могат да попречат на способността й да се конкурира на бързо разрастващ се пазар на ИИ.

Съобщението е изненадващо, тъй като Anthropic разказва себе си като AI компания с „ душа “. Също по този начин идва същата седмица, когато Anthropic води забележителна борба с Пентагона за алените линии на AI.

Не е ясно дали смяната на Anthropic е обвързвана със срещата му във вторник с министъра на защитата Пийт Хегсет, който даде ултиматум на основния изпълнителен шеф на Anthropic Дарио Амодей да анулира защитните ограничения за AI на компанията или рискува да загуби контракт с Пентагона за 200 милиона $. Пентагонът заплаши да сложи Anthropic в това, което в действителност е черен лист на държавното управление.

Но компанията сподели в обявата си в блога, че предходната й политика за сигурност е била предопределена да построи консенсус в промишлеността по отношение на смекчаването на рисковете от ИИ – парапети, които промишлеността е пробила. Anthropic също означи, че политиката му за сигурност не е в крайник с сегашния антирегулаторен политически климат във Вашингтон.

Предишната политика на Anthropic предвиждаше, че би трябвало да спре образованието на по-мощни модели, в случай че техните качества надвишават способността на компанията да ги управлява и да подсигурява тяхната сигурност - мярка, която беше отстранена в новата политика. Anthropic твърди, че виновните разработчици на изкуствен интелект, които стопират растежа, до момента в който по-малко деликатните участници напредват, може да „ доведат до свят, който е по-малко безвреден “.

Като част от новата политика, Anthropic сподели, че ще отдели личните си проекти за сигурност от рекомендациите си за промишлеността с ИИ.

Anthropic написа, че се е надявала, че първичните му правила за сигурност " ще насърчат други компании за изкуствен интелект да вкарат сходни политики. Това е концепцията за " съревнование към върха " (обратното на " съревнование към дъното " ), в която другите играчи в промишлеността са подтиквани да усъвършенстват, вместо да отслабват, защитните ограничения на своите модели и цялостната си позиция на сигурност. "

Сега компанията допуска, че това не се е случило. Говорител на Anthropic не отговори незабавно на искане за коментар.

Новата политика за безопасност

Новата политика за сигурност на Anthropic включва „ Пътна карта за гранична сигурност “, която обрисува насоките и защитните ограничения, наложени от компанията. Но компанията призна, че новата рамка е по-гъвкава от предходната й политика.

„ Вместо да бъдат твърди задължения, това са публични цели, към които ние намерено ще оценяваме напредъка си “, сподели компанията в своя блог обява.

Промяната идва ден откакто министърът на защитата Пийт Хегсет даде краен период до петък на изпълнителния шеф на Anthropic Дарио Амодей да анулира защитните ограничения за AI на компанията или рискува да загуби контракт с Пентагона за 200 милиона $ и да бъде подложен в това, което на процедура е черен лист на държавното управление.

Anthropic има опасения по отношение на два казуса, които не желае да изостави, съгласно източник, осведомен със срещата на компанията с Hegseth: следени от AI оръжия и всеобщо вътрешно наблюдаване на американски жители. Anthropic има вяра, че AI не е задоволително благонадежден, с цел да работи с оръжия, и към момента няма закони или разпореждания, които да обгръщат по какъв начин AI може да се употребява при всеобщо наблюдаване, сподели източник.

Изследователите на AI приветстваха позицията на Anthropic в обществените медии във вторник и показаха угриженост по отношение на концепцията AI да се употребява за държавно наблюдаване.

Компанията от дълго време се нарежда като бизнес с изкуствен интелект, който дава приоритет на сигурността. Anthropic разгласява проучване, показващо по какъв начин неговите лични AI модели могат да бъдат способни на изнудване при избрани условия. Компанията неотдавна подари 20 милиона $ на Public First Action, политическа група, настояваща за защитни ограничения и обучение за ИИ.

Но компанията е изправена пред възходящ напън и конкуренция както от страна на държавното управление, по този начин и от своите съперници. Хегсет, да вземем за пример, възнамерява да се позове на Закона за отбранителното произвеждане на Anthropic и да дефинира компанията като риск за веригата за доставки, в случай че не се съобрази с условията на Пентагона, заяви CNN във вторник. OpenAI и Anthropic също участваха в конкуренция за стартиране на нови корпоративни AI принадлежности в опит да завоюват работното място.

Джаред Каплан, основен теоретичен шеф на Anthropic, допусна в изявление за Time, че смяната не е резултат от засилената конкуренция.

„ Чувствахме, че в действителност няма да помогне на никого, в случай че спрем да образоваме AI модели “, сподели Каплан пред списанието. „ Наистина не смятахме, че има смисъл да поемаме едностранни задължения с бързия прогрес на AI, в случай че съперниците бързат напред. “

Hadas Gold от CNN способства за тази история.