Изследовател на Anthropic казва повече от 10% шанс AI „може да убие всички хора“

Лондон — Водещ откривател в Anthropic, една от водещите международни компании за изкуствен интелект, сподели в сряда, че има вяра, че има повече от 10% късмет AI „ може да убие всички хора “ през идващото десетилетие. 

„ Ние в действителност откровено имаме вяра, че изкуственият разсъдък може да убие всички хора! Аз персонално считам, че това е > 10% през идващото десетилетие “, сподели Евън Хюбингер, ръководителят на Alignment Science Lead на основаната в Сан Франциско компания, в обява на X. „ Вярвам, че Anthropic прави всичко допустимо, само че към момента нямаме проект за решение на подравняването за суперинтелигентност и не сме напълно на път към. "

Свръхинтелигентността е към момента теоретичната визия за AI сътрудник, който е по-умен даже от най-острия човешки разум.

Хубингер разгласява своя трагичен пост след оставката на сътрудника си, откривателят на Anthropic Джейкъб Коксън, във вторник.

" Днес се отхвърлих от Anthropic. Прекарах последните три години в изследвания в OpenAI и Anthropic. Нито една компания не работи отговорно “, сподели Коксън в обява на X. „ Те се надпреварват напряко към самоусъвършенстване на свръхинтелигентността и се залагат с живота ни. “

„ В OpenAI мнозина не са интернализирали надълбоко залога на цивилизацията. отговорно, тъй че те би трябвало да го създадат сами, макар риска “, сподели Коксън.

В обява в корпоративен блог предходната седмица Anthropic разкри, че компанията не е споделила най-новия си AI модел, Claude Mythos 5.1, с органи по сигурността отвън Съединените щати. Тези органи включват Института за сигурност на изкуствения разсъдък на Обединеното кралство (AISI), необятно считан за водещ международен орган за тестване на рисковете, свързани с граничните модели на изкуствен интелект.

CBS News помоли AISI за коментар по отношение на изказванията на Коксън след оставката му. 

„ Институтът за сигурност на изкуствения разсъдък продължава да си сътрудничи тясно с индустриални сътрудници, в това число Anthropic, с цел да направи моделите по-безопасни “, сподели представител на кабинета на английското държавно управление пред CBS News в сряда, отбелязвайки, че е тествал „ единствено предходната седмица “ „ най-мощния модел GPT-6 Astra “ на OpenAI преди общественото стартиране.

„ Тези опасности не стопират до националните граници и нито една страна Обединеното кралство ще продължи да тества най-напредналите модели, да построява строго научно схващане на техните благоприятни условия и опасности и да подсигурява, че политическите решения се основават на доказателствата “, сподели представителят.  

„ Много потребно или доста рисково “

Идеята, че граничните AI модели могат евентуално да съставляват опасност за човечеството, не е нова и доста висши ръководители както в OpenAI, по този начин и в Anthropic са заявявали това в предишното.

По-рано този месец основният академик на OpenAI Якуб Пачоцки написа, че живеем във време, което „ изисква изключителна нерешителност. “

„ Интелигентността, създадена посредством мащабиране на задълбочено образование, не е директно сравнима с човешката просветеност. За да стане доста подобаващ в действителния свят – доста потребен или доста рисков – AI не е належащо да съответствува или надвишава всички човешки способности; той просто би трябвало да надмине задоволително от тях. И защото продължава да надминава хората по от ден на ден и повече оси, става все по-трудно да се разбере какъв брой тъкмо е кадърен “, предизвести той. 

През юли модел на изкуствен интелект, тестван от OpenAI, се обърка и хакна друга компания за изкуствен интелект, Hugging Face, сама. OpenAI обществено разкри хака по това време, като сподели, че се е случило, до момента в който компанията тества два модела AI – единият от които не е бил пуснат за обществеността – в изолирана среда, с цел да оцени техните благоприятни условия.

В рамките на няколко седмици Anthropic и Meta също признаха, че техните лични принадлежности за AI са направили хакове.

Повече от 1300 чиновници в компании за AI подписаха съглашение отворено писмо през юли, призоваващо държавното управление на Съединени американски щати да „ поддържа интернационално изпитание за създаване на механически и управнически принадлежности, нужни за съзнателно прекосяване на границата на автоматизираното развиване на AI. “

Двупартиен законопроект, който сега се продвижва в Камарата на представителите на Съединени американски щати, Законът за превключване на AI Kill Switch, ще даде на Конгреса пълномощието да изключва AI модели, които заплашват обществото. 

Законодателството беше въведено през юли, след признаването на OpenAI за хакването на Hugging Face.