OpenAI постави „блестящите продукти“ пред безопасността, казва напускащият топ изследовател

Главните ръководители на OpenAI по сигурността напуснаха компанията тази седмица след противоречие дали да дадат приоритет на „ лъскавите артикули “ или сигурността доближи „ преломна точка “, споделя един от напускащи откриватели.

Ян Лейке, който управлява напъните на OpenAI за ориентиране и надзор на свръхмощни принадлежности за изкуствен интелект, сподели, че е напуснал в четвъртък, откакто се сблъска с шефовете си по отношение на количеството време и запаси, които започващата компания отделя в тези старания.

„ През последните години културата на сигурност и процесите отстъпиха на назад във времето пред лъскавите артикули “, написа Leike в обява в уеб страницата на обществените медии X в петък.

OpenAI е водач в ожесточената конкуренция за създаване на все по-мощни модели, конкурирайки се с съперници, в това число Гугъл, Meta и Anthropic, с цел да прокара границите на AI технологията.

Компанията е събрала милиарди долари — в това число $13 милиарда от Microsoft — за създаване на AI модели, които могат да интерпретират текст, тирада и изображения и могат да показват качества за размишление. Темпото на този прогрес породи опасения по отношение на всичко - от разпространяването на дезинформация до екзистенциалния риск, в случай че инструментите за изкуствен интелект „ се объркат “. съосновател на компанията и съръководител на фокусирания върху сигурността „ екип за суперподравняване “, който разгласи оставката си по-рано тази седмица.

Това на процедура разпуска екипа в OpenAI, който е най-ясно фокусиран върху обезпечаването на развиването на технологията безвредно. Той също по този начин разкри възходящото напрежение в сърцето на компанията сред капитализирането на ранна преднина в ИИ и спазването на главната й задача да подсигурява, че свръхмощният ИИ е „ от изгода за цялото човечество “.

„ Спешно би трябвало да разберем по какъв начин да насочваме и направляваме AI системи, доста по-умни от нас “, написа Leike. „ Присъединих се, тъй като смятах, че OpenAI ще бъде най-хубавото място в света за осъществяване на това проучване. Въпреки това не съм склонен с управлението на OpenAI по отношение на главните цели на компанията от много време, до момента в който най-сетне достигнахме точка на изкривяване. “

Сам Алтман, основен изпълнителен шеф на OpenAI, написа на X, че е „ доста тъжно е да видя [Leike] да си потегля. Прав е, че имаме още доста работа; поели сме ангажимент да го създадем. “

Притесненията за сигурността също бяха фактор в драмата в заседателната зала през ноември в OpenAI, по време на която Алтман беше изпъден от шефове – в това число Суцкевер – единствено с цел да се върне четири дни по-късно. Преди да бъде уволнен, Алтман се сблъска с тогавашния член на борда на шефовете Хелън Тонер, която съпостави метода на OpenAI към сигурността с този на съперника Anthropic по метод, който Алтман смяташе за неподходящ за компанията си.

OpenAI започва своя екип за суперподреждане предходната година, заявявайки, че е предопределен да отговори на опасенията, че свръхинтелигентните машини „ могат да доведат до отнемане от власт на човечеството или даже до изгубване на индивида “. По това време компанията допусна, че AI може да надхитри хората в границите на десетилетието. През идващите месеци започващата компания е зад редица огромни достижения.

Компанията се ангажира да разпредели 20 % от своите изчислителни запаси, с цел да подкрепи работата на екипа, като подсигурява, че изкуственият разсъдък ще се приведе в сходство с човешките ползи, макар че става експоненциално повече мощен.

Но Leike сподели, че не е обърнато задоволително внимание на сигурността и въздействието върху обществото на по-мощните модели: „ Тези проблеми са много сложни за поправяне и съм угрижен, че не сме на траектория, с цел да се оправим там. ”

Екипът за суперподравняване се бореше за достъп до изчислителни запаси, които бяха всмукани в създаването на нови модели за консуматори като GPT-4o, най-новият модел на OpenAI, пуснат в понеделник, сподели Лейке.

„ През последните няколко месеца екипът ми плаваше против вятъра. Понякога се борехме за калкулации и ставаше все по-трудно и по-трудно да създадем това решаващо проучване “, написа той.