Кой е Зико Колтер? Професор ръководи панел за безопасност на OpenAI с правомощия да спира опасни версии на AI
Ако смятате, че изкуственият разсъдък съставлява сериозен риск за човечеството, тогава професор от университета Карнеги Мелън има една от най-важните функции в софтуерната промишленост сега.
Зико Колтер управлява панел от 4 души в OpenAI, който има пълномощията да спре стартирането на основателя на ChatGPT нови AI системи, в случай че ги сметне за рискови. Това може да е толкоз мощна технология, че някой изверг да я употребява, с цел да направи оръжия за всеобщо заличаване. Може също по този начин да е нов чатбот, който да е толкоз зле планиран, че да навреди на психологичното здраве на хората.
„ Тук не приказваме единствено за екзистенциални проблеми “, сподели Колтер в изявление за Асошиейтед прес. „ Говорим за целия набор от проблеми с сигурността и сигурността и сериозни тематики, които се появяват, когато стартираме да приказваме за тези доста необятно употребявани AI системи. “
OpenAI избра компютърния академик да бъде ръководител на своя Комитет по сигурност и сигурност преди повече от година, само че позицията закупи нараснало значение предходната седмица, когато регулаторите на Калифорния и Делауеър направиха надзора на Kolter основна част от своите съглашения, с цел да разрешат на OpenAI да образува нов бизнес конструкция за по-лесно набиране на капитал и осъществяване на облага.
Безопасността е централна за задачата на OpenAI, откогато беше учредена като изследователска лаборатория с нестопанска цел преди десетилетие за създаване на ИИ, по-добър от човешкия, който е от изгода за човечеството. Но откакто стартирането на ChatGPT провокира световен търговски взрив на AI, компанията беше упрекната, че бърза да пусне артикули на пазара, преди да са били изцяло безвредни, с цел да остане отпред на конкуренцията. Вътрешните разделения, които доведоха до краткотрайното премахване на основния изпълнителен шеф Сам Олтман през 2023 година, донесоха тези опасения, че се е отклонил от задачата си, на по-широка публика.
Организацията със седалище в Сан Франциско се сблъска с отбиване — в това число правосъдно дело от съоснователя Елон Мъск — когато стартира стъпки да се трансформира в по-традиционна компания с облага, с цел да продължи да развива технологията си.
Споразуменията, оповестени предходната седмица от OpenAI дружно с основния прокурор на Калифорния Роб Бонта и основния прокурор на Делауеър Кати Дженингс, имаха за цел да успокоят някои от тези опасения.
В основата на формалните задължения е обещанието, че решенията по отношение на сигурността и сигурността би трябвало да са преди финансовите съображения, защото OpenAI образува нова корпорация в социална изгода, която механически е под контрола на своята нестопанска фондация OpenAI.
Колтер ще бъде член на борда на организацията с нестопанска цел, само че не и в борда на организацията с нестопанска цел. Но той ще има „ цялостни права за наблюдаване “, с цел да участва на всички съвещания на борда с облага и ще има достъп до информацията, която получава по отношение на решенията за сигурност на AI, съгласно меморандума за съгласие на Bonta с OpenAI. Колтер е единственият човек, с изключение на Бонта, посочен в дългия документ.
Колтер сподели, че споразуменията значително удостоверяват, че неговият комитет по сигурност, образуван предходната година, ще резервира пълномощията, които към този момент имаше. Останалите трима члена също вземат участие в борда на OpenAI - единият от тях е някогашен военачалник от армията на Съединени американски щати Пол Накасон, който е бил пълководец на Кибер командването на Съединени американски щати. Алтман се отдръпна от панела за сигурност предходната година в ход, считан за предоставящ повече самостоятелност.
„ Имаме способността да вършим неща като искане за закъснение на изданията на модели, до момента в който не бъдат изпълнени избрани смекчаващи ограничения “, сподели Колтер. Той отхвърли да каже дали панелът за сигурност в миналото е трябвало да спре или смекчи освобождение, базирайки се на поверителността на своите процедури.
Колтер сподели, че ще има разнообразни опасения по отношение на сътрудниците на ИИ, които би трябвало да бъдат прегледани през идващите месеци и години, от киберсигурността – „ Може ли сътрудник, който се натъкне на злоумишлен текст в интернет, инцидентно да ексфилтрира данни? “ – за опасенията за сигурността към теглата на моделите на ИИ, които са числени стойности, които въздействат върху работата на една система с ИИ.
„ Но има и тематики, които или се появяват, или в действителност са характерни за този нов клас модели на ИИ, които нямат действителни аналози в обичайна сигурност “, сподели той. „ Моделите разрешават ли на злонамерените консуматори да имат доста по-високи благоприятни условия, когато става въпрос за неща като планиране на биооръжия или осъществяване на злонамерени хакерски атаки? “
„ И най-после, има единствено въздействието на AI моделите върху хората “, сподели той. " Въздействието върху психологичното здраве на хората, резултатите от хората, които взаимодействат с тези модели и какво може да аргументи това. Всички тези неща, съгласно мен, би трябвало да бъдат прегледани от позиция на сигурността. "
OpenAI към този момент беше изправен пред рецензии тази година по отношение на държанието на своя водещ чатбот, в това число правосъдно дело за непозволена гибел от родители в Калифорния, чийто наследник младеж се самоуби през април след продължителни взаимоотношения с ChatGPT.
Колтър, шеф на отдела за машинно образование на Карнеги Мелън, стартира да учи ИИ като първокурсник в университета в Джорджтаун при започване на 2000-те години, доста преди този момент да стане съвременно.
„ Когато започнах да работя в машинното образование, това беше езотерична, ниша област “, каза той. „ Нарекохме го машинно образование, тъй като никой не искаше да употребява термина AI, защото AI беше тази старовременна област, която беше свръхобещаваща и незадоволителна. “
Колтер, 42, следи OpenAI от години и беше задоволително покрай създателите му, че участва на празненството за представянето му на конференция за изкуствен интелект през 2015 година Все отново той не очакваше какъв брой бързо ще напредне изкуственият разсъдък.
„ Мисля, че доста малко хора, даже хората, работещи надълбоко в региона на машинното образование, в действителност чакаха настоящото положение, в което се намираме, детонацията на качествата, детонацията на рисковете, които се появяват сега “, сподели той.
Застъпниците на сигурността на ИИ ще наблюдават от близко преструктурирането на OpenAI и работата на Колтер. Един от най-острите критици на компанията споделя, че е „ внимателен оптимист “, изключително в случай че групата на Колтер „ в реалност е в положение да наеме личен състав и да играе постоянна роля. “
„ Мисля, че той има оня опит, който има смисъл за тази роля. Той наподобява като добър избор да ръководи това “, сподели Нейтън Калвин, основен консултант в дребната организация с нестопанска цел Encode, занимаваща се с политики за изкуствен интелект. Калвин, който OpenAI насочи с призовка в дома му като част от установяването на обстоятелства, с цел да се отбрани против делото на Мъск, сподели, че желае OpenAI да остане правилен на първичната си задача.
„ Някои от тези задължения могат да бъдат в действителност огромна работа, в случай че членовете на борда ги одобряват съществено “, сподели Калвин. " Те също могат да бъдат просто думите на хартия и много отделени от всичко, което се случва в реалност. Мисля, че към момента не знаем в кое от тях се намираме. "
