Филип Тетлок за сътрудничество с AI
Тази публикация е версия на място на нашия бюлетин Unhedged. Премиум клиентите могат да се записват тук, с цел да получават бюлетина всеки работен ден. Стандартните клиенти могат да надстроят до Premium тук или да прегледат всички бюлетини на FT
Добро утро. Митингът стопира ли? До момента тази седмица S&P 500 се намали с 2 %. Още чиновници на Федералния запас обмислят понижаване на нулевите ставки през 2024 година Президентът на Федералния запас на Чикаго Остан Гулсби през вчерашния ден сподели, че „ най-голямата заплаха “ е инфлацията на жилищата, която не спада, както се чака. Стегнете нервите ни: [email protected] и [email protected].
Интервю в петък: Филип Тетлок
Филип Тетлок е един от най-влиятелните обществени учени в света. Работата му е необятна: той е писал доста за прогнозиране, преценка, политика и морални полезности. Но той е най-известен с две книги. Експертната политическа оценка откри, че доста специалисти систематично са били прекомерно уверени в точността на личните си прогнози. Суперпрогнозите настояват, че някои хора в действителност са по-добри в предсказването на бъдещето от други и че това, което отличава тези хора, е ясна композиция от незаинтересованост, внимание към детайла, положителни привички и малко техника.
Тази седмица той приказва с Unhedged за смисъла на неговите творби за участниците на пазара – и за възхода на AI.
Unhedged : Нашата читателска публика ще бъде изключително заинтригувана какво мислите за икономическите специалисти. Можем ли да приемем, че вашата работа значи, че икономистите просто нямат какво да кажат доста потребно, да вземем за пример, какво ще се случи с стопанската система през 2025 година?
Филип Тетлок: Това е разбираемо четене, само че не е тъкмо. Рисува с прекомерно необятна четка. Не обичам да приказвам за специалисти като цяло; Не обичам да приказвам за икономисти като цяло. Вярно е, че в някои от изследванията, които организирах, доста специалисти, най-много по геополитика, не се показаха толкоз добре. Мислеха, че знаят повече за бъдещето, в сравнение с самите те. Един от огромните заключения на хората за у дома е гледната точка на нищо не знаят, че специалистите са невежи.
Има известна истина в това: има надменност, което заразява доста експертни общности. Другото нещо, което затвърди мнението, че съм анти-експерт, са шампионатите на IARPA, които се организираха през 2011 и 2020 година [Дейността за напреднали проучвателен планове за разузнаване е изследователска организация, ръководена от Службата на шефа на националното разузнаване на САЩ]. През някои от тези години бяхме в съревнование с анализатори от разузнаването. Въпросът беше: могат ли дилетантите суперпредсказатели да се оправят по-добре от опитните разследващи анализатори, които имат достъп до класифицирана информация? Това също се оказа много зле за специалистите по тематиката. Суперпрогнозистите печелеха с 20 % плюс.
Нехеджирани : Нека изострим въпроса. Скорошният опит с доста фундаментална икономическа променлива, инфлацията, наподобява показва, че даже за относително къси интервали от време икономическата експертиза обезпечава доста лимитирано преимущество при прогнозиране на инфлацията по отношение на доста машинален, учреден на правила метод. Ако икономистите не могат да плануват нещо толкоз фундаментално като инфлацията, какво знаят?
Тетлок: Това е бездънен въпрос. Има някои области, в които знанието се преобразува доста по-директно в предсказваща мощ, в сравнение с в други. Геофизиците, доколкото мога да кажа, имат доста прецизен модел на тектониката на плочите, учреден на доста солидна физическа просвета. Те могат жестоко да плануват къде ще се случат трусове. Но те в действителност не могат да предскажат по кое време.
Нехеджирани : В области, в които знанието не се трансформира доста елементарно в предсказваща мощ, вашата работа споделя ли ни по какъв начин би трябвало да продължите ли?
Тетлок: Това сигурно допуска, че би трябвало да ставаме все по-скептични по отношение на по-далечните специалисти, които настояват, че могат да видят. Но единствено с цел да ви покажа, че не обичам да рисувам с необятна четка, преди малко написах публикация, която рапортува за някои от дребното 25-годишни прогнози, които събрах за Expert Political Judgement при започване на 90-те години. Не бих споделил, че имаме страхотна база данни, само че имаше задоволително прогнози, с цел да можем да създадем някои статистически изводи.
Имаше две категории прогнози. Единият беше за промени на границите вследствие на навлизане или вследствие на вътрешно обособяване, а другият беше за разпространяване на нуклеарни оръжия. Прогнозите за смяна на границите се оказаха почти както чакахме. Хората, които имаха опит в тази област, в действителност не бяха доста по-добри, в сравнение с би бил напълно инцидентен четец на сериозен вестник.
В реалност имаше единствено два епизода на разпространяване на нуклеарни оръжия, които се случиха през 25-те години интервал от време: Северна Корея и Пакистан. Индия стана публично нуклеарна, само че те бяха нуклеарни и преди. И специалистите по разпространяването на нуклеарни оръжия се оправиха удивително добре. За някой, чиято ранна обществена интелектуална известност зависи от това, че специалистите са глупави, е някак ненормално, че ще пиша публикация като тази през 2023 година Но го направих и тя илюстрира заплахата от рисуването с необятна четка.
Нехеджирани : Защо разпространяването на нуклеарни оръжия би трябвало да е друго?
Тетлок: Това е обвързвано с въпроса ви за знанието. Мисля, че предпоставките за основаване на бомба са доста добре разбрани. Икономическите и софтуерни лостове, които огромните сили имат, с цел да окажат напън върху амбициозните нуклеарни сили, са доста обилни. Така че ще бъде тежко да станеш нуклеарна мощ. Трябва да си подготвен да издържиш на доста интернационално неодобрение. Северна Корея, несъмнено, е в обособена категория. И стана ясно, че специалистите са планували всичко това много тъкмо, даже и приблизителния период. И Пакистан стана нуклеарна мощ. Имаше тези две изключения, само че доста хора смятаха, че ще има доста други нуклеарни сили: смятаха, че Ирак ще стане нуклеарна мощ, Сирия, Либия. С края на Студената война някои неореалисти смятаха, че Германия и Япония ще станат нуклеарни, тъй като към този момент няма да имат вяра на нуклеарния чадър на Съединени американски щати. Имаше доста подправени позитивни резултати - само че те нормално бяха подправени позитивни резултати от хора, които не бяха специалисти по разпространяване на нуклеарни оръжия. Експертите по разпространяването на оръжия устояха на виковете на сирената.
Нехеджирани : с който говорихме, вие казахте, че на ликвидни пазари суперпрогнозите не прибавят доста стойност. Това остава ли правилно? Самият пазар супер прогнозист ли е?
Тетлок: Е, хипотезата за ефикасния пазар е това, което допуска, че той е супер прогнозатор. И мисля, че има известна истина в това. Не мисля, че съм виждал доказателства за суперпредсказатели с някаква рационална поредност, побеждаващи мощно ликвидни пазари. Виждал съм ги да побеждават пазари за прогнозиране на играчки, които не са доста дълбоки или ликвидни. Вероятно сте виждали аномалиите, които се появяват в тях.
Нехеджирани : Какво ще кажете за въпрос като „ Ще изпадне ли държавният дълг на страната X в несъблюдение в границите на три години?'
Tetlock: Те са склонни да бъдат много положителни в такива въпроси - това е тъкмо в тяхната рулева рубка. Можете да употребявате базовите курсове на надлъжно напречно сечение, да вземете под внимание самостоятелната информация за страната и да извършите прогноза. Аржентина, несъмнено, е забавен случай, тъй като има този нов президент; въпросът е дали всички залози са изключени в този момент.
Нехеджирани : Как AI ще промени прогнозирането?
Tetlock: Не съм специалист по изкуствен интелект, само че това е извънредно впечатляваща технология. Има някои съществени проблеми, само че все пак има изумителен потенциал да дава отговор извънредно добре на необятни категории въпроси. Написах няколко публикации за това по какъв начин подтикваме огромните езикови модели да мислят като суперпредсказатели или ги подтикваме да мислят като избрани школи на мисълта. Например, можем да кажем „ симулирайте по-ястребови и по-гълъбови възгледи по отношение на паричната политика на централните банки в страните от Организацията за икономическо сътрудничество и раз “. Първият тест е дали машината може да премине идеологически тест на Тюринг - дали може да заключи тези възгледи толкоз добре, че наблюдаващият да почувства, че ги е характеризирала, а не карикатурирала. Това не е доста придирчив тест за LLM, тъй като те просто изсмукват думи и ги пренареждат.
По-предизвикателният тест е да ги попитате за съпоставителни обстоятелства – съпоставителни обстоятелства, които към момента не са необятно обсъждани, само че са имплицитни в система от вярвания на школата на мисълта, нейните вярвания „ какво в случай че “.
Нехеджирани : А концепцията, че по някакъв метод една прогноза е аналогична на съпоставителна преценка?
Тетлок: Много толкоз доста. Това е условно изискване, ако-тогава. Да кажем, че съумяваме да възпроизведем имплицитните съпоставителни вярвания на разнообразни школи на мисълта по разнообразни тематики - без значение дали по отношение на инфлацията или геополитическия резултат. Тогава дано вземем тази система, която наподобява работи добре като показване на тази школа на мисълта за случилото се сред 1990 година и 2025 година, и да я използваме в шампионат по прогнозиране, който се простира от 2025 година до 2050 година Вземете специалистите по разпространяване на нуклеарни оръжия, които се оправиха сносно през последните 25 години, накарайте LLM-ите да възпроизведат своите системи от вярвания, а по-късно поставите LLM-ите в конкуренция с тях. LLMs стават участници в шампионата.
Можете също да ги помолите да бъдат по-креативни. Вие питате магистъра по право прогнози сред 1990 и 2024? И по какъв начин бихте приложили тази композиция отсега нататък, за 2020-2050 година? “ Мисля, че изкуственият разсъдък евентуално ще направи по-лисичи [идеологически разнородни, деликатно претеглени, предварителни] в сравнение с сходни на таралеж [идеологически обвързани, дедуктивни] преценки.
Нехеджирани : Звучи като че ли казвате, че AI са единствено един спомагателен набор от участници в конструкция за съдействие.
Tetlock: Точно по този начин. Мисля, че „ суперинтелигентността “ в действителност има значение тук, в случай че LLMs могат да свършат по-добра работа за синтезиране на човешки школи на мисълта, в сравнение с хората могат да създадат. Те могат да вземат тези синтетични прозрения от предходния интервал от време, да ги приложат към идващия интервал от време и да надминат както хората, по този начин и LLMs, които просто съставляват обособени школи на мисълта. Това би означавало, че те работят на свръхинтелигентно равнище.
Нехеджирани : Това визира вашата позиция, че има идеална композиция сред съдействие и конкуренция, по този начин нареченото съревнование съдействие.
Тетлок: Това, което казваш, ме натъжава, тъй като ми припомня за Дани Канеман [известният психолог, създател на Thinking Fast and Slow, който умря през март]. Той беше огромен последовател на този тип съдействие. Тъй като беше Дани, той беше подобен черноглед и не смяташе, че съперническото съдействие работи доста добре. Той не смяташе, че може доста да промени съзнанието на хората, въз основа на опита си от провеждането на опити. Но от време на време имаха триумф. Съпругата ми Барб беше забъркана в едно, за което Кас Сънстейн писа неотдавна в New York Times. Беше за връзката сред щастието и парите. Всяка страна промени мнението си до известна степен.
Този тип синтетично мислене [е мястото, където AI може да влезе в игра]. Бихте могли да поискате от LLM да посредничат в опълчване на съдействията. Бихте могли даже да помолите LLM, представляващи съперничещи школи на мисълта, да си сътрудничат между тях и да видите дали са основали по-добри синтези от хората, които може би са по-упорити и егоистични.
Нехеджирани < /strong> : Какви са изискванията, при които спортното съдействие може да помогне и изискванията, при които не е потребно? Състезателното съдействие наподобява като това, което вършат капиталовите комитети. Но един от вашите гледа дали съперническото съдействие може да преодолее възгледите на хората по отношение на екзистенциалния риск от ИИ и откри, че фундаменталните възгледи за света стопират доближаването на гледните точки.
Tetlock: Ние не се отхвърлят от съперническото съдействие, само че [това изследване] в действителност беше отрезвяващо. Може да подценяваме рекламното съдействие от този вестник. Някои от участниците в действителност генерираха „ съществени въпроси “, краткосрочни въпроси, които, откакто бъдат позволени, биха предиздвикали всяка страна да промени мнението си до известна степен по отношение на дълготрайния резултат. И нито един от тези съществени въпроси към момента не е позволен.
Има аргументи да се допуска, че човешките участници не са се справили доста добре с генерирането на основни въпроси. Защото в ретроспекция специалистите, които бяха по-загрижени за риска от ИИ, трансформираха преценките си не заради причини от по-скептична суперпрогноза за ИИ
