Филип Тетлок за сътрудничество с AI
Тази статия е версия на място на нашия бюлетин Unhedged. Премиум абонатите могат да се регистрират тук, за да получават бюлетина всеки делничен ден. Стандартните абонати могат да надстроят до Premium тук или да разгледат всички бюлетини на FT
Добро утро. Митингът спира ли? До момента тази седмица S&P 500 се понижи с 2 процента. Още служители на Федералния резерв обмислят намаляване на нулевите ставки през 2024 г. Президентът на Федералния резерв на Чикаго Остан Гулсби вчера каза, че „най-голямата опасност“ е инфлацията на жилищата, която не спада, както се очаква. Стегнете нервите ни: [email protected] и [email protected].
Интервю в петък: Филип Тетлок
Филип Тетлок е един от най-влиятелните социални учени в света. Работата му е широка: той е писал много за прогнозиране, преценка, политика и морални ценности. Но той е най-известен с две книги. Експертната политическа оценка установи, че много експерти систематично са били прекалено уверени в точността на собствените си прогнози. Суперпрогнозите твърдят, че някои хора всъщност са по-добри в предсказването на бъдещето от други и че това, което отличава тези хора, е ясна комбинация от непредубеденост, внимание към детайла, добри навици и малко техника.
Тази седмица той говори с Unhedged за значението на неговите произведения за участниците на пазара – и за възхода на AI.
Unhedged: Нашата читателска аудитория ще бъде особено заинтересована какво мислите за икономическите експерти. Можем ли да приемем, че вашата работа означава, че икономистите просто нямат какво да кажат много полезно, например, какво ще се случи с икономиката през 2025 г.?
Филип Тетлок: Това е разбираемо четене , но не е точно. Рисува с твърде широка четка. Не обичам да говоря за експерти като цяло; Не обичам да говоря за икономисти като цяло. Вярно е, че в някои от проучванията, които проведох, много експерти, най-вече по геополитика, не се представиха толкова добре. Мислеха, че знаят повече за бъдещето, отколкото самите те. Един от големите изводи на хората за вкъщи е гледната точка на нищо не знаят, че експертите са невежи.
Има известна истина в това: има високомерие, което заразява много експертни общности. Другото нещо, което затвърди мнението, че съм анти-експерт, са турнирите на IARPA, които се проведоха през 2011 и 2020 г. [Дейността за напреднали изследователски проекти за разузнаване е изследователска организация, управлявана от Службата на директора на националното разузнаване на САЩ]. През някои от тези години бяхме в състезание с анализатори от разузнаването. Въпросът беше: могат ли аматьорите суперпредсказатели да се справят по-добре от опитните разузнавателни анализатори, които имат достъп до класифицирана информация? Това също се оказа доста зле за експертите по темата. Суперпрогнозистите печелеха с 20 процента плюс.
Нехеджирани: Нека изострим въпроса. Скорошният опит с много фундаментална икономическа променлива, инфлацията, изглежда демонстрира, че дори за сравнително кратки периоди от време икономическата експертиза осигурява много ограничено предимство при прогнозиране на инфлацията спрямо много механичен, основан на правила подход. Ако икономистите не могат да предвидят нещо толкова фундаментално като инфлацията, какво знаят?
Тетлок: Това е дълбок въпрос. Има някои области, в които знанието се преобразува много по-директно в предсказваща сила, отколкото в други. Геофизиците, доколкото мога да кажа, имат много точен модел на тектониката на плочите, основан на много солидна физическа наука. Те могат грубо да предвидят къде ще се случат земетресения. Но те всъщност не могат да предскажат кога.
Нехеджирани: В области, в които знанието не се превръща много лесно в предсказваща сила, вашата работа казва ли ни как трябва да продължите ли?
Тетлок: Това със сигурност предполага, че трябва да ставаме все по-скептични спрямо по-далечните експерти, които твърдят, че могат да видят. Но само за да ви покажа, че не обичам да рисувам с широка четка, току-що написах статия, която докладва за някои от малкото 25-годишни прогнози, които събрах за Expert Political Judgement в началото на 90-те години. Не бих казал, че имаме страхотна база данни, но имаше достатъчно прогнози, за да можем да направим някои статистически заключения.
Имаше две категории прогнози. Единият беше за промени на границите в резултат на нахлуване или в резултат на вътрешно отделяне, а другият беше за разпространение на ядрени оръжия. Прогнозите за промяна на границите се оказаха горе-долу както очаквахме. Хората, които имаха опит в тази област, всъщност не бяха много по-добри, отколкото би бил съвсем случаен читател на сериозен вестник.
В действителност имаше само два епизода на разпространение на ядрени оръжия, които се случиха през 25-те години период от време: Северна Корея и Пакистан. Индия стана официално ядрена, но те бяха ядрени и преди. И експертите по разпространението на ядрени оръжия се справиха забележително добре. За някой, чиято ранна публична интелектуална репутация зависи от това, че експертите са глупави, е някак ненормално, че ще пиша статия като тази през 2023 г. Но го направих и тя илюстрира опасността от рисуването с широка четка.
Нехеджирани: Защо разпространението на ядрени оръжия трябва да е различно?
Тетлок: Това е свързано с въпроса ви за знанието. Мисля, че предпоставките за създаване на бомба са много добре разбрани. Икономическите и технологични лостове, които големите сили имат, за да окажат натиск върху амбициозните ядрени сили, са много значителни. Така че ще бъде тежко да станеш ядрена сила. Трябва да си готов да издържиш на много международно порицание. Северна Корея, разбира се, е в отделна категория. И стана ясно, че експертите са предвидили всичко това доста точно, дори и приблизителния срок. И Пакистан стана ядрена сила. Имаше тези две изключения, но много хора смятаха, че ще има много други ядрени сили: смятаха, че Ирак ще стане ядрена сила, Сирия, Либия. С края на Студената война някои неореалисти смятаха, че Германия и Япония ще станат ядрени, защото вече няма да вярват на ядрения чадър на САЩ. Имаше много фалшиви положителни резултати - но те обикновено бяха фалшиви положителни резултати от хора, които не бяха експерти по разпространение на ядрени оръжия. Експертите по разпространението на оръжия устояха на виковете на сирената.
Нехеджирани: с когото говорихме, вие казахте, че на ликвидни пазари суперпрогнозите не добавят много стойност. Това остава ли вярно? Самият пазар супер прогнозист ли е?
Тетлок: Е, хипотезата за ефективния пазар е това, което предполага, че той е супер прогнозатор. И мисля, че има известна истина в това. Не мисля, че съм виждал доказателства за суперпредсказатели с някаква разумна последователност, побеждаващи силно ликвидни пазари. Виждал съм ги да побеждават пазари за прогнозиране на играчки, които не са много дълбоки или ликвидни. Вероятно сте виждали аномалиите, които се появяват в тях.
Нехеджирани: Какво ще кажете за въпрос като „Ще изпадне ли държавният дълг на страната X в неизпълнение в рамките на три години?'
Tetlock: Те са склонни да бъдат доста добри в такива въпроси - това е точно в тяхната рулева рубка. Можете да използвате базовите курсове на надлъжно напречно сечение, да вземете под внимание индивидуалната информация за страната и да направите прогноза. Аржентина, разбира се, е интересен случай, защото има този нов президент; въпросът е дали всички залози са изключени сега.
Нехеджирани: Как AI ще промени прогнозирането?
Tetlock : Не съм експерт по изкуствен интелект, но това е изключително впечатляваща технология. Има някои сериозни проблеми, но въпреки това има удивителен капацитет да отговаря изключително добре на широки категории въпроси. Написах няколко статии за това как подтикваме големите езикови модели да мислят като суперпредсказатели или ги подтикваме да мислят като определени школи на мисълта. Например, можем да кажем „симулирайте по-ястребови и по-гълъбови възгледи относно паричната политика на централните банки в страните от ОИСР“. Първият тест е дали машината може да премине идеологически тест на Тюринг - дали може да обобщи тези възгледи толкова добре, че наблюдателят да почувства, че ги е характеризирала, а не карикатурирала. Това не е много взискателен тест за LLM, защото те просто изсмукват думи и ги пренареждат.
По-предизвикателният тест е да ги попитате за съпоставителни факти – съпоставителни факти, които все още не са широко обсъждани, но са имплицитни в система от вярвания на школата на мисълта, нейните вярвания „какво ако“.
Нехеджирани: А идеята, че по някакъв начин една прогноза е аналогична на съпоставителна преценка?
Тетлок: Много толкова много. Това е условно условие, ако-тогава. Да кажем, че успяваме да възпроизведем имплицитните съпоставителни вярвания на различни школи на мисълта по различни теми - независимо дали относно инфлацията или геополитическия резултат. Тогава нека вземем тази система, която изглежда работи добре като представяне на тази школа на мисълта за случилото се между 1990 г. и 2025 г., и да я използваме в турнир по прогнозиране, който се простира от 2025 г. до 2050 г. Вземете експертите по разпространение на ядрени оръжия, които се справиха доста добре през последните 25 години, накарайте LLM-ите да възпроизведат своите системи от вярвания, а след това поставите LLM-ите в конкуренция с тях. LLMs стават участници в турнира.
Можете също да ги помолите да бъдат по-креативни. Вие питате магистъра по право прогнози между 1990 и 2024? И как бихте приложили тази комбинация занапред, за 2020-2050 г.?“ Мисля, че изкуственият интелект вероятно ще направи по-лисичи [идеологически разнородни, внимателно претеглени, предварителни] отколкото подобни на таралеж [идеологически обвързани, дедуктивни] преценки.
Нехеджирани: Звучи сякаш казвате, че AI са само един допълнителен набор от участници в структура за сътрудничество.
Tetlock: Точно така. Мисля, че „суперинтелигентността“ наистина има значение тук, ако LLMs могат да свършат по-добра работа за синтезиране на човешки школи на мисълта, отколкото хората могат да направят. Те могат да вземат тези синтетични прозрения от предишния период от време, да ги приложат към следващия период от време и да надминат както хората, така и LLMs, които просто представляват отделни школи на мисълта. Това би означавало, че те работят на свръхинтелигентно ниво.
Нехеджирани: Това засяга вашата гледна точка, че има идеална комбинация между сътрудничество и конкуренция, така нареченото състезание сътрудничество.
Тетлок: Това, което казваш, ме натъжава, защото ми напомня за Дани Канеман [известният психолог, автор на Thinking Fast and Slow, който почина през март]. Той беше голям привърженик на този вид сътрудничество. Тъй като беше Дани, той беше такъв песимист и не смяташе, че съперническото сътрудничество работи много добре. Той не смяташе, че може много да промени съзнанието на хората, въз основа на опита си от провеждането на експерименти. Но понякога имаха успех. Съпругата ми Барб беше замесена в едно, за което Кас Сънстейн писа наскоро в New York Times. Беше за връзката между щастието и парите. Всяка страна промени мнението си до известна степен.
Този вид синтетично мислене [е мястото, където AI може да влезе в игра]. Бихте могли да поискате от LLM да посредничат в противопоставяне на сътрудничествата. Бихте могли дори да помолите LLM, представляващи съперничещи школи на мисълта, да си сътрудничат помежду си и да видите дали са създали по-добри синтези от хората, които може би са по-упорити и егоистични.
Нехеджирани< /strong>: Какви са условията, при които състезателното сътрудничество може да помогне и условията, при които не е полезно? Състезателното сътрудничество изглежда като това, което правят инвестиционните комитети. Но един от вашитегледа дали съперническото сътрудничество може да преодолее възгледите на хората относно екзистенциалния риск от ИИ и установи, че фундаменталните възгледи за света спират сближаването на гледните точки.
Tetlock: Ние не се отказват от съперническото сътрудничество, но [това изследване] наистина беше отрезвяващо. Може да подценяваме рекламното сътрудничество от този вестник. Някои от участниците наистина генерираха „основни въпроси“, краткосрочни въпроси, които, след като бъдат разрешени, биха накарали всяка страна да промени мнението си до известна степен относно дългосрочния резултат. И нито един от тези основни въпроси все още не е разрешен.
Има причини да се предполага, че човешките участници не са се справили много добре с генерирането на ключови въпроси. Защото в ретроспекция експертите, които бяха по-загрижени за риска от ИИ, промениха преценките си не поради аргументи от по-скептична суперпрогноза за ИИ
