Изкуството на суперпрогнозирането: как читателите на FT се справиха с експертите през 2023 г.

Всеки ден Питър Стамп отива в домашния си офис в Северна Германия и изчиства всички разсейвания за един час. Той отваря лаптопа си и сканира списък от над 140 въпроса, които питат за бъдещето. Тези въпроси обхващат глобални конфликти, валутни движения и икономическа политика. Стамп поглежда всеки един, обмисляйки дали прогнозите му са се променили спрямо предния ден.

„Опитвам се да покрия теми от всички възможни ъгли, дори странни от политически сайтове, с които напълно не съм съгласен, но те може да предложат перспектива, която е ценна“, казва Стамп. „След това в крайна сметка [аз] претеглям намерените аргументи и обмислям какво друго може да повлияе на мнението ми и записвам всичко.“

Стамп е „суперпредсказател“, нещо като анализатор, чиито прогнози могат да се докаже с времето, че са по-точни от тези на широката общественост. От 2020 г. той работи за Good Judgment, компания, която събира такива прогнози за големи корпорации, инвестиционни мениджъри и правителства, и популяризира термина.

След като стана един от най-високо класираните прогнозисти в Good Judgement Open, публичната платформа на компанията, той беше поканен да се присъедини към нейните елитни редици. Сега това е негова работа на непълно работно време, заедно с това да бъде финансов консултант и застрахователен брокер. Той направи прогнози по над 800 въпроса през последните три години с цел да работи по възможно най-много теми.

Стамп винаги се е смятал за добър с числата и е член на Mensa. Но това не са чертите, които според него го правят страхотен суперпредсказател. Вместо това неговата гъвкавост и непредубеденост са най-големият принос за неговия успех, казва той. „И практика. Поне няколкостотин часа реална практика. В моя случай това са две или три хиляди часа реална практика.“

Изкуството на суперпрогнозирането води началото си от работата на Филип Тетлок, един от основателите на Good Judgement. Тетлок започва да изучава как експертите правят геополитически и икономически прогнози, когато е бил доцент по психология в Калифорнийския университет в Бъркли през 1984 г.

През следващите 19 години той и екипът му събраха над 250 експерти от академичните среди, правителството и медиите да направят 28 000 прогнози. Като цяло той установи, че експертните прогнози се справят малко по-добре от случайността.

Неговото изследване в крайна сметка привлече вниманието на американската разузнавателна общност. През 2011 г. Intelligence Advanced Research Projects Activity (IARPA), правителствена агенция на САЩ, която финансира изследвания, за да направи разузнаването по-ефективно, стартира серия от турнири по прогнозиране, за да подобри знанията за това как да се правят точни прогнози. Хиляди синоптици участваха в продължение на четири години, правейки над един милион прогнози по 500 въпроса, свързани с националната сигурност на САЩ.

Тетлок и неговият изследовател и партньор в живота Барбара Мелърс ръководиха една от петте изследователски групи, избрани да участват. Една от основните им цели беше да идентифицират какво точно прави един прогнозист точен. Съществуващата литература за прогнозиране не предлага „последователни“ съвети за това как да се увеличи точността, казва Мелерс. „Така че направихме това, което имаше смисъл за нас.“

Чрез промяна на състава на екипите и техните методи, те в крайна сметка надминаха всички други изследователски екипи и дори професионални разузнавателни анализатори, които имаха достъп до секретни информация. „Имахме много залози за това, което всички смятахме, че ще работи добре, и всички бяхме изненадани от [почти] всичко, което се случи“, казва Мелерс.

Едно от най-изненадващите им прозрения беше, че прогнозирането е умение, което може да бъде усъвършенствано и развито. Те ще продължат със заключението, че има три начина за подобряване на точността: разполагане с повече информация, намаляване на пристрастията и намаляване на въздействието на неподходящи променливи.

Геополитическите прогнози набраха сила през последното десетилетие, тъй като бизнесът се сблъска с шокове от Брекзит и президентството на Тръмп до войната в Украйна. Фамке Крумбмюлер, директор на Geostrategic Business Group на EY, казва, че прогнозирането е свързано с адаптиране на стратегии към бъдещето.

Например, казва тя, „ако направите инвестиция в държава, ако промените веригите си за доставки, къде трябва да отидете по-малко и къде трябва да отидете повече? Ако придобиете нов бизнес в определена държава, каква е вероятността правителството да се намеси във вашата транзакция?“

За да илюстрира какво прави един суперпрогнозист достоен за името, FT попита както читателите, така и Суперпрогнозите на Good Judgement ще направят прогнози по десет въпроса в началото на тази година, обхващащи от темповете на растеж на БВП до гледаемостта на финала на Световното първенство по футбол за жени на ФИФА.

Общо 95 суперсиноптици отговориха на въпроси, докато анкетата на читателите имаше приблизително 8500 респонденти. Последното беше по-скоро случайно, отколкото научно и продължи само една седмица, а не цялата година. Все пак резултатите хвърлят интересна светлина върху това, за което мислим, когато мислим за бъдещето.

Четци на FT срещу супер прогнози

Читците на FT наистина бяха в неравностойно положение; за разлика от Good Judgement, нашата анкета не дойде с никакво обучение, официална общност, текуща обратна връзка или залози. Над 10 въпроса е ясно, че тези неща имат значение.

Използвайки система за точкуване, която варира от 0,5 (или чисто предположение) до 1 (перфектен избор) за девет въпроса, читателите на FT отбелязаха 0,73, докато суперсиноптиците отбелязаха 0,91.

(От 10-те въпроса, които бяха зададени в края на януари, успяхме да разрешим уверено само шест до момента на публикуване, въпреки че можем доста уверено да приемем още три.)

За разлика от читателите, суперпрогнозите на Good Judgement също успяха да актуализират своите прогнози с течение на годината. Така че, въпреки че не беше съвсем честно състезание, нашият експеримент дава известна представа за това какво влиза в истинската суперпрогноза - и какво трябва да имат предвид прогностиците аматьори. Тук го разбиваме въпрос по въпрос:

Каква ще бъде цената на биткойн на 31 декември 2023 г.?

Чувстват се някои въпроси по-трудни за прогнозиране от други. Волатилността на биткойн е много по-висока дори от най-нестабилните фиатни валути. През месец януари биткойнът се покачи от $16 000 на $23 000 и към момента на публикуване вече струва над $42 000.

Ако тези числа са изненадващи, това може да е предимство. Ранните изследвания на Tetlock показаха, че притежаването на експертни познания по темата не е равнозначно на надмощие. Това, че си експерт, често закотвяше хората в мнения и затрудняваше синтезирането на допълнителна информация.

„Мисля, че ценността на нашата група е, че не всички се опитваме да стигнем до абсолютно една и съща цифра, а по-скоро позоваване на различни гледни точки. Това, което заедно представлява всичко това, става важно“, казва Алис Дорман, суперпрогнозьор, която казва, че не е човек, разбиращ се в крипто.

Споделянето на информация и насърчаването на непредубеденото мислене беше това, което направи екипите от суперпрогнозисти толкова мощен. Изследване на Адам Грант от Университета на Пенсилвания показва, че тези, които са добри в помагането на другите в екипи, често насърчават другите също да споделят - и това обикновено е от полза за всички, включително за първоначалния споделящ.

„Имаме предимството да се включат някои експерти по темата“, казва Дорман. „И това е изключително полезно за тези от нас, които са специалисти по общ план.“

Какъв ще бъде глобалният годишен темп на инфлация през октомври 2023 г.?

През февруари 43 процента от суперсиноптиците правилно прогнозираха, че най-вероятният диапазон за глобалната годишна инфлация през октомври 2023 г. е 6 до 7,5 процента. Само 17 процента от читателите на FT са направили същото предположение.

Уорън Хач, главен изпълнителен директор на Good Judgment, казва, че ключът, който трябва да имате предвид при въпрос, който включва промяна във времето, е времевата рамка, в която случва се. Той посочва, че както читателите на FT, така и суперпрогнозите като цяло са се съгласили, че инфлацията е преходна и че „не навлизаме в ера на многогодишна хиперинфлация в стил 70-те“. Това, което беше различно обаче, беше как синоптиците гледаха на времевата линия.

През 1992 г. Даниел Канеман и Джак Кнеч въвеждат концепцията за „нечувствителност на обхвата“. За въпрос, който включва фактор, който се променя с времето, това означава, че вероятността дадено събитие да се случи до определена дата не трябва да бъде същата вероятност като същото събитие да се случи на по-късна дата.

“[ Опитните прогнозисти] ще се запитат „ще бъде ли инфлацията под ниво X до дата Y?“ Те веднага ще помислят за различни дати Y. И те също ще помислят за различни нива X. Така че те почти ще имат умствена матрица, която съставят. Сега можете да направите това много бързо, дори само за минута или две, за да можете да получите малко по-добре информирана представа за това как изглеждат вероятностите в допълнение към посоката“, казва Хач. „И двете прогнозни групи бяха прави, че инфлацията ще спадне. Въпросът, който остана, беше как изглежда времето.“

Колко европейски държави и територии ще установят рекордно висока температура през 2023 г.?

Едно умение, което трябва да усъвършенствате като суперпредсказател, е как да реагирате на новини. Може да бъде пагубно да реагирате прекалено или да реагирате недостатъчно. Начинът, по който някой може да реагира, може да бъде свързан с различни психологически пристрастия, базирани на дългогодишни вярвания или скорошен личен опит.

Това лято предлага добър пример. „Бях в Испания през май точно след огромната гореща вълна, така че бях наясно какво се случва. Но отново, не исках да позволя на тези видове субективни чувства да попречат на проекцията“, казва Стив Рот, суперпрогнозьор със седалище в Ню Йорк, който започна да прогнозира през 2014 г. с Good Judgement по време на турнира IARPA.

Рот казва, че ако не е имал информация и е следвал само първоначалното си усещане, е щял да предвиди, че повече от два температурни рекорда биха били счупени. Вместо това той погледна осем години температурни рекорди. В четири от последните осем години бяха счупени един или два рекорда. През останалите години или нито един, или повече от два бяха счупени. Той и 37 процента от суперсиноптиците правилно прогнозираха през февруари, че само един или два счупени рекорда са най-вероятни.

Той казва, че независимо от собствената си гледна точка, трябваше да остави това настрана за данните, избягване на това, което психолозите наричат „постоянство на вярата“, поддържане на вяра дори когато има доказателства против нея.

Докато суперсиноптиците са виждали новини през лятото за поставяне на рекорди в определени градове и повишаване на средните температури, средната покачванията не се равняват на рекорди. Записите в градовете също не означават непременно записи в държави.

„Хората четат за затоплящия се климат, най-горещата година в света и т.н. и т.н. и т.н. и това обхваща всичко, за разлика от много, много конкретни места и събития“, каза Рот.

Ще престане ли Владимир Путин да бъде президент на Руската федерация преди 1 януари 2024 г.?

Както читателите на FT, така и суперсиноптиците като цяло се съгласиха, че това е малко вероятно че Путин вече няма да бъде президент до края на годината, но повече суперпрогнози бяха сигурни, че Путин ще остане на поста (което предполагаме, че ще бъде така, тъй като до 2023 г. остават само няколко дни).

Hatch казва, че за да се избегнат пристрастия, най-добре е да се установи базов процент. „Това, което наистина искаме да направим, е да намалим мащаба. Колко често лидери с такава силна позиция изчезват в течение на една година по някаква причина? Това е супер, супер ниско. Просто не се случва толкова често“, казва Хач.

Канеман и дългогодишният му сътрудник Амос Тверски наричат този акт на балансиране „външна и вътрешна“ перспектива. Външният поглед се отнася до общия случай, а вътрешният поглед към спецификата. Канеман и Тверски откриха, че хората са склонни да закотвят своите преценки около първото число, което обмислят, така че за да избегнат пристрастия при закотвянето, суперпрогнозистите са обучени да закотвят своите вероятности първо върху общото, след което да се приспособят към спецификата на случая.

Тази гледна точка означаваше, че за Стамп вероятностите му не са се променили много дори след въстанието на Вагнер през юни, когато паравоенни сили, водени от Евгений Пригожин, организираха кратко въоръжено въстание срещу руските сили.

„За Русия , има малко история на работещи преврати“, казва Стамп. „Самият Вагнер никога не е бил част от системата, а Пригожин винаги е бил аутсайдер в руския елит, без истински приятели, освен може би някои генерали или други престъпници или каквото и да е друго. Така . . . шансовете ми изглеждаха много ниски.“