AI Office · Second Brain

Иллюзия мастерства и экспертных прогнозов

время чтения ~4 мин.

Иллюзия мастерства и экспертных прогнозов

Определение

Систематическое явление: эксперты переоценивают точность своих долгосрочных прогнозов в «малодостоверных» средах (политика, финансы, рыночные исходы). Субъективная уверенность — функция когерентности истории, построенной Системой 1, а не качества данных.

«Заявления в абсолютной уверенности подсказывают, что человек выстроил в уме когерентный рассказ, который может и не соответствовать действительности.»

Главные феномены

Иллюзия валидности (Illusion of validity)

Убедительная история создаёт ощущение точного предсказания независимо от реальной точности. Канеман открыл это на отборе офицеров ЦАХАЛа: впечатления от учений казались ясными и убедительными, прогнозы о карьере рассыпались о реальность — но субъективная уверенность не падала. Аналогия с иллюзией Мюллера–Лайера: знание о том, что суждение ненадёжно, не меняет ощущения.

Иллюзия мастерства (Illusion of skill)

Исследование Терри Одеана (~163 тыс. сделок, 10 тыс. счетов, 7 лет): акции, проданные частными инвесторами, в среднем переигрывали купленные на 3.2% в год. Барбер и Одеан («Трейдинг опасен для здоровья»): чем активнее частный трейдер — тем хуже результат. Анализ 25 консультантов за 8 лет: среднее значение межгодовой корреляции рейтингов ≈ 0.01, то есть нуль; премии выплачивались за удачу.

Ёж и лиса (Тетлок)

Анализ 80 000 экспертных прогнозов:

  • «Ёж» — одна большая теория, категоричность, самоуверенность. Прогнозирует хуже случайного. Любим TV и СМИ за яркость.
  • «Лиса» — множество факторов, признание случайности, широкие доверительные интервалы. Прогнозирует точнее. Медиа неинтересна.

Чем выше публичность эксперта — тем вычурнее и хуже его прогнозы.

Когда интуиции эксперта доверять

Два условия надёжной интуиции (Канеман и Гэри Кляйн):

  1. Среда достаточно регулярна (шахматы, пожарная служба, анестезиология, хирургия, спорт).
  2. Долгая практика с быстрой и однозначной обратной связью (~10 000 часов).

«Малодостоверные» среды (политические прогнозы, биржа, долгосрочная клиника): даже опытные эксперты — на уровне случая или хуже.

Формулы vs эксперты (Пол Мил)

Пол Мил, «Клинический и статистический прогнозы» (1954): обзор 20 исследований — простая статистическая формула в большинстве случаев точнее экспертных клинических суждений. За полвека накоплено ~200 сравнений: ~60% за формулу, остальные — ничьи; убедительных побед эксперта нет.

Причины проигрыша эксперта

  1. Попытка учесть «сложные комбинации» там, где работает простота.
  2. Непостоянство суждений — радиологи при повторном осмотре тех же снимков противоречат себе в 20% случаев; аудиторы и патологи — аналогично. Формула на тех же данных даёт один и тот же ответ.

Примеры успешных алгоритмов

  • Шкала Апгар (1953): 5 параметров (пульс, дыхание, рефлексы, тонус, цвет), оценка 0–1–2. Простой алгоритм заменил россыпь клинических суждений — снизил младенческую смертность.
  • Формула Ашенфельтера для цен на бордо: 3 погодных параметра → корреляция с реальной ценой >0.90 — выше, чем у экспертов-дегустаторов.
  • Устойчивость брака (Доуз): «частота секса минус частота ссор» — равновесная формула.
  • Структурированное интервью Канемана (ЦАХАЛ, 1955): 6 независимых характеристик, факт-вопросы, последовательная оценка каждой (исключает halo effect), итог-сумма решает. Интуиция «закрой глаза» — только после сбора баллов, с тем же весом, что одна из шести.

«Правило сломанной ноги» (Мил)

Отступать от формулы допустимо только при редком, но решающем признаке (буквально: человек сломал ногу — в кино не пойдёт, даже если формула предсказывает). В большинстве случаев «специфические обстоятельства» — рационализация для игнорирования алгоритма.

Практическое применение

В оценке маркетинговых подрядчиков

  • Межгодовая корреляция результатов агентства/фонда ≈ нулю означает: вы платите за предыдущее везение, а не за устойчивое мастерство.
  • Базовая проверка «эксперта»: запросить серию прошлых прогнозов с датами и сравнить. Если нет письменных прогнозов до событий — нет доказательств мастерства.
  • Связь с Антоновым: продуктовый подход к тестированию (4 стейджа, 1 элемент в вариации) — это алгоритм, который побеждает «творческую интуицию» байера. testirovanie-kreativov

В A/B-тестах и аналитике

  • «Эта реклама сработала потому что…» — нарративная ошибка post-hoc. Нужен контрольный период и статистическая значимость. marketing-analitika
  • Регрессия к среднему: «волшебная» неделя продаж — часто артефакт после плохой недели. Нужен достаточный период.

В hiring и выборе подрядчиков

  • Схема ЦАХАЛ/Доуза: 5–6 заранее определённых критериев, факт-вопросы, балл по каждому отдельно (без halo effect), сумма решает. Интуитивная оценка — только в конце, с тем же весом.
  • Структурированное интервью > «посмотрел на человека, понял что подходит» (иллюзия валидности).

В стратегическом планировании

  • Широкие доверительные интервалы аналитика («от X до Y», а не «будет Z») честнее и точнее — но культурно неприемлемы («однобокий экономист» нужен начальнику). Поощрять вилки, не точечные прогнозы.
  • Финансовые директора в исследовании Канемана: реальных «сюрпризов» вне 80%-интервала — 67% вместо 20%. Наши планы систематически самоуверенны. Связь: planning-fallacy-i-pre-mortem

В выборе «экспертов» для аудиторий

  • Для рекламы и PR: «ёж» (уверенный, однозначный) убедительнее для массовой аудитории. Для собственных решений: доверяй «лисам» с широкими интервалами и признанием случайности. Два разных критерия для «убедительности» и «точности».

Противоречия

Канеман не отрицает экспертную интуицию полностью — при правильных условиях (регулярная среда, быстрая обратная связь) она валидна. Противоречие с массовым использованием: большинство профессиональных областей, на которые претендуют «эксперты» (маркетинг-стратегия, политика, инвестиции) — «малодостоверные» среды. Граница между «достоверным» и «малодостоверным» — не всегда очевидна самому эксперту.

См. также

Вид графа

Обратные ссылки