Вступ
Читати книгу політолога Філіпа Тетлока та Дена Гарднера про прогнозування необхідно з низки причин.
Перша: якщо ви любите сперечатися на політичні теми та укладати парі на те, хто виграє на майбутніх виборах-референдумах. Чи вдалося розширити свою колекцію вин на одну-дві пляшки на Brexit?
Друга: якщо за боргом служби ви змушені платити гроші та слухати сучасних провісників, тобто експертів-аналітиків. Або читати вироблену ними продукцію. Книга допоможе розібратися, хто є компетентним і чиїм розрахункам можна вірити.
Третя: якщо ви — аналітик, змушений на роботі перетворюватися на циганку, що ворожить на кавовій гущі, то книга просто обов’язкова до прочитання. Рідкісний випадок, коли можна розібрати по кісточках власний процес мислення.
Книга легко читається, складається з коротких розділів з безліччю прикладів, коли прогнози збувалися або, навпаки, були провальними. В основі лежить друге масштабне дослідження якості прогнозування – “Тверезий розрахунок” (в ньому взяло участь кілька тисяч осіб).
Унікальність дослідження полягає в тому, що дослідники могли коригувати умови, в яких перебували прогнозисти, спостерігати за однією групою “в особливих умовах” і одночасно порівнювати її з “контрольною”. Це дозволило об’єктивніше виявляти та аналізувати фактори, що впливали на якість прогнозів — світогляд, уміння вчитися на помилках, робота в команді, знання вищої математики тощо.
Дослідження мало також прикладний характер, оскільки його замовляло Агентство передових досліджень у сфері розвідки (IARPA) США, прагнучи підвищити ефективність роботи після провальної оцінки наявності хімічної зброї в Іраку.
Для економічно вразливих: проект «Тверезий розрахунок» перейшов на стадію монетизації. Можна пройти курси, освоїти майстерність чи замовити прогноз.
Так, і відразу слід зазначити: передбачати результат якоїсь події більш ніж за рік із високим ступенем ймовірності неможливо — тут точно до циганки. Науковий факт.
1. Оптимістичний скептик
1.1. Друга спроба
“Суперпрогнозування” описує друге велике дослідження Філіпа Тетлока – “Тверезий розрахунок” (Good Judgement Project, 2011-2014). Воно стало частиною дослідження про прогнозування, профінансоване Агентством передових досліджень у сфері розвідки (IARPA). Метою було підвищити якість роботи спецслужб. У «Тверезому розрахунку» міг взяти участь будь-який (в результаті близько 20 тис. чол., у перший рік проекту – 2,8 тис. чол.). Учасники відповідали на такі питання, як: чи набуде чинності протестний рух у РФ, чи почнеться війна на Корейському півострові тощо. Питання мали горизонт не більше року.
В результаті вдалося виявити суперпровісників (2% учасників). Суперпровісники відповідали краще, ніж контрольна група, на 78%, краще, ніж дослідники з інститутів (Мічиганський університет, MIT та ін.) на 30-70%, а також краще, ніж професійні аналітики, які мають доступ до матеріалів з грифом «таємно» .
У першому ж дослідженні Тетлока брали участь лише професійні експерти (1984–2004). Воно показало, що якість передбачень приблизно дорівнює ймовірності попадання шимпанзе в яблучко при грі в дартс.
1.2. Оптиміст, скептик та реальність
Чи можна надати точний прогноз? І так і ні. Тригерами політичних подій часом є ситуації, які неможливо передбачити, — так думає скептик. Наприклад, Арабську весну запустило самоспалення торговця фруктами у Тунісі.
Водночас погоду на кілька днів уперед вчені навчилися пророкувати. Та й ми день у день непогано вгадуємо завантаженість доріг. Під цим міг би передплатити оптиміст. Реальність лежить десь між.
1.3. Підзвітність
Фітнес-браслет змушує рухатися, оскільки наочно показує, коли лежиш на дивані, кілометри самі себе не проходять. Також і метеорологи стикаються із перевіркою своїх прогнозів щодня. Економічні та політично аналітики зазвичай позбавлені швидкого зворотного зв’язку (крім того, прогнози іноді служать іншим цілям, наприклад, залякати або призвести до зміни політики).
Підзвітність – ключ до підвищення якості прогнозування – показав проект «Тверезий розрахунок».
2. Ілюзія знання
2.1. Лікарям видніше
У 1956 р. Арчі Кокрейн прийшов до тями після операції, щоб дізнатися, що у нього виявили ракову пухлину на кількох органах, пухлину вирізали, жити йому залишилося лічені місяці. Але лікарі помилилися: Арчі Кокрейн прожив до 1988 р., раку у нього не виявилося — хірург провів операцію, не чекаючи на результати біопсії, і вирізав доброякісну пухлину.
Сьогодні ця історія скидається на анекдот, але протягом тисячоліть медицина була мистецтвом, а не наукою. Дослідження щодо ефективності застосовуваних методів не проводилися (якщо людина вижила після пускання крові — значить, лікування допомогло, якщо померла — лікування ні до чого). Сьогодні рандомізовані контрольні випробування – стандарт.
2.2. Інтуїція та розрахунок
Так, на операційний стіл Кокрейн ліг без очікування результатів аналізів, хоча вже на той момент був переконаним прихильником доказової медицини. Як так?
Людина має дві системи прийняття рішень. Перша не замислюючись видає відповідь, другий потрібен час. У частині справ, якщо ми маємо мегатонни досвіду «дія — зворотний зв’язок», то ефективні рішення можуть бути прийняті першою системою (наприклад, досвідчена медсестра бачить, що дитина хворіє).
Докладніше у книзі Д. Канемана «Думай повільно… Вирішуй швидко». Або читайте наше саммарі .
Але в галузі політики та економіки ефективна лише друга система, оскільки швидкий зворотний зв’язок відсутній (згадаймо скоєні Брейвіком у Норвегії теракти у 2011 р. і ті помилкові інтерпретації, які циркулювали у ЗМІ у перші години).
Складність у тому, що людина лінується замислюватися і включати другу систему. Також людина без проблем наводить аргументи на користь будь-якої абсурдної, але висунутої власної системою номер один ідеї. І вона починає здаватися вже не такою абсурдною.
Сьогоднішнє прогнозування багато в чому скидається на медицину ХІХ ст., яка базувалася на першій системі. Методологія проекту “Тверезий розрахунок” виправляє це.
3. Вважаємо окуляри
3.1. Що саме ви мали на увазі?
Якщо ви читали прогнози, то знаєте — вони дуже відносні («швидше за все», «в найближчому майбутньому» тощо), сповнені «якщо збудеться А, то станеться Б» або написані за сценарним підходом («ми розглядаємо три варіанти розвитку подій…»). Через це керівники часом приймають невірні рішення та помилково оцінюють ситуацію (приклади: Карибська криза — експерти США були впевнені, що СРСР не розмістить ракет; наприкінці 1980-х ніхто не вірив у можливість розпаду СРСР). У 1960-ті роки один із аналітиків ЦРУ пропонував запровадити кількісну шкалу для опису ймовірності, але на той момент його не підтримали.
У проекті «Тверезий розрахунок» ймовірність події виражається у відсотках , також обов’язковий тимчасовий обрій.
3.2. Хто найкраща ворожка?
Прогнози учасників проекту оцінювалися на основі показника Брієра: якщо прогноз у яблучко — показник Брієра 0, якщо ймовірність була вказана як 50% — показник Брієра буде 0,5, а якщо передбачалося, що збудеться 100%, а воно не збулося — показник Брієра 2 Асиметрія показника призводить до того, що успіх не допоможе експерту отримати хорошу оцінку за підсумками численних раундів, якщо він не розуміє трендів, що лежать в основі подій.
Що означає, якщо експерт передбачає 60-відсоткову ймовірність настання події? Подія може й не здійснитись — 40% ймовірності. Експерт буде якісним прогнозистом, якщо події, ймовірність настання яких він позначив як 60%, відбуватимуться у 60% випадків.
3.3. Їжаки та лисиці
У 1953 р. англійський філософ Ісайя Берлін опублікував есе «Їжак і лисиця», в якому розглядалися аргументи на користь висловлювання давньогрецького поета Архілоха « Лис знає багато секретів, а їжак — один, але найголовніший ». Цю аналогію Тетлок використав при аналізі результатів свого першого дослідження (1984–2004): хоча середній показник точності експертних прогнозів наближався до мавпи, що кидає дротики, експерти-лисиці вгадували майбутнє набагато краще за експертів-їжаків. Оскільки лисиці були менш зашорені, знали лише трохи. А їжаки були зациклені на одній великій ідеї . До речі, у ток-шоу більшою глядацькою симпатією користуються їжаки, адже вони поводяться дуже самовпевнено, з піною біля рота відстоюють одну думку, нерідко банальну, але зрозумілу масам.
Лисиці отримують бонус через той самий ефект, який був описаний у роботі Джеймса Шуров’єскі «Мудрість натовпу» (якщо вирахувати середню думку більшості — вона буде близька до правди): лисиці агрегують різні точки зору у своїй голові і виводять середній показник . Також лисицям потрібне розуміння того, як ситуацію оцінюють інші гравці для більш вірного прогнозу.
Висновок: добрий прогнозист – лисиця.
4. Суперпровісники
4.1. Передісторія проекту
У 2006 р. у США було створено Агентство передових досліджень у сфері розвідки (IARPA) як реакцію на помилкову оцінку наявності хімічної зброї в Іраку кількома роками раніше. IARPA у 2010 р. запустила проект з оцінки прогнозів. Проект передбачав квазізмагання для топ-аналітиків та експертів між собою та з контрольними групами. Однією з таких контрольних груп став проект «Тверезий розрахунок». Дослідникам «Тверезого розрахунку» було надано повну свободу, вони могли дробити учасників на підгрупи з різними умовами (на 3-й та 4-й рік проекту учасники були поділені на групи, які змагалися між собою).
Правила: учасники могли коригувати свої прогнози до дедлайну, уточнюючи їх у міру надходження інформації.
До суперпровісників увійшли близько 2% учасників (показник Брієра близько 0,2), якість передбачень підвищувалася з кожним роком програми, також збільшувався розрив між ними та іншими провісниками.
4.2. Може, це удача?
Ні, суперпровісники мали майстерність.
Різницю між майстерністю та удачею демонструє наступний приклад. Якщо кілька тисяч людей дадуть відповідь на запитання «Орел чи решка?» 104 рази поспіль (саме стільки питань було в перший рік проекту), то серед них будуть ті, хто практично завжди правильно вгадував. Якщо відібрати останніх та провести експеримент ще раз лише серед них, то навряд чи вони зможуть повторити результат. Так само як і за першого етапу експерименту, результати учасників розподіляться вздовж кривої Гауса. Це ефект успіху.
Суперпровісники ж ставали кращими на другому і третьому році проекту (щоправда, щороку 30% учасників вибували з кращих 2%, але 70%, що залишилися, зберігали свій рівень).
5. Суперпровісник – суперрозумний?
5.1. Трохи краще, ніж вище середнього
Усі учасники проекту «Тверезий розрахунок» пройшли попереднє тестування. Їх IQ та загальноосвітній рівень був вищим, ніж у 70% населення. Тоді як у суперпровісників вище, ніж у 80% населення. Це незначна різниця.
Суперпровісники мали добру освіту (деякі PhD), багато читали, цікавилися подіями, але загалом не виділялися і натомість звичайних інтелігентних людей. Єдина відмінність: вони були готові витрачати свій час, щоб розуміти питання внутрішньої політики африканських країн за один подарунковий сертифікат у 250 доларів на рік, який можна витратити на книги в Amazon.
Відмінний чинник: суперпровісники відкриті всьому новому та допитливі.
Соціологи та психологи активно досліджують цей напрям. Також існують тести, покликані визначити, наскільки людина зациклена чи, навпаки, відкрита всьому новому. Один із розробників таких тестів – Jonathan Baron (концепція Active open-mindedness, AOM).
5.2. Метод Фермі завжди доречний
Принцип розкладання питання на підпункти/підпитання для оцінки кожного з них окремо і в результаті відповіді на поставлене запитання — важлива навичка для успішного прогнозування. Такий принцип прийнято називати методом Фермі.
Відомий приклад – розрахунок кількості налаштувачів піаніно в Чикаго .
5.3. Через дерева лісу не видно
Успішний прогнозист знає, що важливо не потонути у деталях та бачити картину у загальному контексті.
Наприклад, при питанні “Яка ймовірність, що сім’я N тримає собаку?” питання національності, кількості дітей тощо другорядні (дерева). Набагато важливіше знати, який відсоток сімей у принципі в цьому регіоні має чотирилапого друга (ліс). Потім, аналізуючи конкретні дерева, можна уточнити відхилення прогнозу на одну чи іншу сторону від лісу.
5.4. Як аналізувати дерева
Після аналізу загальної картини (лісу) потрібно переходити до аналізу окремих чинників (дерев). Але щоб не заблукати в них, необхідно слідувати методу Фермі, тобто чітко знати, відповіді на які питання слід дати, аналізуючи дерева.
5.5. Що далі?
Спочатку треба синтезувати, дійти до узагальненого та детального погляду. Але це лише початок аналізу.
Наступний крок: подивитися з різних точок зору питанням (можна поговорити з колегами, відкласти питання на тиждень-другий чи перефразувати питання з «Чому це станеться?» на «Чому це може статися?»).
Таким чином, хороший прогнозист — той, хто любить вирази «з одного боку…», «але водночас…», «з іншого боку…», «а якщо врахувати цей чинник…». Це вимагає не лише цікавості та відкритості всьому новому, а й свідомого розширення свого горизонту (наприклад, суперпровісники спеціально читали ЗМІ, блогерів тощо, чий погляд на світ вони не поділяли).
6. Суперпровісник – математичний геній?
6.1. Математичне мислення, а не формули
Хоча серед суперпровісників багато хто володіє вищою математикою (і навіть часом застосовували її в ході проекту), математичні навички як такі не важливі. Важливе розуміння імовірнісних величин і звичка мислити у ймовірнісних категоріях. Ніщо не точно і ніщо не зумовлено. Тому усвідомлення тонких відмінностей між 20-відсотковою ймовірністю та 24-відсотковою ймовірністю важливо. Також важливим є розуміння, що і в тому, і в іншому випадку існує ймовірність зворотного (80% і 76% відповідно).
Суперпровісники мають навичку усвідомлення тонких відмінностей. Це показало зіставлення точності прогнозів тих, хто віддавав перевагу круглим числам (20%, 30% тощо), і тим, хто намагався відобразити більше нюансів (23%, 37% тощо). Другі передбачали точніше.
Така широта нюансів у прогнозах нетипова навіть для спецслужб. Наприклад, Національна рада з розвідки використовує два варіанти шкал (п’ять чи сім значень).
6.2. Різниця між «Чому?» і як?”
Імовірнісне мислення схильне при аналізі подій, що вже відбулися, ставити питання «Як?», а не «Чому?». Останній («Чому?») швидше властивий тим, хто вірить у призначення, долю, рок і неминучість (ми створені один для одного і мали зустрітися). Тоді як питання “Як?” розглядає подію з погляду ймовірності — зустріч із моєю майбутньою дружиною/чоловіком була малоймовірна о п’ятій годині ранку в парку в четвер, але вона все ж таки відбулася. Те, що відбувається, підпорядковується не року, а ймовірності.
7. Суперпровісники тільки й роблять, що читають ЗМІ?
7.1. Читай, але не довіряй всьому
Суперпровісники читають новини, стежать за розвитком подій (встановлюючи оповіщення), уточнюють свої прогнози відповідно до них. Однак і перший прогноз (без урахування наступних уточнень) суперпровісників був точнішим на 50%, ніж інших учасників проекту.
Така пильна увага до подій криє в собі небезпека надто довіриться вражаючій новині (і завищити ймовірність) або, навпаки, не відреагувати повною мірою (і занизити).
7.2. Знай себе
Суперпровісники починали помилятися, завищуючи чи занижуючи ймовірність тоді, коли відмовлялися від своєї лисячої натури і перетворювалися на їжаків.
Наприклад, у випадку з відвідуванням прем’єр-міністром Японії Сіндзо Абе в 2013 р. храму Ясукуні (храм зведений як пам’ять загиблим воїнам, у тому числі і тим, хто чинив злочини в Китаї та Південній Кореї, тому його відвідування прем’єр-міністром розглядалося як міжнародний скандал) один із суперпровісників помилився, прогнозуючи, що Сіндзо Абе відмовиться. При цьому він виходив із того, що така дія серйозно зіпсує репутацію та суперечить правилам поведінки прем’єр-міністрів Японії. Але не врахував у своїй особистості Сіндзо Абе.
Така поведінка властива всім. При судженні про якусь подію важко відмовитися від власного світогляду, стереотипів, етичних цінностей тощо.
Саме тому часом експерти, які мають лише поверхове знання даного конкретного питання, краще справляються із завданням прогнозування розвитку подій, адже вони не мають чіткого уявлення «як це було завжди».
Деякі суперпровісники незначно коригували свій прогноз відповідно до кожного шматочка нової інформації (+3 відс. пункту, -1 відс. пункт тощо). Така поведінка відповідає логіці, яка стоїть за теоремою Байєса.
З Вікіпедії «Теорема Байєса (або формула Байєса) — одна з основних теорем елементарної теорії ймовірностей, яка дозволяє визначити ймовірність будь-якої події за умови, що сталася інша статистично взаємозалежна з нею подія. Іншими словами, за формулою Байєса можна більш точно перерахувати ймовірність, врахувавши як раніше відому інформацію, так і дані нових спостережень. Формула Байєса може бути виведена з основних аксіом теорії ймовірностей, зокрема умовної ймовірності. Особливість теореми Байєса полягає в тому, що для її практичного застосування потрібна велика кількість розрахунків, обчислень, тому байєсовські оцінки почали активно використовувати лише після революції у комп’ютерних та мережевих технологіях».
8. Perpetual beta: безперервне підвищення якості
8.1. Образ мислення
Суперпровісники мають «рухливий» спосіб мислення, вони впевнені, що можуть стати краще, чогось навчиться, врахувати свої помилки.
Про різницю між «рухомим» і «застиглим» мисленням писала Керол Двек. Її виступ на TED (10 хвилин), короткий саммарі її гучної книги .
8.2. Пробувати, падати, вставати та йти далі
Для освоєння будь-якої навички потрібна практика. Надважливо вчитися на власних помилках. При прогнозуванні політичних та економічних подій це складно, оскільки зворотний зв’язок відкладений у часі, експерти нерідко забувають свої прогнози. А озираючись назад, ми завжди хочемо прикрасити свої досягнення та зменшити програші.
У 1988 р. Тетлок проводив опитування експертів про можливість розпаду СРСР. У 1992–1993 роках. він попросив експертів згадати свої оцінки п’ятирічної давності: у середньому експерти на 31 процентний пункт завищували свої оцінки (наприклад, той, хто говорив, що ймовірність розпаду СРСР — 10%, «згадував», що оцінював 40–50%).
Тому суперпровісники нерідко записували причини, з яких вони зробили той чи інший прогноз. Оскільки, якщо основу вірного прогнозу лежала неправильна посилка, цьому можна навчитися.
8.3. Не давати закрутити собі голову
Це ще одна важлива якість суперпровісників: успіх – не привід розслаблятися. Хоча роль удачі заперечувати не можна, прогнозування вимагає тверезого підходу.
9. Суперкоманди
9.1. Небезпеки групового мислення
Прийняття правильного рішення групи ще складніше. Це показали рішення уряду США, що передували Карибській кризі: страх конфлікту, а також відгородження від точок зору поза групою (ми всі так думаємо, тобто це правильно).
9.2. Експеримент
Незважаючи на небезпеку групового мислення, з самого початку проекту було ухвалено рішення про тестування ефективності груп. Тим учасникам, які мали працювати в групі, дослідники видали інформацію про те, які небезпеки криються в груповій роботі, а також про можливості їх уникнути. Адже в реальному житті експерти рідко роблять прогнози без обговорення з колегами, також і взаємодія у групі давала можливість обмінюватися інформацією та точками зору (це плюс групового формату).
Перший рік показав: групи на 23% успішніші . Пізніше було створено групи із суперпровісників (дюжина чоловік у кожній, спілкувалися через інтернет). Вони виявилися дуже успішними, але груповий формат вимагає освоїти правильний формат обговорення, який не ображав би колег, але дозволяв критикувати, а також ділитися інформацією.
10. Дилема лідера
10.1. Що робити керівникові?
Хороший керівник має бути добрим прогнозистом. Але може здатися, що якості суперпрогнозистів несумісні з рішучістю, яка потрібна керівнику для управління колективом.
10.2. Суперечності немає: армія доводить
Відсутність протиріччя ілюструється незвичайним прикладом прусського генерала-фельдмаршала Хельмута фон Мольтке, який злегка шокує. Саме його бачення військової стратегії та організації армії використовувалося німцями під час Другої світової війни. Приклад покликаний показати ступінь неупередженості, який повинен мати суперпровісник.
Що хорошого в ідеях Мольтці?
– Культура суперечки під час обговорення підтримувалася (звідси й гуманітарна освіта у військових високих чинів), але після ухвалення рішення вона більше не обговорювалася і була обов’язковою до виконання.
– Впевненість, що будь-який план розіб’ється на реальність, тому керівництво повідомляло низовий склад мети, а форматом їх досягнення була імпровізація керівників на місцях.
Сьогодні цю логіку запозичує багато армій, а також бізнес.
11. А вони реально такі суперкласні?
11.1. Дві складності
Результати проекту «Тверезий розрахунок» обнадійливі. Звісно, тут є свої складнощі. Перша: ніхто не знає, як довго суперпровісники зможуть справлятися зі спокусою когнітивних ілюзій та приймати продумані рішення на основі другої системи. Друга: роль “чорних лебедів” в історії. Безперечно, чи зможуть суперпровісники передбачати «чорних лебедів». Поки ж суперпровісники успішно справляються з прогнозуванням наступних подій (а з ними все ж таки пов’язані й нові «чорні лебеді»).
Концепцію «чорних лебедів» запропонував Насім Талеб. Саме неповторні поодинокі події часом виступають поворотними моментами в історії. Саммарі «Чорний лебідь. Під знаком непередбачуваності» можна прочитати в бібліотеці Smart Reading .
11.2. Що із довгостроковою перспективою?
Якісні передбачення на тривалий період неможливі . Але багато прогнозів публікується і з великим горизонтом. Справа в тому, що люди прагнуть стабільності, і прогнози дають це почуття . Але насправді слід готуватися до невизначеності (і частково цю невизначеність можна враховувати, як при будівництві будинків у Японії: коли буде землетрус, ніхто не знає, але рано чи пізно він станеться, і до нього готуються).
Висновок
Людина прагне стабільності. Прогнози дають це почуття, але якісні прогнози можливі лише на короткострокову перспективу (рік), більш тривалі служать іншим, нерідко політичним цілям.
Підзвітність – ключ до підвищення якості прогнозування. Імовірність події повинна виражатися у відсотках (слово «можливо» має як мінімум сотню відтінків, і їх слід розрізняти), а причини, за якими присвоєно ймовірність, документуватиметься для подальшого аналізу. Якість прогнозів залежить від майстерності, а чи не від удачі.
Гарний прогнозист — лисиця. «Лис знає багато секретів, а їжак — один, але найголовніший». Лисиця незашорена, знає всього потроху, вміє агрегувати різні точки зору та виводити середнє на їх основі. Лисиця допитлива і відкрита всьому новому (читає навіть те, що не відповідає її світогляду).
Свою думку прогнозист сприймає як набір гіпотез, які слід тестувати. Він пам’ятає, що свій спосіб мислення необхідно перевіряти на предмет когнітивних ілюзій та впливу емоцій, а також переглядати свою точку зору, коли змінюються факти. Оскільки знає, що помилки щодо завищення чи заниження ймовірності пов’язані з тим, що іноді мислення перестає бути «рухомим» і перетворюється на «застигло» — коли прогнозист уподібнюється до одержимої однієї ідей їжака. Хороший прогнозист схильний до самоаналізу, самокритичний і робить прогнозів, ґрунтуючись на імпульсивної першої системі мислення, — лише з аналітичної і спокійної другої системі.
Прогнозист вміє розкладати питання підпункти/підпитання (метод Фермі) з метою оцінки кожного їх окремо, й у результаті відповідає поставлений. Він знає, що важливо не потонути в деталях та бачити картину у загальному контексті (бачити за деревами ліс). Суперпровісник трохи коригує свій прогноз відповідно до кожного шматочка нової інформації, адже він відчуває тонкі відмінності. Він уміє змінювати перспективу погляду проблему. Те, що відбувається, підпорядковується не року, а ймовірності.
Група хороших прогнозистів сильніша за окремих експертів. Але прийняття правильного рішення групи складніше через когнітивних особливостей. Група повинна мати таке ж «гнучке» мислення, бути відкритою новому, в тому числі ідеям, що суперечать думці «більшості» всередині групи.
Керівник може поєднувати в собі риси доброго прогнозиста і рішучого керівника, допускаючи та вітаючи обговорення та аналіз з різних точок зору до прийняття рішення, але безумовно і без дискусій — з поправкою на реальність — дотримуючись прийнятого рішення. Жоден план не витримує зіткнення із реальністю.