Вступ
Книга Даррелла Хаффа «Як брехати за допомогою статистики» вперше вийшла 1954 року. З того часу наука суттєво просунулась уперед. Проте «великі дані» та обчислювальні машини мало що змінили у відносинах пересічного клієнта — виборця, споживача, людини, яка намагається вибрати безпечні продукти, ефективні ліки, відповідальний уряд — із тими цифрами, які, немов кролика з капелюха, виймають перед ним ЗМІ, піарники та політики. Ми щоразу і піддаємося переконливості цифр (адже це не слова, «цифри не брешуть»), і боїмося попастися, і трапляємося, звичайно ж — поки не прочитаємо цю книгу.
Даррелл Хафф не просто викриває маніпуляції з цифрами: він вибрав найцікавіший для читача спосіб оповіді: пропонує нам пограти за обидві сторони, виступити і в ролі клієнта, якого намагаються обдурити, і в ролі хитромудрого брехуна. Ми самі мацаємо кожен кейс, прикидаємо, як би половче подати інформацію і, начебто не збрехаючи в цифрах, надати пересічному товару привабливість або створити ілюзію, ніби за нашого кандидата голосують «все». У результаті ми з’ясовуємо, як робиться фокус, де ховаються мотузочки і куди дивитися, які запитувати, щоб з нами цей номер не пройшов.
Таке поєднання наочності та захопливості, навіть азарту — найкраще пояснення, чому книга Даррелла Хаффа продовжує перевидаватися, купуватись (мільйонними тиражами, але це теж «статистика»), перекладатися: кілька років тому — російською мовою, а цього року китайською.
Автор передмови до російського видання справедливо зауважує, що знайомство з основами статистики необхідне будь-якій людині, в тому числі гуманітарію, яка вважає, що вона не розуміється на цифрах. Розбирається чи не розуміється, але з цифрами ми стикаємося щодня — у газетних статтях про зростання злочинності чи промисловості, у рекламних брошурах, які обіцяють «ефективність більше на 26%», у медичних брошурах, які доводять «зниження ризику захворюваності на 31%», у школі , де нам повідомляють, що дитина потрапила до такої-то процентиль. Людина, не здатна поставити необхідні питання і з’ясувати, наскільки точна і значуща ця статистика, безпорадна.
І давно настав час переглянути уявлення про статистику як про спеціальну дисципліну, доступну лише людям з математичним складом розуму. Так, статистика складається з цифр, але ці цифри описують те, що нам ближче — поведінка людини та її ставлення до ключових проблем життя.
1. Викрутаси вибірки
1.1. Найчастіше статистичні висновки робляться на підставі вибірки : відомості, отримані про представників певної групи, екстраполюються на всю групу, тому помилки або навмисне спотворення статистики починаються з невірної вибірки . Насамперед вибірка може бути замала.
Нам відомо, що у мішку лежить тисяча кульок різних кольорів. Виймаємо п’ять кульок, бачимо 3 білих, 1 синій та 1 червоний і робимо висновок: у мішку 60% білих кульок, 20% синіх та 20% червоних. Насправді частка білих кульок набагато нижча, а зі 100 зелених нам не трапилося жодної. Щоб судити про вміст мішка, потрібно взяти набагато більше кульок (наприклад, 50). Помилки все одно можливі, але ймовірність їх суттєво знижується.
1.2. В ідеалі вибірка має бути цілком довільною, щоб усі елементи групи, що вивчається, мали рівні шанси потрапити до неї. Однак таке можливе лише для однакових елементів (кульок), а в реальному житті задовольняються стратифікованою вибіркою, що представляє всі верстви населення та ситуації.
Якщо потрібно дізнатися, як підвищилися ціни на продовольчі товари порівняно з минулим роком, у вибірці мають бути пропорційно представлені торгові мережі, великі магазини, лавочки та ринки великих, середніх та малих міст, сіл та важкодоступних місць усіх регіонів країни. Пропорційно мають бути представлені і продукти: не можна судити про зміни вартості продовольчого кошика по невеликій групі товарів нішевого споживання.
1.3. Один із основних видів вибірки , результати якого найчастіше лягають в основу популярних соціальних досліджень, прогнозів та реклами — опитування . При цьому можливі такі «викрутаси вибірки»:
• Опитування невеликої і тому нерепрезентативної кількості людей.
Звичайне явище в тележурналістиці: репортер передає мікрофон трьом–п’ятьом перехожим, і у глядача складається відчуття, ніби «всі жителі міста» думають саме так.
• У вибірці нерівномірно представлені різні групи людей.
Наприклад, потрібно з’ясувати думку студентів про підготовку реформи освіти. Щоб далеко не ходити, опитуючий обмежується студентами зі свого міста або залучає до опитування молодь зі знайомих сімей.
• Однією з типових помилок є зрушення у бік благополучних людей.
Ця помилка виникає часом мимоволі завдяки засобам зв’язку, що використовуються під час опитування. Хафф наводить знаменитий випадок, коли одна і та ж група респондентів, яка точно передбачила в 1948 році перемогу на президентських виборах, в 1952 році так само дружно дала невірний прогноз. З’ясувалося, що опитування проводилося по телефону, а телефони тоді мали заможні люди, багатство яких робило їх прихильниками певної партії. У сучасній ситуації такі спотворення дає опитування в інтернеті (далеко не у всіх громадян є інтернет), тим більше у конкретній соцмережі. Але й при вуличному опитуванні інтерв’юер охочіше підійде до чисто одягненої, привітної на вигляд людини — і знову-таки отримає більше «благополучних» відповідей.
• Особистість інтерв’юера також впливає на результати опитування.
У лікарні проводиться опитування з метою з’ясувати, чи задоволені працівники умовами праці та зарплати. Відповіді сильно залежать від того, кого співробітники бачать у запитувачі:
• представника адміністрації;
• представника «хорошої» профспілки;
• представника «поганої» профспілки;
• людину з міністерства охорони здоров’я, яка наведе порядок;
• людину з міністерства охорони здоров’я, яка закриє лікарню;
• “жовтого” журналіста;
• чесного журналіста та свою останню надію.
• При опитуваннях важливо робити поправку на бажання людини відповідати уявленням про норми (часто навіювані тією ж статистикою).
Видавництво, яке випускало як розважальні, так і науково-популярні журнали, вирішило провести опитування, щоб з’ясувати, які групи населення яких журналів виявляють більший інтерес. За результатами опитування виходило, що читачів науково-популярних журналів у рази більше, ніж тих, хто цікавиться глянцем. Проте тиражі свідчили про протилежну тенденцію. Тобто люди воліли не згадувати про легковажне читання і перебільшували своє знайомство з розумними журналами.
1.4. Досить часто непрезентативної вибірці, що відображає погляди вузької групи людей, приписується перевага саме тому, що це «думка фахівців». Однак думка фахівців важлива лише в їхній спеціальній галузі.
Наприклад, рекламуючи певний сорт ковбаси, можна зазначити, що віддають перевагу лікарям. Але оскільки більшість лікарів не мають відношення до лабораторних аналізів, санітарної перевірки продуктів чи дієтології, їхня думка не повинна мати переваги перед думкою інших споживачів.
Отже, придивляючись до статистики на основі вибірки, слід насамперед поставити питання про репрезентативність вибірки, потім перевірити всі можливі джерела упередженості та необ’єктивності і нарешті уточнити, наскільки релевантні дані саме по цій групі особисто для вас і чи немає підміни понять (думка фахівця в іншій галузі видається за авторитетну думку з цього питання).
2. Середнє та порівняльне
2.1. «Середнє» і особливо «середньостатистичне» — середня зарплата по країні, середньостатистична сім’я, «середньостатистичний результат» — одне з найпоширеніших (статистично) понять як у науковій та науково-популярній літературі, так і в журналістиці та рекламі. Це має солідний вигляд: щоб отримати «середнє», потрібно зібрати масив даних і прорахувати його. Тим не менш, і тут є нюанси.
2.2. Насамперед потрібно врахувати, що «середніх» є як мінімум три види.
• «Середнє арифметичне» виходить шляхом складання всіх результатів, після чого сума поділяється на кількість доданків.
Начальник проекту отримує сто доларів, два помічники – по 50, 3 спеціалісти – по 33, 5 різноробочих – по 2 долари. Середнє арифметичне: 100+2х50+3х33+5х10 (разом 309) поділити на 11 осіб = 28 доларів.
• Середня медіана, або просто медіана, знаходиться в середині числового ряду. Щоб знайти його, напишіть у ряд усі цифри (стільки разів, скільки вони зустрічаються) і знайдіть, що стоїть посередині.
2, 2, 2, 2, 2, 33, 33, 33, 50, 50, 100. Медіана – 33 долари.
• Мода — значення, яке зустрічається в числовому ряду найчастіше.
У цьому випадку це найнижчий заробіток — 2 долари.
2.2.1. Під виглядом «середньої зарплати» нам зазвичай подають середньоарифметичну чи медіану (28 доларів чи 33), хоча профспілка зі свого боку скаже, що «середньостатистичний працівник» отримує лише два долари — і теж матиме рацію.
2.3. І, зрозуміло, треба пам’ятати, що заробітки можуть розраховуватися різними способами — з урахуванням бонусів, премій, соціальних виплат — або лише «базові». І якщо це не обумовлено дуже чітко, значить, вас намагаються надути.
2.4. Найчастіше озвучується саме середнє арифметичне, а слухачі помилково сприймають його як моду, тобто найбільш часто зустрічається і близьке «до норми» значення. Схильність плутати середнє арифметичне («середньостатистичне») та моду призводить і до завищених очікувань (людина влаштовується на роботу, розраховуючи на «середню» зарплату в 28 тисяч, а отримує дві), і до помилок планування через неправильне уявлення про «середнє» клієнта.
Оскільки середньостатистична родина складається з 4 осіб, в американських містах було збудовано велику кількість недорогого житла з розрахунком саме на такий склад сім’ї. Виявилося, сім’я з 4 осіб становить менше 40% від загальної кількості сімей, а інші або нечисленніші, або, навпаки, багатодітні, причому й тим, і іншим стандартне житло не підходить.
2.5. Дуже ефектний прийом – порівняння. Усім нам хочеться кращого, і коли пропонується зубна паста «на 28%, що ефективніше відбілює зуби» або соковитискач, що обіцяє «на 32% більше соку», то така перевага (у поєднанні з точно обчисленими відсотками) — чудовий рекламний прийом. Ось тільки в порівнянні з чим ця паста ефективніша і соковитискач соковитискач?
Дуже часто в рекламі новий кухонний прилад порівнюється не з товарами-конкурентами, а з більш примітивними старими агрегатами (або навіть з результатом, який ви отримали б, якби виконували ту ж роботу руками).
А вже як можна заміряти 28% поповнення білизни? У таких випадках, коли можлива лише якісна оцінка, точні цифри мають переконувати, а насторожувати.
3. Грандіозні графіки
3.1. Якщо цифри переконливі, то наочне їхнє уявлення — графіки та діаграми — переконливі подвійно. Отож, я на власні очі бачу стрімке зростання акцій. Але є деякі хитрощі, за допомогою яких не надто виразні цифри стають на графіку «стрімким зростанням».
Найпростіший і найчастіше вживаний спосіб – відрізати нижню частину графіка. Тоді зростання на кілька відсотків перетвориться на зростання «з нуля».
Допустимо, вартість акцій зросла з $50 до $55. На чесному графіку це виглядає так:
А тепер відріжемо нижню частину графіка, і зростання здасться куди суттєвіше:
Можна також укоротити лінію, на якій представлений час, замінивши дрібніші поділи на більші, і тоді зростання «прискориться».
Замінимо на нашому графіку місяці кварталами:
А розподіли на осі ординат, де відбиваються прибутки, навпаки, зробити більш дробовими:
Відбиватимемо на нашому графіку не 5 доларів, а один:
3.2. Наочні картинки також піддаються махінаціям. Оскільки картинки плоскі, співвідношення між величинами, що порівнюються, повинно відповідати співвідношенню між площами картинок.
Щоб показати, що зарплата лікарів збільшилася вдвічі, треба було б намалювати два грошові мішки, один з яких за площею вдвічі більший за інший.
Але щоб справити сильніше враження, другу картинку збільшують і заввишки, і завширшки (тобто її площа стає вчетверо більше), а можна ще тінню натякнути на об’єм, який вже у вісім разів більший за попередній.
Другий грошовий мішок здається у вісім разів більшим, тому що його збільшили вдвічі і по ширині, і по висоті, і, як здається, він став ще й удвічі товщі.
3.2.1. Додатково посилити враження можна, пофарбувавши «хорошу» картинку яскравішими фарбами, намалювавши на ній привабливі символи.
Другий грошовий мішок фарбуємо у золотий колір, а перший залишається сірим.
3.2.2. Якщо як наочні картинки використовуються фігури і обличчя людей, поліпшення підкреслюється бадьорими жестами та посмішками.
3.3. Основа порівняння — як у графіках і діаграмах, і у статистиці, вираженої числами — може використовуватися для махінацій . Якщо кажуть, що ми стали жити набагато краще, ніж стільки років тому, має сенс уточнити:
• що взято за точку відліку;
• наскільки змінилися за цей час умови у світі;
• за якими параметрами проводиться порівняння та наскільки воно релевантне.
3.3.1. Неправильно обрана точка відліку – ще один поширений фокус.
Раз у раз нам повідомляють, що якась хвороба діагностується тепер у багато разів частіше, ніж двадцять років тому. Але цілком можливо, що справа не в погіршенні клімату, небезпечних консервантах чи виродженні, а в тому, що двадцять років тому цю хворобу вміли діагностувати лише за сукупністю яскраво виражених симптомів, а зараз виявляють і в латентному вигляді, і на ранніх етапах.
3.3.2. Не враховуються паралельні зміни в інших компаніях чи інших країнах.
У СРСР усі досягнення промисловості та сільського господарства порівнювалися з 1913 роком. Виглядає чесно: останній довоєнний рік, найвища точка розвитку царської Росії. Але чого варте зростання виробництва автомобілів у 100 разів, якщо одночасно в США кількість автомобілів, що випускаються, зростає в 2000 разів?
3.3.3. Щоб продемонструвати успіх, порівняння вибираються хороші показники, а менш сприятливі замовчуються.
Так, радянська статистика показувала величезне зростання виплавки чавуну та сталі, не враховуючи відставання за новими матеріалами та сплавами.
3.3.4. Порівняння має проводитися за параметрами, релевантними та зрозумілими для споживача.
Зростання виробництва верстатів (також важливий пункт у радянській статистиці) нічого не говорить нам про те, чи будуть ці верстати продуктивнішими, чи дадуть вони кращу якість продукції — і навіть про те, чи потрібна їхня продукція чи зовсім застаріла.
Отже, побачивши красиву картинку чи графіку перш за все треба перевірити, чи точно він відображає цифри, а потім уточнити, наскільки чесно обрана точка відліку, порівняти ці показники з іншими (не більш ранніми, а сучасними — з виробництва, зростання вартості акцій тощо) д.), з’ясувати, чи достатньо цих даних, щоб судити про тенденції, і наскільки це релевантно і застосовно у вашому житті.
4. Підступні підступи
4.1. Одне з основних завдань маніпуляторської статистики — довести підступність, тобто взаємозв’язок двох параметрів. Найчастіші помилки та підміни:
• Через доведений факт обґрунтовується те, що не випливає безпосередньо з доведеного факту (вибудовується псевдологічний зв’язок).
Деяка речовина знищує 99% бактерій, що знаходяться в пробірці. Значить, ліки на основі цієї речовини лікують застуду. Але насправді ще треба довести:
• що ця речовина так само ефективна в організмі людини;
• що воно працюватиме у розведеній концентрації;
• що воно не завдасть шкоди пацієнтові;
• що застуда викликається саме цими бактеріями (загалом ні).
• Дві події відбуваються одночасно тому, що у них є загальна причина, а не тому, що одна причина іншого, як стверджує маніпулятор.
Якщо одночасно з підвищенням цін на проїзд підвищуються зарплати водіїв, це може бути наслідком (отримали великий прибуток та змогли підвищити зарплату), а може бути проявом загальної тенденції інфляції.
• Дві події взаємно обумовлюють одна одну, але ми не можемо з точністю відокремити причину від слідства.
Люди з високим заробітком купують надійні та прибуткові акції. Високий заробіток є причиною того, що людина може купити прибуткові акції чи прибуткові акції забезпечують високий заробіток? Це цикл причин і наслідків (а також можлива загальна причина — це людина із забезпеченої сім’ї, яка дала йому професію, передала у спадок бізнес та навчила розбиратися в акціях).
Отже, якщо вам говорять про взаємозв’язок двох явищ і радять скористатися ліками, змиритися з підвищенням цін на проїзд або купувати акції, які набувають багаті та успішні люди, завжди перевіряйте:
• чи справді цей взаємозв’язок носить причинно-наслідковий, а не випадковий, загальний чи суміжний характер;
• чи можливо екстраполювати цей взаємозв’язок на вашу ситуацію (чи вилікує вас від застуди те, що знищує бактерії у пробірці).
5. Відсотки та пропорції, або Кролики та коні
5.1. Вказуючи склад продукту, виробник воліє говорити про частки і відсотки, залежно від того, що справляє найкраще враження.
У відомому анекдоті виробник бургерів вихвалявся тим, що в його котлетах «половину складає кролик». Другу половину становила конина, проте «все чесно: на одного кролика один кінь». Ніхто б не став їсти котлети, де кроленя становить всього 5%. І навпаки: якщо сьогодні до кролятини додаються консерванти і стабілізатори смаку в пропорції 1 пакетик на 1 кролика, ніхто не скаже, що половину в котлеті складають домішки – ретельно обчисливши співвідношення ваги добавок і вага кролика, виробник бургерів напише: 2%».
5.2. Коли нам повідомляють пропорції, потрібно з’ясувати:
• як розуміються «частки» – як співвідношення за вагою (або іншим вимірним величинам) або як «один кінь і один кролик»;
• що означають застереження «не більше» або «не менше» — яка межа допустимої похибки і наскільки допускається округляти числа.
5.3. Найважливіше – те, про що замовчується.
• Якщо якийсь відсоток фахівців висловився за цей препарат, то що думають інші? Вони не мають своєї думки чи різко проти?
«27% лікарів рекомендують новий засіб!» Виглядає солідно — поки не схаменешся, що це всього лише чверть, один лікар із чотирьох, а що ж інші три? Не настільки просунуті, просто ще не чули про новий засіб — чи встигли переконатися в його непридатності?
• Ці «менше 2% домішок» — вони абсолютно нешкідливі, тож можна було б і 3%, чи давно перевищено гранично допустиму концентрацію?
І навіть коли нам повідомляють дані про забруднення повітря із зазначенням гранично допустимих концентрацій, турбує питання: як було встановлено ці гранично допустимі концентрації? Адже не труїли людей газами, щоб встановити небезпечний поріг. Значить, знову лабораторні експерименти, і невідомо, як це забруднення позначиться на нас поза пробіркою та у поєднанні з іншими факторами. І знову «середньостатистичне», а що буде з дітьми, старими, астматиками?
5.4. У сучасному світі присутність у продуктах «хімії» — один із головних пунктів обвинувачення, хоча будь-який натуральний продукт теж має якийсь хімічний склад, і він, можливо, менш чистий і менш безпечний, ніж штучний продукт (не з будь-якого джерела можна пити воду, на відміну від бутильованої води). Найчастіше, викриваючи штучність продукту, не вказують ні кількість добавок, ні ступінь їхньої шкідливості і не наводять для порівняння дані про вміст тих же домішок в інших продуктах.
Для консервації ікри застосовувався уротропін – це надійний консерватор, що дозволяє довго зберігати ікру. З’ясувалося, що при зіткненні уротропіну із шлунковою кислотою виділяється отрута – формальдегід. Уротропін заборонили використовувати у консервації. Однак викривачі не уточнювали, яка кількість уротропіну застосовуються при консервуванні. З’ясувалося, що у банані міститься стільки ж природного уротропіну, скільки додається до баночки ікри для консервації.
Отже, коли нам говорять про частки, слід уточнювати, про відсотки йдеться чи пропорції, порівнювати дані щодо одного продукту чи ситуації з іншими, з’ясовувати, які параметри є значущими, та перевіряти, що «залишилося за кадром».
Висновок
Було б нерозумно, дізнавшись про всі мимовільні помилки та злісні маніпуляції статистики, просто повернутись до неї спиною і відмовитися сприймати цифри всерйоз. Цифри – річ дуже корисна. Та й не відмахнешся від них, так чи інакше вони постають перед очима щохвилини. Якщо не контролювати жорстко своє сприйняття, швидше за все, цифри зіграють якийсь фокус із підсвідомістю.
Отже, статистикою ми не перестаємо цікавитися, навпаки, вникатимемо в неї ретельніше, ніж раніше, постійно ставлячи п’ять ключових питань.
1. Від кого виходить статистика та наскільки ця людина чи організація зацікавлені у певних висновках?
Причин зацікавленості може бути скільки завгодно: збереження своєї репутації, користь, політика. Звертаємо увагу на туманні формулювання, випинання плюсів, заміну точки відліку, мухлеж із середнім. Посилання на авторитети (експертів, знаменитості, академічні інститути) вимагають особливої уваги: чи справді наводиться пряма і до місця цитата, чи це ім’я є прикриттям?
2. Чи надійні дані?
Уточнюємо, чи досить велика та репрезентативна вибірка. Також перевіряємо, наскільки велика і наскільки розумно пояснюється кореляція.
3. Чого не вистачає?
Найчастіше не вказують розміри вибірки, і це завжди підозріло. Також необхідно з’ясувати, яке саме «середнє» мається на увазі середнє арифметичне, медіана чи мода. З’ясувати вихідну точку (якщо частина графіка відрізана). З чим проводиться порівняння і виходячи з яких параметрів. Чи не залишилися за дужками фактори змін (чи не приписується зростання продажів морозива вдалій рекламі, тоді як просто видалося на диво спекотне літо).
4. Чи не підмінено об’єкт дослідження?
Зростання зареєстрованих випадків не є зростанням випадків. Найчастіше виникає враження, начебто шириться епідемія хвороби або різко зросла злочинність, а насправді зросла занепокоєння цією проблемою. Ще одна поширена помилка – вірити на слово. Переможець опитування — це ще не переможець у президентських перегонах, і відсоток респондентів, які висловлюють інтерес до науково-популярного читання, не співпадає з часткою читачів, хто справді береться за такі журнали. У цих випадках було б точніше вказати, що певний відсоток респондентів стверджує щось — але підміна полягає в тому, що статистика представляє їх такими, що поступають точно так, як вони говорять.
5. Чи не суперечить висновок здоровому глузду та досвіду?
«Середня тривалість життя нижча за пенсійний вік, тобто ми всі помремо, не дочекавшись пенсії». Тут відбувається явна підміна поняття «середнє» і «норма», до того ж усі ми знаємо людей, які набагато старші за пенсійний вік.
У цю ж категорію потрапляють прогнозовані тенденції, коли вони вишиковуються за екстраполяцією. Якщо в першу пору появи нової техніки кількість користувачів щорічно зростає вдесятеро і таким чином за п’ять років 10 новачків перетворилися на мільйон, чи чекати нам такого ж приросту в наступні п’ять років — до ста мільярдів користувачів?
Озброєний п’ятьма питаннями читач зможе викрити статистичний обман, отримати корисну інформацію навіть з підтасовки, а якщо спробує сам зайнятися маніпуляцією, ризикує натрапити на такого ж просунутого користувача. Враховуючи кількість проданих екземплярів книги різними мовами, статистична ймовірність цього досить велика.