Вступ
Сучасну людину оточує величезне і щедре інформаційне поле. Однак коли ми стикаємося з якимись реальними проблемами, зав’язаними на необхідність «дізнатися те» і «виміряти те», то регулярно виявляється, що ми або пасуємо перед труднощами, що здаються, і поводимося так, наче подібної інформації не існує, або ж вирішуємо прикинути «на око».
При цьому ми навіть не можемо уявити собі, скільки на цьому втрачаємо грошей, часу та ресурсів, бо, щоб дізнатися про це, нам треба було виміряти те, від виміру чого ми якраз і відмовилися! Причому ця проблема існує на всіх рівнях – від дрібного приватного підприємства до найбільших державних структур.
Правда полягає в тому, що будь-яке завдання з вимірювання, яким би складним, заплутаним або погано сформульованим воно не було, піддається вирішенню тими чи іншими методами.
Більше того: навіть якщо не можна (або безглуздо) перерахувати якісь об’єкти, фінанси або, припустимо, симпатії споживачів, звівши результат до єдиної конкретної кількості, можна як мінімум зменшити інтервал розкиду — отримавши, таким чином, набагато більше визначеності в тому питанні, від якого залежить грамотне ухвалення рішення.
А ще одна сторона правди полягає в тому, що ви насправді знаєте набагато більше, ніж вам самим здається. Просто треба розуміти, як саме можна застосувати ці знання.
Про те, як дізнатися невідоме раніше і стати куди більш кваліфікованим експертом в оцінці чогось, і розповідає ця книга.
Вимірювання: рішення існує
1.1. Виміряти можна все, що завгодно, — за умови, що об’єкт, що вимірюється, фактор або явище взагалі існує. Дані виміри можна зробити економічно обґрунтованими методами. Навіть якщо такі вимірювання будуть приблизними, вони все одно дають більше інформації, ніж ви знали про цей об’єкт чи явище досі, а отже, вони можуть мати сенс.
1.2. Є два основні тлумачення слова «нематеріальне» і їх не треба змішувати. Якщо йдеться про речі, які не є тілесними, відчутними, то вони, звичайно, існують. Якщо ж слово «нематеріальний» вживається у значенні «який не піддається ніякому виміру», це неправильне тлумачення.
Приклади нематеріальних (у першому значенні) речей: час; бюджет; право власності на патент; “Гнучкість”, необхідна у створенні нових продуктів; ризик невдачі під час реалізації проекту; ефект, який нова політика держави має на здоров’я населення; ефективність наукових досліджень; вартість інформації; ймовірність того, що та чи інша політична партія переможе у боротьбі за Білий дім; якість; думка громадськості тощо.
1.3. Багато хто, вважаючи, що «нематеріальне» не піддається виміру, приймають невигідні собі рішення. Багато важливих факторів при оцінці не враховуються через те, що люди не розуміють, як цю потенційну вигоду (або потенційний збиток) підрахувати: подібний розрахунок вважається неможливим. Верх беруть слабкі, але очевидніші в оцінці пропозиції.
1.4. Щоб показати, що таке якісна робота з проведення кількісних вимірів, можна навести приклади відомих людей, які інтуїтивно вирішили подібні завдання і знайшли для цього напрочуд прості способи.
Ератосфен першим виміряв довжину кола Землі. У нього не було геодезичного обладнання чи даних із супутників, він не брав участі у навколосвітній подорожі. Але він дізнався, що дно глибокої криниці в Сієні (Південний Єгипет) повністю висвітлюється сонцем опівдні раз на рік (означає, сонце знаходиться прямо над криницею). У Олександрії ж (на північ від Сієни) у цей день вертикальні предмети відкидають тінь. Ератосфен вирішив використати цю інформацію для виміру кривизни Землі. Вважаючи, який кут утворюють південні тіні в Олександрії і знаючи відстані між двома містами, давньогрецький учений фантастично точно для свого часу визначив довжину земного кола: похибка його оцінки становила лише ±3 %, а уточнити результат Ератосфена зуміли лише наприкінці XVIII століття.
Це чудовий приклад того, як можна отримати всю можливу інформацію з відомих або легко перевірених фактів; нездійсненні ж спостереження можна замінити дотепними розрахунками.
Італійський фізик Енріко Фермі неодноразово демонстрував талант до інтуїтивних вимірів. Так, при випробуванні атомної бомби на полігоні, де Фермі разом з іншими вченими спостерігав за вибуховою хвилею, він для виміру її потужності розірвав на дрібні шматочки сторінку з блокноту та підкинув уривки у повітря. Далі він виміряв, на яку відстань були віднесені шматочки паперу і, провівши нескладні обчислення, зробив висновок, що потужність вибухової хвилі була як мінімум більше 10 кілотонн. Цікаво, що більш складна апаратура показувала лише верхню межу потужності; в результаті вона була оцінена в 18,6 кілотон. Непогана точність для кількох шматків паперу!
Швидким оцінкам всього, що тільки можна, Фермі навчав своїх студентів. Найвідоміший приклад – визначення числа налаштувачів піаніно у Чикаго. Коли студенти сказали, що у них немає для розрахунку жодних даних, Фермі попросив визначити інші показники, що мають відношення до піаніно та налагоджувачів: чисельність населення Чикаго, середня кількість осіб в одній сім’ї, відсоток сімей, які регулярно користуються послугами налаштовувачів, необхідна частота налаштування, число піаніно, що налаштовуються налаштувачем за день, та кількість робочих днів налаштувача на рік.
Навіть приблизні дані дозволяють скористатися формулою:
Число налаштовувачів піаніно в Чикаго = (Кількість населення / Число членів однієї сім’ї) x Відсоток сімей, які користуються послугами налаштувачів x Число налаштувань на рік / (Кількість піаніно, що налаштовуються одним налаштувачем за день x Число робочих днів на рік).
Відповідно, з поправками на невизначеність у тому чи іншому показнику виходив інтервал 20–200 (при тому, що правильна відповідь — близько 50 осіб).
На цьому прикладі видно:
навіть досить широкий отриманий інтервал — великий крок уперед порівняно з «неможливістю виміряти взагалі»;
– такий підхід дозволяє зрозуміти, які змінні мають найбільшу невизначеність (відсоток сімей, частота налаштувань, кількість робочих днів налаштувача або щось ще); а найбільше джерело невизначеності – пряма вказівка на те, що треба міряти насамперед, щоб максимально уточнити саме цей показник;
— завжди треба подумати, що ж ви таки знаєте про проблему, — ви напевно про неї знаєте бодай щось!
Американська дев’ятирічна школярка Емілі Роза, побачивши фільм про лікування безконтактним масажем (вплив на «енергетичні поля» пацієнта), вирішила перевірити достовірність цього методу. Вона залучила до експерименту лікарів, які практикують безконтактний масаж, і зробила таке. Лікар сидів навпроти Емілі, відокремлений від дівчинки непрозорим екраном, внизу були отвори, куди проходили руки цілителя. Емілі кидала монетку і залежно від того, чи випадав орел чи решка, поміщала свою руку над правою чи лівою руки медика. Лікар мав визначити, над якою їхньою рукою знаходиться її рука (адже якщо лікар береться лікувати, впливаючи на «енергетичне поле», він, як мінімум, повинен його відчувати). З 280 спроб правильно визначити становище руки це вдалося лише у 44 % випадків — тобто цілителі потрапили на межу нижньої межі з теорії ймовірності (44–66 %). Відповідно, ні про яке «енергетичне поле» не йдеться.
Цей приклад показує кілька речей:
— «ефемерні» фактори (якщо вони взагалі існують і мають якесь значення) повинні мати наслідки, які можна виявити;
— найпростіші методи — експеримент у контрольованих умовах, вибірка, рандомізація, випробування наосліп — ефективні і дозволяють уникнути необ’єктивності.
Більше того, подібні найпростіші експерименти здатна провести навіть дитина.
1.5. Невимірність нематеріального – це лише ілюзія. Така помилка базується на помилкових уявленнях про:
– сутності виміру (багато хто погано уявляє собі, що це таке);
— об’єкт виміру (щоб взагалі щось міряти, треба уявляти, про що йдеться; а цьому можуть перешкодити, наприклад, неточність і неоднозначність термінів);
— методи виміру (багато з них маловідомі, і люди просто не в курсі, що неабияка кількість «незмірних» речей уже кількісно оцінена).
1.6. Крім цього, існує переконання, що в ряді випадків проводити кількісну оцінку взагалі не слід. Причини, якими це доводять:
— економічні (оцінка вимагатиме надто великих витрат);
— «антистатистичні» (мовляв, «за допомогою статистики можна довести все, що завгодно», а отже, і робити це безглуздо);
– морально-етичні (оцінювати деякі речі просто аморально).
З цих трьох причин осмисленими бувають лише економічні заперечення — проте значно рідше, ніж вони висуваються.
1.7. Сутність виміру зовсім на завжди зводиться до того що, щоб одержати одну конкретну цифру . Вимірювання має видавати лише виключно точну величину. Вимір – це сукупність знижують невизначеність спостережень, результат яких виражається певною величиною.
1.8. Понад те, вимір який завжди навіть тягне у себе кількісну оцінку . Результат виміру повинен виражатися певною величиною, де невизначеність — число, а об’єкт спостереження може виражатися і якісно: наприклад, як приналежність до категорії. Ми можемо виміряти, чи отримає компанія патент, чи станеться злиття двох фірм, або якою буде стать ембріона — при цьому невпевненість у результатах становитиме певну кількість відсотків (імовірність отримання патенту — 80 %, ймовірність покращення іміджу компанії після злиття — 93 % і т.п.).
1.9. Одне з джерел помилок в оцінці — різні шкали вимірів:
– номінальні шкали застосовуються до однорідних одиниць; так що 4 камені по 1 тонні вагою у сумі дають 4 тонни;
– порядкові шкали на кшталт чотиризіркової системи оцінки кінофільмів дозволяють стверджувати, що одна величина більша за іншу; так, не можна сказати, що від перегляду чотирьох однозіркових фільмів буде стільки ж насолоди, як від перегляду одного чотиризіркового.
1.10. Перед початком виміру обов’язково необхідно сформулювати, що треба виміряти — що конкретно мають на увазі, наприклад, інформаційну безпеку, стратегічну узгодженість чи задоволеність споживачів. Для цього можна використовувати, наприклад, «ланцюжок уточнень». Адже якщо об’єкт X важливий, він повинен у чомусь проявлятися; отже, він призводить до якихось наслідків у якійсь кількості; це можна виміряти.
Точне визначення об’єкта — це вже половина виміру.
1.11. Існує багато методів вимірювання, що дозволяють працювати з різними завданнями, наприклад:
– Вимірювання при малій випадковій вибірці (наприклад, навіть від невеликої кількості споживачів або працівників ви можете дізнатися важливі речі в умовах великої невизначеності);
– Оцінка безлічі об’єктів, які не можна безпосередньо перерахувати (наприклад, чисельність тих чи інших риб в океані, рослин одного виду в джунглях, невиявлених спроб злому системи і т. д.);
– Виміри при безлічі змінних, включаючи невідомі (припустимо, при визначенні причини зростання продажів);
– Оцінка ризику настання малоймовірних подій (ймовірність падіння метеориту або повторення теракту 11 вересня 2001);
– Оцінка вартості чогось (предметів мистецтва, вільного часу, підвищення особистої безпеки …) на основі того, скільки люди готові за це заплатити.
До неочевидних методів вимірювання відноситься, наприклад, правило п’яти. Існує 93-відсоткова ймовірність того, що у будь-якій випадковій вибірці медіана для всієї сукупності знаходиться в інтервалі між найменшим та найбільшим значеннями.
Тобто якщо зробити навмання п’ять вимірів (наприклад, опитати п’ятьох співробітників компанії, скільки часу вони витрачають на дорогу додому), то з 93-відсотковою ймовірністю справжня медіана значень (те, що в середньому витрачає на дорогу співробітник) виявиться в цьому інтервалі значень ( навіть якщо у нашій компанії працює кілька тисяч осіб).
Правило п’яти демонструє, що можна уточнити дані, використовуючи надзвичайно малу вибірку.
1.12. Чотири корисні передумови вимірювання
— Ваша проблема не така унікальна, як вам здається : проблеми виміру насправді досить стандартні, і ними вже майже напевно займалися.
— У вас набагато більше інформації, ніж ви припускаєте , а необхідні вам дані хоча б частково доступні. Просто подумайте, де їх можна знайти.
— Вам потрібно менше даних, ніж ви вважаєте . Згадайте Ератосфена.
— Існує зручний спосіб виміру, який набагато простіше, ніж ви уявляєте. Перший спосіб, що вам прийшов в голову — нерідко найважчий. Виявіть винахідливість і знайдіть простіший.
1.13. Просто почніть вимірювати те, що вам потрібно . Вам необов’язково відразу досягти визначних результатів — важливіше зменшити невизначеність. Коригувати ж метод можна й у процесі вимірів.
1.14. Вимірювання не треба проводити, якщо витрати на їх проведення перевищують очікувані вигоди. Але не все потрібно вимірювати. У кожному випадку лише кілька ключових змінних мають значення. Інформаційна цінність інших дорівнює чи майже дорівнює нулю. При цьому треба пам’ятати, що в ряді випадків, коли ви ризикуєте грошима і в розрахунках, залежите від дії фактора з великою невизначеністю, то навіть невелике зниження невизначеності може окупитися.
Припустимо, ви збираєтеся витратити великі кошти на поліпшення якогось продукту — з огляду на те, що його продажі у такому разі можуть зрости на 12%. При цьому витрати окупляться лише в тому випадку, якщо обсяги продажів підвищаться не менш як на 9%. Це типовий приклад ситуації, де попередня оцінка має високу цінність. Далі справа стоїть лише за тим, щоб вибрати метод, що виправдовує витрати на вимір.
1.15. «Антистатистичні» міркування зазвичай є наслідком нерозуміння основ статистики, основ теорії ймовірності, ризику та вимірів загалом (що властиво навіть фахівцям). Так, говорячи «За допомогою статистики можна довести все, що завгодно», люди мають на увазі не статистику, а використання цифр, не зовсім «що завгодно» або не зовсім «довести». Сенс приказки – «цифрами можна спантеличити людей, особливо легковірних і тих, хто не в ладах з математикою». Але чому це має заважати вимірам?
1.16. Етичні аргументи зводяться до того що деякі виміри «антигуманны» (наприклад, виміри вартості видів тварин чи людського життя). Однак оскільки ресурси (наприклад, що виділяються на охорону навколишнього середовища) у кожному конкретному випадку обмежені, питання доцільності тих чи інших витрат завжди актуальне. Більше того, навіть якщо принципово відмовлятися від будь-яких вимірів таких делікатних речей, уникнути оцінки все одно не вдасться.
Скільки необхідно витратити зусиль на врятування життя 99-річної хворої людини — стільки ж, скільки на врятування здорової п’ятирічної дитини? Більше? Менше? Будь-яка відповідь буде наслідком того чи іншого виміру відносної вартості життя кожного з них.
2. Перш ніж приступити до вимірювань
2.1. При всій різноманітності завдань є універсальний підхід до вимірювання будь-чого. Щоб скористатися ним, треба відповісти на такі запитання:
— Що ви намагаєтеся виміряти (тобто що є об’єктом виміру)?
— Навіщо ви хочете це виміряти? Яке рішення буде ухвалено після отримання результатів вимірювання? Яким має бути «порогове значення» показника?
— Яку цінність матиме отримана інформація? До яких наслідків приведе помилка (і яка її ймовірність)? Які зусилля щодо вимірювання будуть економічно виправдані?
— Що вам відомо? Які інтервали чи ймовірності є нинішньою невизначеністю (ще до виміру)?
— Які спостереження дозволять підтвердити чи виключити ті чи інші можливості? Що саме ми повинні побачити одразу, якщо збудеться той чи інший сценарій?
— Як врахувати помилки при вимірі , яких можна уникнути?
Перші три пункти дають змогу зрозуміти, чи потрібно взагалі вимірювати те, що планується: адже якщо результати вимірювання хоч значні, то вони вплинуть на ваші рішення та лінію поведінки надалі. Якщо ж це не так — вимір не має жодної цінності і проводити його не слід.
Допустимо, ви хочете оцінити якість продукту. Спочатку треба з’ясувати, що мається на увазі під словами «якість продукту» і відповісти собі, на що вплине результат оцінки. Якщо мова про зміну виробничого процесу, то наскільки низька має бути якість продукту, щоб ви прийняли таке рішення? Якщо мова про преміювання співробітників, то за якою формулою розраховуватимуться премії?
2.2. Щоб вести виміри, потрібно вміти оперувати поняттями «невизначеність» і «ризик».
Невизначеність – існування більш ніж однієї можливості, через що справжній результат (число, стан, наслідки, вартість) невідомий. Показник невизначеності – ряд ймовірностей, що співвідносяться з низкою можливостей. Є 60% ймовірності, що ринок Х за п’ять років більш ніж подвоїться, 30% – що він зросте, але менш ніж удвічі, і 10% – що він скоротиться.
Ризик – стан невизначеності, коли до можливостей входять небажані наслідки: збитки, катастрофи і т. д. Показник ризику – ряд небажаних можливостей, що співвідносяться з кількісними ймовірностями і кількісно певним збитком. “40% ймовірності, що в свердловині не виявиться нафти, і збиток складе 12 млн доларів через витрати на розвідувальне буріння”.
2.3. Це допомагає надалі з визначенням об’єктів вимірів. Так, розпливчасте «безпека підвищилося» означає, що окремі ризики знизилися — тобто або зменшилася ймовірність настання небажаних подій, або зменшився масштаб збитків, пов’язаних з ними. Що вже можна вважати досить точно.
Наприклад, ми виокремлюємо із загального «необхідно підвищити безпеку» один конкретний момент — вірусні атаки на організацію. Використовуючи метод Фермі, ми з’ясовуємо відповіді питання:
— Як часто відбувається середня пандемічна вірусна атака?
— Скільки людей страждає від такої атаки?
— Як знижується ефективність цих людей внаслідок атаки?
— Як довго ефективність залишається зниженою?
– Які витрати від неефективності праці несе при цьому компанія?
Далі можна розрахувати, у що обходиться компанії вірусна атака, за такою формулою:
Середньорічні збитки від вірусних атак = Число атак х Середня кількість постраждалих співробітників х Середнє зниження ефективності х Середня тривалість простоїв х Річні витрати на оплату праці / 2080 годин на рік.
2.4. Щоб зрозуміти, що саме відомо про щось ще до вимірів, потрібен спосіб якось висловити це знання. Крім того, треба ще й зрозуміти, наскільки добре ми можемо висловити невизначеність. Один із способів показати це – визначити величину у вигляді інтервалу можливих значень.
Наприклад, ви не знаєте точно, скільки у вас буде клієнтів завтра, але думаєте, що договори підпишуть не менше трьох і не більше семи осіб. Якщо у вас є впевненість у цьому на 90%, то можна стверджувати, що ваш 90-відсотковий довірчий інтервал становить 3–7.
2.5. Далі треба дізнатися, наскільки добре ми суб’єктивно оцінюємо ймовірність. Для цього потрібно результати, що очікувалися раніше, порівняти із фактичними.
У суб’єктивної оцінки найчастіше спостерігаються дві крайності: надмірна та недостатня впевненість. Відповідно, при оцінці 90-відсоткового довірчого інтервалу в його межах виявляються або набагато менше за правильні відповіді, або набагато більше.
2.6. Калібрування відповідей, достовірна оцінка ймовірності – це навик, якому можна навчитися. Для початку треба визначити, чи надмірно ви впевнені у своїх припущеннях чи недостатньо. І тому існує ряд вправ, зокрема наведених у книзі.
Краще бути приблизно правим, ніж неправим.
Уоррен Баффетт
2.7. Ризик можна висловити кількісно, задавши інтервали значень невизначеності, які пов’язані з витратами та вигодами від рішення. Коли ви точно знаєте суму та терміни здійснення витрат та отримання вигод, ризик не існує. Але зазвичай про вигоди та витрати ми знаємо інтервали, а не точні параметри. p align=”justify”> Для роботи з оцінкою ризику служить моделювання методом Монте-Карло.
Для використання моделі Монте-Карло потрібні:
– калібровані фахівці (в ідеалі – сертифікацію, що пройшли);
– Добре задокументована процедура побудови моделей від вихідних оцінок;
– Єдиний набір комп’ютерних інструментів.
2.8. Парадокс ризику: навіть якщо організація застосовує кількісний аналіз ризиків, то найчастіше це робиться прийняття повсякденних, маловажливих рішень. Найсерйозніші і найнебезпечніші рішення, зазвичай, приймаються без повноцінного аналізу ризику.
Англійський теоретик менеджменту Чарлз Хенді:
«Перший рівень – міряти все, що легко піддається виміру. Цей підхід не викликає заперечень. Другий — відкинути те, що важко вимірюється, або приписати йому довільне кількісне значення — штучний шлях, що відводить убік. Третій рівень — припустити, що все важкомірне не має значення. Це страусова політика. Четвертий етап – сказати, що вимірюване важко взагалі не існує. Це самогубство».
2.9. Три основні причини цінності інформації для бізнесу:
– інформація знижує невизначеність у рішеннях, що мають економічні наслідки;
– інформація впливає на поведінку людей, що також має економічні наслідки;
— часом інформація сама по собі має ринкову вартість.
При цьому спостерігається інверсія вимірів:
— вартість інформації про переважну більшість змінних дорівнює нулю (вже існуючий рівень невизначеності їм прийнятний, подальші виміри економічно недоцільні);
— найвища вартість інформації про ті змінні, які організації зазвичай не оцінюють, та в обґрунтуванні проектів ці важливі величини не визначаються;
– вартість інформації про змінних, на чиє визначення зазвичай витрачається найбільше часу та коштів, або невелика, або дорівнює нулю (їх уточнення практично не впливає на прийняті рішення).
Відповідно, якщо ви хочете якісного покращення — зверніть увагу на змінну, яку раніше ігнорували. Це може змусити вас змінити прийняті рішення або суттєво відкоригувати їх.
Параметри різних проектів та пріоритети вимірювань, прийняті в більшості організацій (від тих, що володіють мінімальною вартістю і вимірюються найчастіше до тих, що мають максимальну вартість і що вимірюються найрідше):
– Початкові витрати (на розробку, постачання тощо);
– Довгострокові витрати (на ремонт, навчання тощо);
– Вигоди від економії, крім зростання продуктивності праці (зниження енергоспоживання, економія сировини та матеріалів, скорочення капітальних витрат тощо);
– Зростання продуктивності праці;
– Зростання доходів;
– Темп сприйняття нової технології;
— Завершення проекту (імовірність його заморожування, зміна масштабів, дата завершення тощо).
2.10. Вимір – процес не разовий, а ітеративний , тому треба розбити весь процес на кілька етапів і підбивати підсумки кожного з них. Найцінніша інформація виходить на початковому етапі вимірів.
2.11. Вартість інформації має значення. Необхідно заздалегідь визначити цю вартість — інакше неминучі помилки у вимірах .
3. Методи виміру
3.1. Практично для будь-якого виміру краще використовувати відповідні інструменти (навіть із виправленням на те, що вони завжди дають якусь похибку).
Переваги інструментів:
– Інструменти виявляють те, що ви не можете помітити;
– Інструменти більш послідовні, ніж люди (вони не покладаються на свої почуття);
— інструменти можна калібрувати для врахування помилки виміру точніше, ніж людей, і нерідко похибка інструменту можна компенсувати регулюванням;
— інструменти навмисне ігнорують усе, що спотворює результати спостереження, проведеного неозброєним оком;
– Інструменти реєструють все необхідне;
— інструменти вимірюють швидше та дешевше, ніж людина.
3.2. Щоб вибрати відповідну категорію методів вимірювання, треба поставити собі кілька запитань:
— Які складові об’єкта, що цікавить? Їх треба розкласти так, щоб за ними (з їх власними невизначеностями) оцінити ціле.
— Як цей об’єкт чи його складові вимірювалися раніше? Можливо, що люди вже стикалися з подібним завданням і вже є дослідження на цю тему.
— У чому поводяться складові об’єкта? Як їх можна спостерігати?
— Що нам потрібно знати, щоб проводити вимірювання? Треба взяти до уваги нинішній ступінь невизначеності, поріг та вартість інформації.
— Що може спричинити помилку? Як спостереження можуть ввести в оману?
— Який інструмент виміру треба вибрати?
3.3. Розкладання на складові дуже ефективне. По-перше, будь-який об’єкт обчислення є функцією інших, легших з оцінки величин (див. приклади з Ератосфеном і Фермі). Так, розкладання особливо корисно в оцінці витрат за реалізацію великого проекту чи за прогнозуванні зростання ефективності. По-друге, стає очевидним, що невизначеність вихідного значення пояснюється, як правило, незнанням 1–2 показників (з них і треба починати). По-третє, процес розкладання на складові часто дає таке серйозне зниження невизначеності, що подальші вимірювання стають непотрібними.
3.4. Будь – яке дослідження має починатися з вторинних досліджень . Ваша проблема майже, напевно, не унікальна.
Декілька порад щодо використання Інтернету для вторинних досліджень:
— Якщо предмет дослідження зовсім не знайомий, починайте з онлайнової енциклопедії Wikipedia. Навіть якщо сама стаття може бути спірною, вона містить посилання на інші сайти, там нерідко наводиться кілька точок зору тощо
. , «кореляція» та «стандартне відхилення», а також «університет», «доктор наук» та «загальнонаціональні дослідження».
— В Інтернеті є сховища спеціальної інформації. Заходьте на сайти галузевих чи наукових журналів, сайти міністерств тощо. Окремо автор рекомендує сайт ЦРУ (у World Fact Book — Всесвітній книзі фактів ЦРУ містяться найрізноманітніші дані міжнародної статистики).
— Краще використати кілька пошукових систем. Автор, крім Google, користується clusty.com та yahoo.com.
— У дослідженнях не зовсім за своєю темою, де згадується питання, яке вас цікавить, обов’язково дивіться бібліографію. Її вивчення часом найкращий спосіб знайти необхідні дані.
— Використовуйте «меш-апи» — програмні програми, що інтегрують дані з кількох джерел для представлення їх на одній сторінці: такий вид дозволяє глянути на проблему по-новому.
— Використовуйте програми-аналізатори (screen-scrapers).
— Використовуйте Інтернет для прямих опитувань споживачів, працівників.
3.5. Відстежуйте цікавий для вас об’єкт (адже якщо об’єкт взагалі існує, ви його так чи інакше спостерігаєте). Якщо не працює один метод спостереження – спробуйте інший (і намагайтеся перевірити їх усі!). Проводьте аналіз вже наявної у вас інформації. Використовуйте безпосереднє спостереження. Дивіться, підраховуйте та по можливості робіть вибіркові оцінки. Якщо об’єкт не залишає після себе слідів, позначте його, щоб побачити сліди. Якщо відстежити об’єкт не вдається, створіть умови, де з’явиться можливість спостерігати за об’єктом, – проведіть експеримент.
3.6. Чи не вимірюйте точніше, ніж вам потрібно . Вартість інформації показує, яка верхня межа витрат на проведення вимірювань; має сенс розраховувати, що виміри становитимуть приблизно 10 % від очікуваної вартості повної інформації, хоча нерідко де вони перевищують і 2 %. Якщо перші підсумки вимірів виявляються несподіваними, то витрат за продовження оцінки може бути зовсім. І не треба забувати, що початкова інформація зазвичай цінніша за наступну: вона знижує невизначеність набагато більше.
3.7. Враховуйте похибку методів вимірювання . Відрізняйте систематичні помилки (постійні, а чи не випадкові відхилення результатів одного спостереження від підсумків іншого) від випадкових (які піддаються передбаченню, але підпорядковуються певної закономірності, т. е. може бути розрахованими з допомогою теорії ймовірності). Не плутайте «достовірність» (яка відображає відтворюваність та повторюваність результатів вимірювань) та «точність» (тобто те, наскільки результат вимірювання близький до справжнього значення).
3.8. Навіть малі випадкові вибірки дають достовірніший результат, ніж великі невипадкові. Спостереження за частиною може дати вам інформацію про все.
3.9. Працюйте із наслідками. Що станеться, якщо цікавий для вас показник сильно підвищиться або помітно впаде?
3.10. Ніколи не використовуйте метод, який здатний збільшити помилку початкової оцінки (наприклад, бали – для оцінки можливостей, стратегій, інвестицій; у роботі з реальними величинами).
3.11. Уявіть, як із цим завданням працювали б інші люди: криміналіст, психолог-експериментатор, палеонтолог, бібліотекар… Зверніть увагу до їх методи виміру.
3.12. Подумайте над простим питанням, відповідь на яке може зробити подальші виміри неактуальними. Пам’ятайте про Емілі Розу, яка не намагалася оцінити, який ефект дає метод безконтактного масажу і чи є цей ефект взагалі. Такі питання можуть взагалі позбавити вас необхідності проведення складних вимірювань.
3.13. Не думайте про можливі невдачі. Просто зробити це! І вже перші результати можуть вас здивувати і значно знизити невизначеність, що вам заважає.
Структура проекту з дослідження всього, що завгодно
Етап 0. Підготовка проекту
— Попередні дослідження, зустріч аналітика із зацікавленими особами, вивчення результатів вторинних досліджень та звітів за минулі періоди.
– Підбір експертів.
– Планування засідань робочої групи: 4-6 засідань.
Етап 1. Побудова моделі ухвалення рішення
– Визначення проблеми, конкретного завдання.
— Деталізація моделі прийняття рішення, облік усіх факторів, що впливають на аналізоване рішення, та їх сукупного впливу, усіх витрат та вигод.
— Початкові калібровані оцінки: калібрування експертів та встановлення запропонованих ними значень змінних (частіше як 90-відсоткових інтервалів або інших розподілених ймовірностей) у модель прийняття рішення.
Етап 2. Попередні виміри
– Аналіз вартості інформації.
— Попередній вибір методів вимірювання та їх застосування.
— Удосконалення моделі ухвалення рішення. Можливо кілька повторень цих кроків — доки вартість інформації перевищує витрати на проведення вимірювань, їх можна продовжувати, якщо це є економічно доцільним.
Етап 3. Вибір показників та кінцеві результати
– Повний аналіз співвідношення «ризик/прибутковість».
— Вибір способів відстеження показників (включаючи спочатку неочевидні змінні, на зразок стану всієї економіки).
– Оптимізація рішення.
— Заключний звіт з описом моделі ухвалення рішення, результатами аналізу вартості інформації, використаними методами вимірювання, всіма показниками, що потребують постійного відстеження, та методами оптимізації ухваленого рішення).
Висновок
Щоразу, коли щось поставить вас у глухий кут і ви будете готові вирішити, що це неможливо виміряти, задумайтеся ось про що:
• Якщо щось дійсно важливе для вас, значить воно як мінімум існує.
• Якщо щось існує, значить, ви його так чи інакше спостерігали.
• Якщо ви спостерігали щось (або хоч якісь його наслідки), значить, дещо ви про це все-таки знаєте.
• Якщо щось дійсно важливе для вас, але при цьому ви знаєте про нього явно недостатньо — значить, існує неабияка ймовірність помилки в оцінці цієї дещо шкоди у разі такої помилки.
• Ваше недостатнє знання (тобто поточну невизначеність) можна висловити кількісно за допомогою каліброваних оцінок. Перевіряйте верхню та нижню межу інтервалів.
• Розрахуйте вартість додаткової інформації: визначте, в якому випадку рішення, яке приймається з урахуванням додаткової інформації, відрізнятиметься від рішення, можливого за відсутності цієї інформації.
• Якщо фактор за підсумком заслуговує на кількісну оцінку, виберіть метод і вирішіть, скільки часу і сил треба витратити на вимірювання.
• Цілком можливо, що ви не ідеально готові до оцінки цього щось, але пам’ятайте: навіть поверхове знайомство з декількома методами вимірювання дозволяє суттєво знизити невизначеність — і це великий крок уперед порівняно з невимірюванням взагалі.
• І в жодному разі не ігноруйте те, що дійсно важливо для прийняття рішень.