Вступ
Початок активного розвитку економіки Big Data припав на 2008—2010 рр., коли математики та фахівці в галузі статистики поринули у вивчення життя людини: її бажань, інтересів, фізичних можливостей та психологічних особливостей. Їхньою головною метою стало навчитися оцінювати, передбачати та впливати на дії homo sapiens у роботі, навчанні, сексі, контролювати лояльність людей до ідей.
Але «щось пішло не так», і Big Data стали перетворюватися на зброю математичної поразки. Один із головних прорахунків фахівців у тому, вважає автор, що створені математичним шляхом додатки надто часто базуються на помилкових алгоритмах поведінки людини. Винесені самонавчання програмою вердикти не аналізуються і не обговорюються в суспільстві . Крім того, сьогодні очевидно, що утискаються права звичайних людей. Якщо несправедливість висновків алгоритму стосовно себе помітить забезпечена людина, він зможе дістатись причин і відновити справедливість. Хто небагатий, або не помітить помилку машини, або не матиме ресурсів для її виправлення.
Так, претенденту можуть відмовити в роботі через висновки Big Data про його занизький кредитний рейтинг або кримінальне минуле. Іноді це відбувається через помилку програми. Але жертва майже гарантовано не дізнається, що насправді спричинило невдачу. Несправедливість проявляється в різних сферах життя: алгоритм схиляє людей до отримання необґрунтовано дорогої освіти, переплати за страховки, дорогих кредитів тощо. У результаті бідні стають ще біднішими.
Багатим алгоритм допомагає ставитися ще багатшими і впливовішими. Вони мають доступ до даних досліджень пошукових систем та соціальних мереж, можуть користуватися їх інструментами впливу на користувачів. Нещодавні скандали, пов’язані з участю Facebook у збиранні та незаконному розповсюдженні персональних даних, — лише вершина айсберга. Є всі підстави вважати, що Google та Facebook заходять набагато далі, лобіюючи інтереси партій та конкретних кандидатів.
Ситуацію, що склалася, необхідно змінювати. І не тільки через зростаючу несправедливість і розрив між бідними і багатими. Прорахунки в алгоритмах Big Data можуть перетворитися на справжню катастрофу в найближчому майбутньому, коли вся інформація з інтернету стікатиметься в надра AI — штучного інтелекту. Неможливо спрогнозувати, що ми отримаємо на виході.
Тому всім, хто має відношення до Big Data, необхідно більш відповідально підходити до розробки нових алгоритмів. Вже працюючі моделі мають бути проаналізовані та виправлені спільними зусиллями вчених та громадськості. Але найголовніше — людство має змінити визначення успішності можливостей Big Data. Замість служіння прибутку вони повинні навчитися служити людям.
Ознайомившись із саммарі, ви зрозумієте небезпеку поточних трендів у розвитку Big Data. Навчіться уникати помилок у процесі працевлаштування і відрізняти соціальну рекламу в соцмережі від досвідів, що проводяться над вами. Дізнаєтесь, хто і як вас схиляє до голосування за того чи іншого кандидата. Розберетеся в тому, які кроки потрібні для виправлення ситуації.
1. Зброя матрацифікації номер 1: безконтрольний вплив
1.1. Алгоритми Big Data використовуються сьогодні в багатьох сферах, безпосередньо впливаючи на життя людини. Найменш успішні матмоделі у тих галузях, які пов’язані з моделюванням поведінки людини у глобальних масштабах. Не маючи необхідного обсягу достовірних даних, фахівці заповнюють прогалини іншою, близькою і не дуже інформацією на власний розсуд .
Це призводить до спотворення кінцевого результату, й у результаті негативно позначається долях людей. Якщо раніше людині з поганим кредитним рейтингом просто відмовили б у черговому кредиті, то сьогодні це показник його загального гріхопадіння: Big Data використовують дані про фінстан як проміжні для застосування у сфері працевлаштування і навіть при пошуку партнера для життя. Те саме стосується людей, які одного разу вчинили правопорушення. Таким чином, Big Data перетворюються на зброю математичної поразки.
Поведінка людини в тій чи іншій ситуації залежить від дуже великої кількості факторів та обставин. Жодний маталгоритм на сьогоднішній день не здатний їх повноцінно охопити, і малоймовірно, що зможе в майбутньому. Йому б довелося справлятися з смаками і пристрастями, які часто змінюються у людей, з якими часом нездатна впоратися сама людина. Можна запрограмувати постійні величини, але не можна врахувати постійних змін, стверджує автор.
Будь – які прорахунки на початковому етапі створення алгоритму ведуть до глобальніших з кожним новим витком участі Big Data у житті людей . Цьому сприяє закритість системи. Без додаткових зусиль вона не розкриє причин, чому людині відмовили у роботі чи підняли вартість страховки. На з’ясування суті та відновлення справедливості необхідно витрачати час, сили та засоби, які потрібною мірою є не у всіх.
У 2015 р. Google розпізнав на фото групу молодих афроамериканців як череду горив. Випадок набув широкого розголосу, що змусило компанію вибачитися та виправити помилку. Ситуація, що виникла, стала наочною демонстрацією недосконалості Big Data. Якщо в одному місті в один день народилося кілька людей, яких назвали одним і тим же ім’ям, то одного разу система цілком може приписати одному прорахунку іншого з усіма наслідками.
Людина повинна мати достатній рівень освіти та поінформованості, щоб припустити, що ймовірна причина її невдач лежить у площині Big Data – зброї матрозниження. Таким чином, система у її нинішньому вигляді на боці освічених та фінансово забезпечених громадян.
1.2. Відкритість процесу збирання інформації є ключем до створення якісного алгоритму Big Data , вважає автор. Чим чіткіший і зрозуміліший сенс дослідження, тим кращий кінцевий результат. Приховування справжньої мети веде до спотворення реальної картини. Щоб цього не відбувалося, процес на кожному з етапів має контролюватись зовнішніми профільними експертами.
Наприклад, фахівцями у галузі статистики та психології при складанні характеристик групи. Вони підкажуть, чому не можна брати за основу результати опитування учасників об’єднання. У цьому випадку групі, швидше за все, буде приписано неправильні загальні поведінкові особливості, на підставі яких суспільство будуватиме своє ставлення до них. Крім того, залучення зовнішніх експертів уможливить незалежну перевірку ефективності використовуваних методів та інструментів і дозволить переконатися в їх безпеці та справедливості стосовно людей.
Нещодавно Facebook запатентував власну систему визначення кредитного рейтингу людини. Базуватиметься вона на даних профілю. Якщо припустити, що досліджуваний живе в неблагополучному районі і у нього в друзях є небагаті знайомі з кримінальним минулим, то це, напевно, позначиться на його фейсбук-кредитному рейтингу. Але особисто він не зробив нічого протиправного. Автор запитує — наскільки якісними та справедливими будуть висновки соцмережі?
1.3. Інша справа, коли Big Data застосовуються для прогнозування та покращення зрозумілих, що піддаються якісному дослідженню локальних процесів. Вони часто успішні – за умови, що не пов’язані з ментальними, емоційними та соціальними особливостями людини.
Свою практичну ефективність матмоделювання довело, зокрема, у спорті. Роками фахівці-статистики скрупульозно збирали (і продовжують збирати) будь-які дані, що впливають на результати змагань. Спортсмени, які беруть участь у процесі збору даних, добре розуміють суть питань та їхню кінцеву мету, а вся статистика відкрита. У сумі це призводить до правильних результатів. Тренерський склад має досить точні математичні дані про сильні і слабкі сторони спортсменів і команди. Додана в алгоритми, ця інформація дозволяє точково та ефективно підходити до усунення «проломів» та успішно прогнозувати результати змагань.
2. Зброя матрацифікації номер 2: міфи та реальність
2.1. Big Data огорнуті міфами. Один із них про нібито «плюси» від виключення людського фактора при використанні алгоритмів у бізнес-процесах. Такі твердження не відповідають дійсності. На практиці людський фактор не виключається, оскільки готові моделі безпосередньо залежать від ідеологічної складової та завдань, які розробляли та ставили окремо взяті люди. Складні моделі не можуть бути вільними від забобонів, особливостей, інтересів та систем цінностей своїх творців. Існують держави, де обман вважається нормою, і за позбавлення права на маніпуляції громадяни вийдуть на барикади. У фінансово благополучних державах обман набуває «просунутих» форм. Знайти чийсь прихований задум у математичному алгоритмі автор вважає за завдання не з простих.
Важливо враховувати, що за фахівці займаються упорядкуванням алгоритму. Яка їхня шкала цінностей, наскільки вона відрізнятиметься від цінностей цільової групи, чию поведінку розробник намагається прогнозувати. Якщо фахівець не розуміє середовище, в якому розвивався та живе предмет його досліджень, результат не відобразить реальності. Але навіть якщо й розуміє, він все одно має власне, унікальне бачення ситуації та її можливого розвитку.
Big Data активно розвиваються в HR-сфері, перетворюючись на зброю матрацифікації по відношенню до людей. Завдання алгоритму полягає у збиранні максимуму інформації про здобувача та видачу рекомендації — відповідає чи ні посаді та наскільки відсотків. Для цього проводяться опитування і навіть іспити, які часто не мають жодного відношення до майбутньої роботи. Зрештою алгоритм блокує людей за непрямими ознаками, порушуючи їхні права.
Потенційного не дуже цінного працівника система може викреслити із претендентів, базуючись лише на одному «тривожному», на її думку, показнику. Але те саме ніколи не станеться, наприклад, у професійному спорті. Якщо під час досліджень виникне питання перспективному спортсмену, то предмет занепокоєння всебічно вивчать і потім приймуть рішення. Так відбувається тому, що у багатомільйонному бізнесі цінність людини вища, стверджує автор.
Прийнято вважати, що використання програм обробки резюме шукачів дозволяє як економити час рекрутерів, а й робить процес відбору більш справедливим. Дійсно, при автовідборі мінімізується вплив людини, яка могла б відмовити на посаді за розовою або статевою ознакою. Але мало хто знає, що саме завдяки автоматизації близько 72% резюме вирушають до кошика ще до перегляду рекрутером. Тому дуже важливо, щоб кандидат складав своє резюме з урахуванням знань щодо принципів роботи автоматизованої системи:
• у тексті резюме повинні максимально використовуватися слова, що описують досвід та компетенції з тексту вакансії, які потрібні роботодавцю; • не використовувати графіки, зображення, символи, «модні» шрифти. Все це здатне «заплутати» програму, оскільки вона поки що не здатна їх обробити.
Недолік існуючої системи в тому, що кандидат, ймовірно, цілком міг би впоратися з роботою, але не буде навіть розглянутий через неправильно оформлене резюме.
2.3. Алгоритми, створені для оптимізації робочих процесів, це ще один вид зброї матраци. Їхнє широке застосування в бізнесі, особливо в умовах економічної кризи, негативно позначається на людях . Роботи у персоналу стає все більше, але цей факт ніяк не відбивається на зарплаті. Вимагати доплат у кризові часи ризикнуть мало хто.
3. Зброя матрацифікації номер 3: прибуткові маніпуляції
3.1. Вкладення великих рекламодавців у рекламовану рекламу, скажімо в Google, часто шкодить кінцевому споживачеві. Чим більші витрати, тим вища ймовірність, що реклама виявиться маніпуляцією. Головною цільовою аудиторією для неправдивих пропозицій за завищеною ціною стають звичайні люди . Вони, з одного боку, сповнені надій, з іншого, недостатньо добре знаються на реальному становищі справ. Логічно, що ще один із «клондайків» для зброї матопоразки — ринок швидких кредитів. Рекламодавці, які просувають цю та схожі послуги, розраховують саме на довірливість бідних та неосвічених.
Інформація про користувачів, яку збирає Big Data для використання в «хижацькій» інтернет-рекламі:
• Будь-які недоліки, слабкості, переживання: фізичні, психологічні, матеріальні та ін.
Гра на слабкостях – частина головної стратегії зброї матраци. Тим, кого система визначила як неуспішних у відносинах, реклама запропонує збільшити пеніс чи груди. Хто обмежений у коштах, побачить пропозиції кредитів за максимальними ставками тощо.
• сфери, в яких користувач не має експертних знань.
Це дозволяє навмисно вводити людей в оману, змушуючи їх переплачувати за товари, послуги, навчання та ін.
Big Data збирають інформацію про користувачів з усіх можливих джерел — пошукових систем, соцмереж, кліків на банери на сайтах, переходів за рекламними посиланнями тощо. Те саме стосується реакції людини на будь-які пропозиції та участь у опитуваннях.
Навіть якщо користувач не відкрив отримане електронною поштою спам-повідомлення з пропозицією кредитної картки, для системи це теж результат — наступного разу рекламники спробують підійти з іншого боку.
3.2. Не одне десятиліття соцмережі та пошукові системи є майданчиками для дослідів над групами та окремими людьми. На основі даних про користувача Facebook і Google активно маніпулюють їм не тільки в комерційних цілях, а й беруть участь у просуванні інтересів партій та окремих політиків . Відомо про відкритий вплив Facebook на явку виборців. Автор запитує — а чи тільки на явку? Адже компанії залежать від держрегулювання, що робить їх залежними від рішень політиків.
Рекламна кампанія Facebook I Voted була покликана збільшити явку виборців на дільниці. За приблизними підрахунками вона дозволила додатково мобілізувати близько 340 тис. громадян. Паралельно із запуском соціальної реклами соцмережа провела серйозне дослідження поведінкових особливостей людини, в якому мимоволі брав участь 61 млн. американців.
Big Data автоматично стають зброєю матопоразки в руках компаній, зайнятих у сфері просування політиків та партій. Їхнє першочергове завдання — зібрати максимальну кількість даних про сподівання користувачів, щоб політик міг обіцяти те, що від нього очікують . Для цього потенційний електорат поділяють на групи за інтересами. Найважливіша група – ті, хто готовий допомогти кандидату грошима. Далі для кожної групи запускають «тестову» рекламну кампанію. Користувач бачить її у соцмережах та на сайтах, які відвідує. За підсумками аналізу реакцій різні варіанти реклами формується «портрет виборця». Потім система визначає найефективніше застосування індивіда – волонтер, спонсор, виборець. Паралельно прогнозується його реакція на ту чи іншу подію чи висловлювання політика. Періодично вкидаються необхідні повідомлення, покликані оцінити настрій та переваги учасників груп у прогресії. Оновлювані результати мають дуже великий попит. Все це слугує розвитку найбільш «темного» варіанта зброї матрозниження і, на переконання автора, підриває основи демократії.
4. Зброя матрацифікації номер 4: вихід є
4.1. Автор визначає такі ключові складові успішного застосування технологій Big Data:
• Коректність використовуваних алгоритмі вихідних математичних даних.
• Відкритість для всіх, хто захоче переконатися у їхній правильності. • Чітке розуміння цілей та складових усіма учасниками процесу.
• Відсутність місця для творчості з боку зацікавлених осіб.
Сьогодні важко знайти розробку, яка б відповідала навіть одному-двом вимогам з перерахованих. Наслідком цього і стало перетворення Big Data по відношенню до людини на зброю математичної поразки. Вражає воно насамперед тих, хто не має ресурсів для самозахисту. Хтось ними володіє, якийсь час можуть відчувати користь від впливу алгоритмів на своє життя. Але так буде не завжди. Цілком ймовірно, що одного разу грошей і зв’язків виявиться недостатньо для вирішення проблем, що виникли «з нізвідки».
В силу поточної і ще більш непередбачуваної майбутньої небезпеки зброї матопоразки людству необхідно взяти ситуацію під жорсткий контроль. Потрібно почати створювати принципово нові математичні та статистичні моделі, які б враховували етичну сторону процесів та їх наслідків. Необхідно зробити так, щоб коли виникав вибір між прибутком і благими цілями, програма вибирала друге.
Розпочати процес оновлення Big Data потрібно з підготовки розробників. За аналогією з лікарською клятвою Гіппократа вони повинні давати свою клятву. За основу автор пропонує взяти принципи, які вигадали інженери-фінансисти Емануель Дерман (Emanuel Derman) та Поль Вілмотт (Paul Wilmott).
• «Я пам’ятатиму, що не я створив цей світ і він не вкладається в мої рівняння».
• «Хоч я і сміливо використовуватиму моделі для оцінки ефективності, я ніколи не переоцінюватиму можливості математики».
• «Я ніколи не пожертвую реальністю на догоду до витонченості, не пояснивши, чому я так зробив».
• «Я також не запевнятиму в непогрішності моделі людей, які її використовують. Навпаки, я підкреслю її припущення та недоліки. Я відкрито викладатиму свої припущення, говоритиму про недоробки».
• «Я усвідомлюю, що мої дії можуть серйозно впливати на суспільство та економіку, перебуваючи при цьому за межею мого розуміння».
Але найголовніше, вважає автор, має змінитися визначення успішності моделей . Сьогодні це поняття вимірюється в одиницях прибутковості, ефективності чи рейтингу. Цього не достатньо. Необхідна одиниця, що визначає ступінь «людяності». Ця одиниця повинна стояти над усіма іншими. Моделями повинні керувати люди, а чи не навпаки.
Також потрібно створити систему алгоритмічного аудиту. Її завдання – прогнозувати та виявляти можливі негативні наслідки Big Data для людини. Встановлені регулятором правила мають бути обов’язковими до виконання всім без винятку, але насамперед для страхових, кредитних і суміжних видів бізнесу.
І, нарешті, для поліпшення ситуації буде потрібна велика підтримка з боку науки. Знешкоджувати зброю математичної поразки повинні ті, хто її коли-небудь створював.
Висновок
Автор книги вважає безперспективним і навіть шкідливим застосування алгоритмів у областях, які так чи інакше пов’язані з психологією людини. Кеті О’Ніл переконана, що жодну машину не можна навчити ефективно прогнозувати поведінку людей, оскільки:
• воно (поведінка) дуже залежить від широкого спектра умов і чинників;
• людина далеко не завжди діє свідомо, що за визначенням зводить нанівець зусилля програм.
Водночас автору бачиться можливим та корисним застосування Big Data в інших сферах, де дотримано наступних умов:
• усі складові процесу піддаються точному математичному аналізу (розрахунку);
• всі учасники добре розуміються на суті та розуміють свою роль; • усі дані відкриті для громадськості.
Секретність навколо справжніх цілей та завдань, розрахунків та учасників веде до прорахунків та помилок, які негативно позначаються на житті людей. Страждають переважно бідні та неосвічені. Якщо стосовно людини програма припустилася помилки, то жертва навряд чи про це дізнається. А якщо дізнається, то не доведе.
Людей досліджують без них на те згоди, складають та оновлюють «віртуальні портрети», прогнозують реакцію на ті чи інші події, маніпулюють у разі вибору, який самі ж і створюють.
Все це дискредитує технології Big Data. У той час як вони могли б приносити користь усьому суспільству, незалежно від рівня достатку та утворення окремих шарів. Для цього потрібно, щоб суспільство усвідомило наявність та небезпеку зазначеної у книзі проблематики. Щоб до усунення недоліків підключилися розробники, науковці та громадськість.
Авторка переконана, що всі проблеми можна вирішити, якщо над поняттям «прибутковість» моделі ставити поняття «людяність». І з цим не можна тягнути — безконтрольний розвиток технологій Big Data, і особливо штучного інтелекту, ускладнять і так непросте завдання.