Хто кого: роботи Азімова vs Скайнет із «Термінатора»?
Книга «Нічича армія: автономне озброєння та майбутнє війни» — це не просто спостереження за зростаючою незалежністю машин від людей. Це посібник до дії. Машини не можуть стати автономними і викинути людину з процесу прийняття рішень, якщо тільки ми їм цього не дозволимо. Автономію як “когнітивний механізм, що приводить роботів в дію” людина проектує за своїм образом і подобою. Без автономії роботи — це «просто оболонка, яка чекає, доки люди наповнять її змістом». То чому ж тоді ми так боїмося майбутнього, що розгортається на наших очах?
Експерти з робототехніки та штучного інтелекту (ІІ) та представники неурядових організацій закликають заборонити автономну наступальну зброю в рамках кампанії «Зупинимо роботів-вбивць». Серед виступаючих такі видні діячі, як Ілон Маск, Стів Возняк, Стівен Хокінг. У них немає єдиної думки про те, що таке автономія, де вона точно застосовуватиметься, а де ні. Проте їх поєднує загальний песимізм щодо майбутнього.
Йдуть дискусії, киплять пристрасті: одні футурологи пророкують глобальні перегони ІІ-озброєнь, інші бажають уникнути похмурого сценарію з фільму «Термінатор», де система загального штучного інтелекту «Скайнет» набула самосвідомості і вирішила, що якщо люди хочуть її знищити, то людство можна врятувати лише через знищення всіх людей.
Пол Шарр, залучений політичний аналітик Пентагону, який з 2008 року брав участь у багатьох експертних форумах на тему смертоносної автономії, пропонує нам поглянути на те, що відбувається більш тверезо. Він розбиває визначення «автономії» на кілька елементів і підкріплює оповідання безліччю прикладів. Автор опитує фахівців із різних сфер, щоб зрозуміти, де автономія вже йде повним ходом і як люди до неї ставляться. Він також розглядає деякі аспекти ІІ, які можуть застосовуватись або вже застосовуються для автономізації машин. Нарешті, Пол Шарр доповнює основні закони робототехніки своїми рекомендаціями, пропонує сценарії розвитку, щоб майбутнє, повне технологій та машинної автономії, все одно залишалося нашим майбутнім.
Приписи для роботів, які взаємодіють із людьми. Розроблено науковим фантастом Айзеком Азімовим. Коротко звучать як: 1. Не зашкодь людині. 2. Підкоряйся, але не нашкодь людині. 3. Захищай себе, але не нашкодь і підкоряйся людині.
Від картечі до СОТ, від робота-пилососа до ізраїльської «Гарпії»
Історія автономної зброї почалася в 1861 році під час Громадянської війни в США, коли жалісливий лікар Річард Гатлінг створив так звану картечницю Гатлінга, попередницю працював від віддачі кулемета. Вона робила понад триста пострілів за хвилину, а для її обслуговування потрібно було всього чотири людини. На думку Гатлінга, у такий спосіб можна було значно зменшити кількість солдатських смертей. Він помилився, і незабаром досвід його винаходу став основою створення ще більш смертоносного зброї.
Друга світова війна, в якій килимові бомбардування призвели до колосальної супутньої шкоди, довела, що потужної зброї недостатньо, — потрібна високоточна зброя (СОТ). Однак при його використанні грань між автоматичною та автономною зброєю остаточно розмивається. Деякі СОТ керуються через бездротовий зв’язок, деяким оператор лише позначає мету (хоча завжди може її змінити або перервати операцію взагалі). У окремих випадках запущене СОТ не зупинити вчасно, оскільки ці типи зброї використовують радари, GPS тощо для самостійного знаходження мети після запуску. Тим не менш, це все ще машини, програмовані людиною. Тоді що ж таке повна автономія та автономне озброєння?
Автономія: три виміри
Одне з визначень автономії, запропоноване Полом Шарром, звучить як «здатність машини виконувати завдання чи функцію самостійно». Але в такому разі робот-пилосос, який ви запускаєте в будинку, коли йдете, теж виконує автономну роботу?
Автор виділяє три виміри автономії.
• Перший вимір визначається типом завдання залежно від важливості, складності та ризиків, пов’язаних з його використанням.
Холодильник відповідає за зберігання продуктів, тоді як Скайнету доручають найважливіше завдання, пов’язане з контролем ядерного озброєння.
Подушка безпеки виконує нескладне завдання: надутися під час аварії. У той же час літак, який зазнає аварії, останніми хвилинами перед зіткненням переходить в автономний режим, щоб спробувати вирівняти судно, якщо пілот чомусь не в змозі виконати це завдання.
Якщо ми передаємо керування машиною, то потрібно бути готовими до наслідків, навіть таким неймовірним, як ненавмисне спрацювання Машини Судного дня у фільмі Кубріка.
У «Доктор Стрейнджлав, або Як я перестав боятися і полюбив бомбу» СРСР не встигає оголосити про створення цієї зброї, головна мета якої — налякати, і, коли американський літак через неполадку бомбардує військову базу СРСР, механізм знищення всього життя на Землі спрацьовує самостійно.
• Другий вимір залежить від досконалості механізму прийняття рішень (автоматичного, автоматизованого, автономного).
Події звичайного термостата були задані заздалегідь. Вони передбачувані для будь-кого. Інакше кажучи, він діє автоматично.
Однак при використанні термостата, що регулює комфортну температуру кімнати, механізм прийняття рішень складніший. Тепер машина приймає кілька рішень, виходячи із набору факторів. Без детального вивчення чи інструкції вам не зрозуміти принципи роботи термостата. Машина автоматизована.
Якщо нас попросять передбачити дії самоврядного автомобіля, ми, ймовірно, не зможемо цього зробити. Тільки небагато експертів розуміють, як працює ця машина. Її дії автономні: ціль задана людиною, проте спосіб її досягнення вибирає сам автомобіль.
• Третій вимір залежить від ставлення людини, а точніше оператора до машини. Він може керувати ним у напівавтономному режимі, може перебувати над контуром керування (спостерігати) або дозволити машині діяти автономно.
Використання робота-пилососа передбачає напівавтономне управління, коли людина бере участь у процесі прийняття рішень – якщо пилосос застряг, господар його витягне і запустить знову.
В решту часу пилосос працює без відчутної участі оператора, що знаходиться над контуром керування. Це можна назвати контрольованою автономією. Оператор може вчасно втрутитися, відключити автономну опцію та повернутися до контуру прийняття рішень. За принципом контрольованої автономії працює, наприклад, американська корабельна бойова система «Іджіс».
Ступінь автономності машини залежить саме від швидкості, з якою оператор може повернутися до контуру прийняття рішень. Ізраїльська «Гарпія» — боєприпас, що барражує, або так званий дрон-самогубець, вважається рідкісним прикладом повної автономії. На відміну від більшості безпілотників, керованих оператором, він сканує широку місцевість на наявність ворожих радарів, а потім самостійно/автономно знищує ціль у схваленій оператором зоні. Після відданого людиною наказу і до виконання завдання машина цілком автономна.
Автономія: палиця з двома кінцями
Навіщо потрібна автономія? Пол Шарр провів низку експертних інтерв’ю та виділив такі переваги автономії:
• менше аварій (можливо, трагедії на Фукусімі у 2011-му можна було уникнути);
• продовження роботи навіть після відключення від оператора (важливо для наступальних систем озброєння, на які можуть здійснити кібер- або електронну атаку);
• збільшення швидкості, ефективності (одна з основних причин, чому в майбутньому від оператора можуть відмовитись взагалі);
• повне підпорядкування (машина не зможе піти проти свого коду, чого не можна сказати про самовільність японських чи німецьких солдатів у Другій світовій війні).
У автономії є і ряд недоліків:
• небезпека помилки (вже згаданий приклад із Машиною Судного дня);
• пошкоджені комунікації можуть перервати зв’язок із оператором (немає контролю припинення війни);
• зі зростанням швидкості роботи машини зменшується час на обмірковування (оператор не встигне втрутитися за необхідності);
• зміна цінностей людини (перекладання відповідальності на машину);
• немає місця людської інтуїції (військовий, який дізнався, що його країну атакують, зважить усі можливі наслідки, перш ніж повідомити про можливу катастрофу вищестоящим).
У пік холодної війни Станіслав Петров, радянський підполковник, отримав сповіщення з супутника про американську ядерну атаку. Петров інтуїтивно вирішив не повідомляти про це керівництво країни. Пізніше з’ясувалося, що дані були помилковою тривогою і здорова оцінка Петрова запобігла ядерній війні.
Останній фактор, нелюдяність, підживлює один із основних страхів людей перед автономією — повстанням машин.
Потвора Франкенштейна, що виступила проти творця, було створено за образом і подобою людини, але людиною так і не стало.
Сьогодні світ готується застосувати нову технологію в автономії — штучний інтелект, який, ймовірно, зробить машину більш схожою на людину.
Штучний інтелект: «мозок» у машині чи машинний мозок?
Автор не дає чіткого визначення ІІ, проте він детально розглядає принципи роботи ІІ та її наслідки для зростаючої автономії машин. Особливі побоювання викликають глибокі нейронні мережі штучні мережі з безліччю шарів між вхідним і вихідним шаром. Такі мережі здатні самостійно навчатися.
Ми маємо поле сірих точок, розділене на дві групи. Найбільш світлі виявилися переважно праворуч, темніші — ліворуч. Також є невеликий нахльост посередині – світлі і темні точки впереміш. Правий край — це вхідний шар інформації для розпізнавання, у полі безліч шарів, і з лівого краю — вихідний шар розпізнаної інформації.
Якщо попросити нейромережу визначити, якого відтінку найімовірніше буде нова точка, зважаючи на зазначену позицію, то ІІ спочатку проведе розділову лінію між групами точок, враховуючи, що є деяке накладення, а потім визначить, що статистично зліва точки будуть темнішими, а праворуч — світліше.
Тепер уявіть, що нам потрібно передбачити, де найімовірніше буде найтемніша точка. Оскільки ймовірність каже, що чим лівіше, тим темніше, то відповідь машини буде «нескінченно лівішою», оскільки ІІ досі мислить лінійно. Навіть якщо машина виявиться “нескінченно” права, для нас це буде помилкою, несправністю системи.
Уявімо, що ІІ відповідає за автономну роботу зброї. Якщо противник створить «нескінченно» правильне закодоване зображення і покаже його машині, вона може побачити, наприклад, ворожу ракету дома платтяної шафи, і навпаки. Така сама проблема може виникнути й із розпізнаванням звуку.
Зворотний бік Термінатора
Про переваги ІІ не знає лише лінивий. В основному вони зводяться до потенційного підвищення ефективності та результативності машин за рахунок здатності ІІ до швидкого навчання.
ІІ-компанія Deep Mind створила нейромережу AlphaGo, яка здатна обігравати найсильніших майстрів го (ігри, схожої на шахи, але в гугол разів (Гугол — велике число, що дорівнює 10 100 ) складніше, оскільки позицій у цій грі більше, ніж атомів у Всесвіті ). Ця система опрацювала 30 мільйонів партій у го і незліченну кількість фрагментів даних, зумівши досягти заданої творцем мети, у конкретному випадку – перемоги у грі.
Набагато цікавіше, як AlphaGo навчилася перемагати. Творці використовували техніки загального ІІ та просто «годували» програмі масив інформації. Вони не пояснили нейромережі правила гри. Вона сама методом спроб і помилок навчилася грати та перемагати.
Плюси ІІ очевидні, але важливо пам’ятати і про ризики, які можуть негативно вплинути на автономію як систем озброєння, так і технологій загалом:
• можливість злому – хакери змусять машину бачити та чути те, чого немає насправді;
• незбагненність процесу прийняття рішень — глибокі нейромережі міркують негаразд, як ми, вибирають незвичні способи досягнення цілей, тому людині буде важко виявити і усунути неполадку;
• доступність — більшість технологій, що стоїть за ІІ, — це програмне забезпечення, доступне для завантаження в інтернеті;
• нелюдська швидкість розвитку — у якийсь момент технології ІІ почнуть розвиватися з такою швидкістю, що ми не встигатимемо їх тестувати, не зможемо вчасно помітити та виправити критичні помилки.
На початку 60-х XX століття Джон Ірвінг Гуд, британський математик-криптолог, розробив концепцію «інтелектуальної революції» (англ. intellectual explosion). Згідно з нею, надрозумна машина за визначенням значно перевершує будь-яку людину за інтелектом. Отже, ця машина може побудувати ще розумніші машини, що призведе до революції в автономному машинобудуванні. Людині достатньо створити тільки початкову надрозумну машину, а вона, якщо буде досить слухняною, пояснить, як її контролювати.
Експерти вважають, що є два варіанти розвитку: жорсткий та м’який відрив. Перший передбачає, що найбільш просунута з наших машин перетвориться на надрозумну машину за лічені хвилини чи години. Другий сценарій відкладає цю нагоду на десятиліття.
Роберт Уорк, заступник міністра оборони США з 2014 по 2017 рік, вважає, що такою надрозумною машиною буде спільний ІІ. На думку Уорка, ця технологія становить особливу небезпеку, оскільки потенційно може переписати свій код. В інтерв’ю з Полом Шарром він міркував, що єдиний можливий варіант, коли Америка почала використовувати ІІ в автономних смертоносних системах озброєння, — якщо інші країни почнуть це робити.
Очевидно, що ІІ використовуватиметься на війні. Сьогодні ми зіткнулися з проблемою, яку називають парадоксом Термінатора: чи будуть вражаючі можливості ІІ використані на благо людства чи їх застосування призведе до зростання кількості жертв? Проактивні суспільства по всьому світу, яким не байдуже це питання, поділяться на два табори: ті, хто прагне обмежити розвиток ІІ та автономії машин, і ті, хто закликає до повної заборони цих технологій.
Як не опинитися у свинцевій труні з героїновою крапельницею
Кампанія «Зупинимо роботів-вбивць», яка зібрала понад 3000 експертів з робототехніки та ІІ та понад 60 неурядових організацій, має цілком серйозну мету. Її місія: «Всеосяжна, яка запобігає забороні на розробку, виробництво та використання повністю автономної зброї». Ці слова закликають людство одуматися і побачити, яке майбутнє на нас чекає, якщо ми заздалегідь не заборонимо роботів-вбивць. Проте одних заяв недостатньо.
На думку Пола Шарра, на успіх/невдачу заборон автономної зброї впливають три фактори:
• кількість країн — за часів холодної війни було дві наддержави, які, по суті, вирішували, чи працюватиме заборона, тоді як зараз навіть одна держава може розхитати основу договору своїм виходом з неї;
• усвідомлення жахливості зброї — якщо з хімічною зброєю такий чинник спрацював, то не обов’язково, що цього вистачить для заборони машинної автономії;
• розуміння користі — наприклад, ядерна зброя потрібна насамперед для збереження стратегічної стабільності у світі, а тому була військовою необхідністю і переважила другий і, мабуть, перший чинник.
Актуальна концепція 50-х років XX століття, пов’язана із взаємними обмеженнями (через страх першого ядерного удару ворога / наслідків свого першого удару), які утримують країни, що володіють ядерною зброєю, від його використання.
Забезпечення стабільності у світі
Поряд із стратегічною стабільністю виділяють ще кілька типів стабільності.
• Кризова стабільність , яка допомагає уникнути умов, що сприяють загостренню ненавмисного конфлікту.
• Контроль припинення війни . Цей тип стабільності визнає, що конфлікти бувають частиною політики держав і що країни повинні вміти як розпочинати війни, а й закінчувати їх.
• Баланс наступу – оборони. Режим з величезним переважанням наступу і наступального озброєння (наприклад, танків) створює умови, у яких легше захопити територію, а режим оборони, навпаки, — умови, коли захоплення території проблематичніше (наприклад, бої, що тривали, в траншеях часів Першої світової війни). Останній режим загалом стабільніший, оскільки ускладнює територіальну агресію.
Крім того, стабільність договорів між країнами забезпечують:
• ясність трактувань – чіткий, простий, максимально недвозначний текст; • мотивацію — країни повинні мати важливі причини, щоб підписати договір;
• дотримання принципу дзеркальності — країни знають, що на них чекає, якщо вони порушать договір; складова стратегічної стабільності;
• прозорість – необхідна для верифікації/підтвердження виконання умов договору.
Посібник з експлуатації автономної зброї
Пол Шарр визнає, що сьогодні ініціатива щодо обмеження автономного озброєння виходить здебільшого від неключових у справі розробки машинної автономії країн, від неурядових організацій та окремих осіб. Однак глобальна гонка ІІ-озброєнь, яку пророкують багато експертів з робототехніки та футурологи, справді може призвести до того, що ІІ-зброя опиниться в руках найменш етичних режимів.
І все ж, впевнений у кращому майбутньому, Пол Шарр пропонує для держав світу чотири можливі підходи до договорів/заборон, що стосуються автономії:
• Заборона повністю автономного озброєння — автор пропонує розділити автономну зброю на фіксовану відносно місця/людини та мобільну.
Малоймовірний сценарій, особливо у воєнний час. Крім того, державам потрібно буде усвідомити, що заборона в їх інтересах. Зрештою, складно домовитися про єдине визначення, щоб встановити, які види озброєння вже використовують автономію, а які ні.
• Заборона тільки протипіхотних, спрямованих проти солдатів видів озброєння — зрозуміліша за попередню заборону через усвідомлення жахливості автономної зброї, що підживлюється страхом повстання машин.
Забезпечення прозорості все ще проблематично, тому що важко довести всьому світу, що машина не має опції «повна автономія», не видавши при цьому військової таємниці. Проте навіть якщо технологією машини заволодіють терористи, то велика ймовірність, що держави продовжать дотримуватися заборони, оскільки група терористів необов’язково відіграє вирішальну роль для загальної стабільності.
• Дорожня карта для автономної зброї – не має обов’язкової юридичної сили; застосовна задля збереження стратегічної стабільності навіть у кризовій ситуації.
Наприклад, до основних законів робототехніки можна додати закон «не відкривати вогонь першим без оператора» або закон «обмеженого вогню у відповідь».
Держави повинні виробити деякі норми машинної автономії, які будуть спільними для всіх, особливо щодо застосування сили. Ці положення можуть, наприклад, спиратися на принципи міжнародного гуманітарного права, визнані переважно світової спільноти. Норми не тільки почнуть сприяти спільній стабільності, оскільки країни приблизно знатимуть, якої дзеркальної відповіді побоюватися, а й можуть лягти в основу повноцінного договору.
Тим не менш, карта буде корисною тільки до початку конфлікту, а в розпал війни вже не допоможе.
• Загальні принципи про роль людини на війні – зачіпають не завжди змінюються технології, а найбільш елемент, що піддається закріпленню в документі – людини.
У цьому документі можна обговорити всі можливі питання. У ньому варто позначити єдине всім країн робоче визначення автономії і прописати роль ІІ в системах озброєння. Найголовніше, що у загальних принципах відобразиться певне ставлення людей до автономії. Наприклад, людина може бути для машини:
– Оператором (керуючим, на відміну від пілота, на відстані);
– Запобіжником (може вчасно взяти контроль на себе);
– Джерелом моральної відповідальності (закладає в машину поняття того, що добре, а що погано).
Слід якимось чином пов’язати алгоритми машини з людяністю, нашими цінностями, незважаючи на те, що людина не найкращий зразок для наслідування. Інакше автономна машина, яка бажає допомогти людям зробити їх щасливішими, підкоряючись заданій команді, сховає нас глибоко під землею в оббиті свинцем «труни з приєднаними трубками подачі героїну», як зауважив Стюарт Армстронг, дослідник Інституту майбутнього людства в Оксфорді.
10 найкращих думок на одній сторінці
1. Без автономії робот — «просто оболонка, яка чекає на людей, які наповнять її змістом».
2. Удосконалення озброєння не веде до зменшення смертей, навіть якщо під час експлуатації зброї буде задіяно менше солдатів.
3. Подібні слова “автоматичний”, “автоматизований” і “автономний” – це не те саме.
4. На кожну перевагу автономії є відповідний недолік.
5. ІІ лише додає до мінусів автономії додаткові ризики: можливість злому, незбагнення процесу прийняття рішень, доступність, нелюдська швидкість розвитку.
6. ІІ так чи інакше буде використовуватися у веденні воєн, але тільки людина здатна створити машину, що перевершує її самої за інтелектом.
7. На успіх/невдачу заборон автономного озброєння впливають три фактори: кількість країн, необхідних для стійкості заборони; усвідомлення жахливості зброї; розуміння потенційної користі від заборони.
8. Критерії успішних договорів – ясність трактувань, мотивація, дотримання принципу дзеркальності, прозорість.
9. Сьогодні ніхто з ключових держав-гравців на ринку автономного озброєння та ІІ не виступає з ініціативою світової заборони цих технологій. Пропозиції про заборону надходять знизу, а не згори.
10. Якщо ми не вдамося до будь-якого, навіть незначного, обмеження автономії машин, то замість того, щоб принести користь людству, машина нашкодить йому.