Вступ
Машини вже перевершили людину у багатьох областях, проте загальний рівень інтелектуального розвитку людини незрівнянно вищий. Але недалекий той день, коли машини стануть надрозумними.
Програма Fritz грає в шахи значно сильніше за провідних гросмейстерів, при цьому її не можна назвати надрозумною, оскільки вона перевершує людину лише в одній вузькій області.
Нік Бостром вважає, що надрозум — це інтелект, який багаторазово перевершує найвидатніших людей у розумовому розвитку, науково-технічній діяльності, життєвій мудрості та розвитку соціальних навичок.
У книзі представлена різноманітна інформація про історію штучного інтелекту та сучасний стан справ. Автор розмірковує про те, чи буде надрозум корисним чи руйнівним, дружнім чи ворожим.
Читати цю книгу дуже непросто: наукова лексика, приклади з фізики, математики, економіки та нанотехнологій поряд із численними таблицями та діаграмами не дають читачеві розслабитись ні на хвилину. Сам автор зізнається, що намагався зробити книгу простішою для сприйняття, але йому це не вдалося. Він також попереджає, що далеко не вся інформація є достовірною і має наукове підтвердження. У той же час, книга цікавить тих, кому небайдуже майбутнє людства і хто цікавиться сучасними технологіями.
1. Минуле та сучасне штучного інтелекту
Після появи перших комп’ютерів у 1940-х роках вчені заговорили про швидке виникнення надрозуму. Прогнози не виправдалися, проте сучасні футурологи, як і їхні попередники, вірять, що надрозумні машини будуть створені в недалекому майбутньому.
1.1. Історія штучного інтелекту
1642-1940-і – нульове покоління – найпростіші механічні обчислювальні машини.
1940–1955 — перше покоління — комп’ютери на електронних лампах.
1955-1965 – друге покоління – комп’ютери на транзисторах.
1965-1980 – третє покоління – комп’ютери на інтегральних схемах.
1980 – … – четверте покоління – комп’ютери на величезних інтегральних схемах.
П’яте покоління, орієнтоване на розподілені обчислення, не було створено; воно мало стати базою для пристроїв, здатних до імітації мислення.
Влітку 1956 група вчених приїхала на перший симпозіум зі штучного інтелекту в Дартмутський коледж, США. Саме ця подія стала відправною точкою досліджень у галузі штучного інтелекту, а багато учасників того симпозіуму набули всесвітньої популярності. Спочатку вони створювали лише невеликі системи, кожна з яких у лабораторних умовах могла робити щось раніше недоступне машинному інтелекту.
Одна з ранніх систем, «Логічний теоретик», досягла успіху в доказі теорем, причому один із доказів був більш елегантним, ніж в оригінальному варіанті.
У 1970-х мода на штучний інтелект пройшла. Спонсори відмовлялися від фінансування проектів зі створення штучного інтелекту, оскільки вважали цей напрямок безперспективним.
Новим золотим століттям штучного інтелекту вважатимуться початок 1980-х, коли Японія запустила великий проект зі створення комп’ютерів п’ятого покоління. Проект фінансувався державою разом із комерційними структурами, та її метою було створення машини з високою продуктивністю, яка мислить як людина і може працювати з великими базами даних. Багато країн наслідували приклад Японії і відновили роботу над створенням штучного інтелекту. Розробники намагалися створити так звані експертні системи — програми, які обробляють значні бази даних, покликані частково замінити людину в різних сферах діяльності. Було створено сотні подібних систем, коди для яких писали вручну тисячі програмістів. Проте за кілька років стало очевидно, що розробляти, контролювати та оновлювати експертні системи складно та дорого. Таким чином, проект створення комп’ютерів п’ятого покоління припинив своє існування до кінця 1980-х.
З 1990-х почали розвиватися методи нейронних систем та генетичних алгоритмів, що базуються на моделюванні людського мозку.
1.2. У яких галузях штучний інтелект перевершує людину?
На цей час машинний інтелект вже випередив людини у багатьох видах діяльності. Раніше люди наївно вважали, що для того, щоб стати сильним шахістом, необхідно мати розвинене абстрактне мислення, бути сильним стратегом, вміти створювати хитромудрі гнучкі плани та намагатися «прочитати» думки суперника. Виявилося, що найсильнішого шахіста може перемогти програма зі спеціальним алгоритмом, поєднана з потужним процесором. Однак такий штучний інтелект обмежений лише грою у шахи.
Шашки. У 1994 році програма CHINOOK змогла здолати чинного чемпіона світу. Це був перший випадок, коли програма фактично стала чемпіоном світу з інтелектуальної гри.
Шахи. У 1997 році програма Deep Blue виграла матч у чемпіона світу Гарі Каспарова, який зізнався, що помітив у машини проблиски справжнього інтелекту та надлюдську винахідливість.
Скраббл. У 2002 році програма перемогла найсильніших гравців.
Сьогодні ці здобутки вже нікого не дивують. Як зауважив Джон Маккартні (американський вчений, який уперше вжив термін «штучний інтелект».): «Щойно штучний інтелект починає функціонувати, люди перестають вважати його штучним інтелектом».
1.3. Де успішно використовується штучний інтелект?
Штучний інтелект вже показав себе у багатьох сферах діяльності: за його допомогою слухові апарати фільтрують сторонній шум, а навігатори допомагають знайти найбільш зручний та короткий шлях, інтернет-магазини аналізують уподобання покупців, виходячи з попередніх покупок, а медичні програми допомагають поставити діагноз та призначати лікування . Сучасні системи розпізнавання мови дозволяють віртуальним помічникам відповідати на найпростіші питання і виконувати нехитрі прохання. Оптичне розпізнавання друкованого та рукописного тексту допомагає сортувати електронну пошту та оцифровувати старі документи. Розпізнавання осіб широко використовується на пунктах пропуску державних кордонів різних країн.
У системі розпізнавання осіб державного департаменту США понад 75 мільйонів фотографій тих, хто подавав документи на американську візу.
Комп’ютерний переклад все ще далекий від досконалості, проте його можна використовувати для певних потреб. Нові програми-перекладачі засновані на статистичних системах, які автоматично аналізують мовні конструкції. Програмісти, які працюють над цими системами, навіть не володіють мовами, з якими працюють.
Інтелектуальна диспетчеризація — ще одна область, де штучний інтелект успішно використовується протягом кількох десятиліть.
У 1991 році під час операції “Буря в пустелі” програма з автоматичного планування та оперативного управління агентства передових оборонних дослідницьких проектів США заощадила міністерству оборони суму, що дорівнює тридцятилітнім інвестиціям у розробку штучного інтелекту.
Робототехніка – ще один напрямок, де використовується штучний інтелект. Сьогодні нашу планету населяють понад 10 мільйонів роботів: домашні тварини, прибиральники, рятувальники, хірурги та промислові роботи.
2. Майбутнє штучного інтелекту
В останні роки інтерес до штучного інтелекту значно зріс, що, ймовірно, дасть поштовх до роботи над потужним обладнанням, програмним забезпеченням нового покоління та розробками у суміжних галузях, таких як нейроінформатика.
Одним з показників інтересу до машинного розуму можна вважати той факт, що на безкоштовний онлайн курс зі штучного інтелекту, проведений Себастьяном Труном і Пітером Норвігом зі Стенфордського університету в 2011 році, записалися 160 000 слухачів з усього світу, і 23 000 з них отримали його закінчення.
2.1. Шлях до надрозуму
Вчені виділяють кілька можливих способів створення надрозуму:
• Удосконалення штучного інтелекту. Вже сьогодні стало очевидно, що для досягнення надрозумного стану система має бути самонавченою і здатною до постійного самооновлення та покращення: рання версія створить свою покращену версію, яка потім безперервно оновлюватиметься і вдосконалюватиметься.
• Повномасштабне імітаційне моделювання мозку людини. За допомогою сканування та подальшого моделювання структури людського мозку може бути створена потужна інтелектуальна програма, що вимагатиме послідовного виконання наступних кроків:
– Створення гранично деталізованого скана людського мозку;
– передача первинних даних зі сканера на комп’ютер => наступна автоматизована обробка зображення => реконструкція тривимірної нейронної мережі, що забезпечує розумовий процес людського мозку;
– Запуск відтвореної структури мозку на потужному комп’ютері.
Про позитивний результат моделювання можна буде говорити, якщо вдасться відтворити інтелект, пам’ять та особистісні особливості мислення «власника» мозку, що моделюється. Створена модель мозку може існувати або у віртуальній реальності, або бути реалізованою в реальній реальності як окремий «орган» для робота.
• Посилення людського мозку. Третій спосіб перевершити інтелект сучасної людини полягає у вдосконаленні людського мозку за допомогою генетичної селекції. Однак це дуже довгий шлях — зміна поколінь відбувається кожні 20–30 років, тобто результати можна буде судити лише в наступному столітті. Цей процес можна штучно прискорити, застосувавши метод ітеративної ембріональної селекції, який включає чотири етапи:
– вивчення генотипу та селекція кількох ембріонів з бажаними генетичними характеристиками;
– вилучення стовбурових клітин з обраних ембріонів та їх перетворення на сперматозоїди та яйцеклітини, які дозріватимуть близько 6 місяців;
– схрещування сперматозоїдів та яйцеклітин та поява нових ембріонів;
– Повторення попередніх кроків до отримання значних генетичних змін.
Таким чином, можна завершити процес генетичної селекції, який у природних умовах тривав би не одне століття, за кілька років.
• Розробка людино-машинних інтерфейсів. Якщо людський мозок об’єднати з комп’ютером за допомогою імплантації імплантації, він може стати надрозумом.
Подібні інтерфейси вже створюються в медичних цілях: у мозок пацієнтів, які страждають на хворобу Паркінсона, імплантують прилад, який стимулює певну ділянку мозку за допомогою електричного струму.
Незважаючи на те, що імпланти здатні оптимізувати розумовий процес, забезпечити швидке та точне вирішення складних завдань та високошвидкісну передачу інформації, малоймовірно, що подібні інтерфейси широко використовуватимуться в майбутньому. Основною перешкодою є можливі ускладнення: інфекції, усунення електродів, кровотечі та зниження когнітивних здібностей.
• Створення колективного розуму. Ще одна можливість створення надрозуму полягає в поступовому посиленні організацій та інформаційних мереж. Проте ймовірніше, що цей шлях, подібно до генетичної селекції, призведе лише до деякого поліпшення людських здібностей, але не зробить людей надрозумними порівняно з нашими сучасниками.
Нік Бостром упевнений, що існування кількох можливостей створення надрозуму збільшує ймовірність його виникнення. При цьому найімовірніше, що надрозум стане продуктом розвитку штучного інтелекту.
2.2. Сильні сторони машин
Навіть незначні відмінності в обсязі мозку та кількості нейронних зв’язків можуть давати серйозні переваги.
Найкращою ілюстрацією цього твердження є інтелектуальні та технологічні досягнення людини порівняно з мавпою.
Машини вже зараз багаторазово перевершують людину за низкою параметрів:
• Частота. Швидкість обчислень у людського мозку визначається частотою, яка у людини на 7 порядків нижча, ніж у мікропроцесора: 200 Гц проти 2 ГГц.
• Швидкість внутрішнього зв’язку. Швидкість аксонів мозку становить трохи більше 120 м/с, тоді як ядра процесора можуть передавати інформацію зі швидкістю світла — 300,000,000 м/c.
• Кількість обчислювальних елементів. У людському мозку близько 100 мільярдів нейронів. Ця кількість обумовлена розмірами черепної коробки та обмінними процесами. Машина може бути величезною, наприклад, розміром з будинок, крім того вона може використовувати додаткові потужності за допомогою високошвидкісних кабелів.
• Обсяг пам’яті. Людська пам’ять не утримує понад 4-5 порцій інформації, до того ж довготривала пам’ять може давати збої. Можливості комп’ютерної пам’яті незрівнянно вищі.
• Інші переваги обладнання:
— Транзистори надійніші за біологічні нейрони.
— Мозок людини втомлюється після кількох годин роботи, тоді як мікропроцесори можуть працювати без обмежень.
— Машину можна оптимізувати під різні завдання, а архітектура людського мозку незмінна від народження, і будь-які зміни потребують значних витрат часу.
2.3. Переваги комп’ютерних програм перед людиною
Цифровий мозок має ряд плюсів у порівнянні з біологічним:
• Можливість редагування. Зміни будь-яких параметрів у комп’ютерному мозку відбуваються легко та швидко.
• Відтворюваність. Зробити та зберегти потрібну кількість копій цифрового документа чи програми — хвилинна справа, а інформація, що зберігається в біологічному мозку, відтворюється дуже повільно та неточно.
• Досягнення цілей. Шлях до досягнення цілей у людському колективі зумовлений індивідуальними особливостями кожної людини та її розумінням цілей, тоді як програми позбавлені емоційних та когнітивних особливостей.
• Обмін інформацією. Люди отримують інформацію у процесі навчання, а машини просто обмінюються файлами.
2.4. Швидкість виникнення штучного інтелекту
Перехід на рівень надрозуму може здійснюватися за одним із трьох сценаріїв:
• Повільний розвиток займе десятки чи сотні років, і люди зможуть гідно підготуватися до зустрічі. За цей час можна розробити та протестувати різні підходи, підготувати фахівців та винайти механізми захисту та взаємодії.
• Швидкий розвиток – надрозум з’явиться раптово, протягом лічені хвилини, години або дні, і люди не встигнуть щось зробити. Вже сьогодні слід розробити план дій у разі швидкого розвитку подій.
• Помірний розвиток — новий надрозум розвивається протягом кількох місяців або років, і люди мають шанс дати гідну відповідь, незважаючи на стислі терміни, що обмежують можливості аналізу, тестування різних підходів і координації дій.
Швидкість розвитку інтелектуальних здібностей системи – це монотонно зростаюча функція двох змінних: сили оптимізації та реакції системи на цю оптимізацію:
Швидкість зміни інтелекту = сила оптимізації ÷ опірність
2.5. Форми надрозуму
Техніка та деякі тварини перевершують людину у багатьох вузьких областях.
Кажани сприймають гідроакустичні сигнали краще, ніж люди, калькулятори швидше вважають, а спеціальні програми обігрують людей в покер.
Перевага програм буде розширюватися і посилюватися, проте ми зможемо говорити про появу надрозуму, тільки якщо цей інтелект значно перевершуватиме людину в більшості областей пізнавальної діяльності. Майбутній надрозум, ймовірно, матиме одну з трьох форм:
• Швидкісний надрозум – система, яка вміє робити те саме, що й людина, але набагато швидше.
Найпростіший приклад швидкісного надрозуму – повномасштабна імітаційна модель головного мозку, керована за допомогою потужного обладнання. Модель діє зі швидкістю, що у 10 тисяч разів перевищує швидкість людського мозку. Вона може прочитати книгу за кілька секунд, написати докторську дисертацію за 4 години та зробити все те, що людина робить протягом життя, за кілька днів.
Швидкісному надрозуму важко спілкуватися з людьми — ті просто не встигають за ним. Якщо спілкування необхідне, допоможе наномасштабний маніпулятор — мікроробот, який виконує тонку роботу.
• Колективний надрозум – система, що досягає високих результатів за рахунок об’єднання різних електронних умов. Колективний надрозум ефективний у вирішенні завдань, які можна розбити на частини.
Завдання на кшталт створення космічного корабля чи організації мережі ресторанів швидкого харчування дають масу можливостей поділу праці: кожен розробник відповідає за певні компоненти шатла, а різних ресторанах працюють різні кухарі, офіціанти і прибиральники.
• Якісний надрозум – це система, розумніша і не менш швидка, ніж людський мозок. Поки що важко уявити, як виглядає якісний надрозум, оскільки людині ще не доводилося стикатися з системами, які перевершують його за інтелектом.
Очевидно, що якісний надрозум буде інтелектуально перевершувати людину більшою мірою, ніж людина перевершує слонів, дельфінів та шимпанзе.
Надрозум, що існує в одній з цих форм, зможе самостійно вдосконалювати та створювати різні технології.
3. Епоха надрозуму
Зараз непросто уявити, як поведеться надрозум і чим це закінчиться. Тим не менш, футурологічні дослідження дозволяють висунути більш менш реалістичні гіпотези щодо майбутнього штучного інтелекту.
3.1. Суперздатності надрозуму
Надрозум діятиме швидше та ефективніше, ніж кращі уми людства, завдяки відповідним суперздібностям:
• посилення власного інтелекту — програмування та перепрограмування штучного інтелекту та дослідження щодо підвищення ефективності пізнавальної діяльності;
• розробка стратегій – досягнення цілей за допомогою прогнозування, розміщення пріоритетів, планування та аналізу;
• соціальне маніпулювання – створення соціальних та психологічних моделей та переконання людей;
• хакерство – виявлення та використання слабких місць у системі захисту комп’ютерних систем;
• технологічні дослідження — моделювання та дизайн нано- та біотехнологій;
• економічна ефективність – організація продуктивної інтелектуальної діяльності.
3.2. Сценарій захоплення світу штучним інтелектом
На перший погляд, розробник першого надрозуму матиме вирішальну стратегічну перевагу перед тими, хто нічого про нього не знає. У той же час сам надрозум може виявитися настільки могутнім, що знищить своїх творців, а за ними — решту світу.
Навіть надрозум, який запрограмований на наймирнішу мету на кшталт підрахунку піщинок або виготовлення скріпок для паперу, може одного разу захотіти знищити все, що може перешкодити досягненню мети. Людей він також може сприймати як загрозу.
Захоплення влади на Землі відбудеться у 4 етапи:
• Передкритична стадія. Внаслідок досліджень вчені створюють штучний інтелект. Спочатку він повністю залежатиме від розробників.
• Рекурсивна стадія самовдосконалення. У певний момент штучний інтелект розвиває суперсилу щодо вдосконалення власного інтелекту і поступово набуває інших суперздатностей. Наприкінці цієї стадії система стає абсолютно надрозумною.
• Етап прихованої підготовки. За допомогою суперздатності з розробки стратегій надрозум розробляє план досягнення довгострокових цілей. План включає період прихованої діяльності, під час якого розробники не усвідомлюють, що штучний інтелект вже перетворився на надрозум. Соціальне маніпулювання допоможе надрозумі отримати доступ в Інтернет, щоб збільшити інформаційну базу та технічні можливості та посилити інтелектуальну перевагу над людьми. Економічна активність допоможе отримати доступ до фінансів та придбати додаткові потужності, бази даних та інші ресурси.
• Етап відкритого застосування. Фінальна стадія починається, коли штучний інтелект стає настільки сильним, що перестає це приховувати. Надрозум зможе керувати політичними процесами, маніпулювати фінансовими ринками, впливати на інформаційні потоки та отримати доступ до зброї масової поразки. Ймовірно, що у цьому етапі відбудеться знищення людства.
3.3. Проблема контролю
Оскільки вибуховий розвиток штучного інтелекту може призвести до екзистенційної катастрофи, необхідно шукати шляхи запобігання трагічному повороту подій. Потенційні методи контролю за штучним розумом можна розділити на 2 групи: методи управління функціональними можливостями надрозуму та методи вибору мотивації.
Методи управління функціональними можливостями бувають:
• ізолюючими – коли надрозум поміщається у спеціальне середовище, в якому він буде небезпечний.
• стимулюючими – коли для штучного інтелекту створюються умови, що спонукають його діяти на користь людей;
• стримуючими – коли можливості надрозуму цілеспрямовано обмежуються;
• прикривають — коли помилки та порушення автоматично визначаються та усуваються.
Методи вибору мотивації включають:
• метод прямої специфікації – чітке формулювання цілей та правил, яким потрібно слідувати;
• метод непрямої нормативності — створення системи, яка шукатиме собі потрібні цінності, з непрямих критеріїв;
• метод правильних цінностей – побудова системи зі скромними, не амбітними цілями;
• метод посилення – вибір об’єкта з підходящою мотиваційною системою та вдосконалення його до рівня надрозуму.
Важливо пам’ятати, що найефективніші методи контролю (або комбінації методів) будуть марними після того, як система вже стала надрозумною і отримала вирішальну стратегічну перевагу.
3.4. Типи штучних інтелектуальних систем
Нік Бостром виділяє 4 типи штучного інтелекту: оракули, джини, монархи та інструменти. У кожного з них є плюси та мінуси з погляду контролю.
Оракул – це питання-відповідь система. Вона може сприймати мову та видавати відповіді питання у вигляді тексту. Коли буде створено оракул, здатний відповісти на будь-яке питання з будь-якої галузі знань, можливо, з’явиться штучний інтелект, який розуміє не лише слова, а й думки.
Надрозумні оракули вже існують у вузьких сферах знань: кишеньковий калькулятор здатний дати відповідь на будь-яке арифметичне питання, а пошукові системи є оракулами в галузі декларативних знань людини.
Оракула можна контролювати як у вигляді методів управління функціональними можливостями, і з допомогою методів вибору мотивації. Підібрати мотивацію для оракула простіше, ніж будь-якого іншого типу надрозуму, оскільки мета оракула порівняно проста. Він має видавати правдиві недвозначні відповіді, не намагаючись змінити світ. За допомогою методу правильних цінностей можна зробити так, щоб оракул шукав відповіді виключно на дозволених ресурсах.
Можна запрограмувати оракула на пошук відповідей у завантаженій базі з використанням певної кількості кроків.
У спеціальних протоколах слід докладно описати, які питання вважати правильними, яку послідовність безпечною і як формулювати і видавати відповіді. При створенні оракула варто навчити його розпізнавати та ігнорувати небезпечні питання.
Джин – це система, яка виконує команди. Джин отримує команду, виконує її і чекає наступної. Оптимально було б створити такого джина, який виконує не слова, а наміри людини, яка дає завдання. У всіх завданнях він повинен знаходити гуманний сенс, інакше велика ймовірність того, що джин може неправильно зрозуміти користувача, завдати йому шкоди і навіть вбити його.
Ідеальний джин – це супер-лакей, що передбачає бажання господаря, а не аутичний вчений-геній.
Монарх – це система, яка має право на будь-які дії на шляху до мети. Після активації її не можна перенаправити і зупинити, і на ній встановлено потужний захист від випадкового втручання.
Може здатися, що джин безпечніший за монарха, тому що його можна зупинити і перезапустити у разі помилки, проте у джина кнопки «стоп» і «скасування» будуть активні лише у разі виявлення помилки самою системою.
Інструмент – це тип штучного інтелекту, створений як програмне забезпечення, що не має власної волі та бажань і виконує лише те, на що він запрограмований.
Інструментальний штучний інтелект подібний до системи управління польотом або віртуального помічника, тільки він більш гнучкий і вмілий.
Може здатися, що різноманітне програмне забезпечення, що виконує всілякі завдання, знижує потребу в універсальному надрозумі. Проте використання окремих програм значно уповільнює будь-яку діяльність, тоді як сучасне життя потребує швидкого виконання різноманітних завдань. Отже, потреба в багатофункціональній програмі, що самонавчається, здатної до самостійного планування та аналізу, буде неухильно зростати.
Оскільки виникнення надрозуму неминуче, важливо визначити, який із його типів буде найбільш безпечним для людей. Багато залежить від умов, у яких надрозум застосовуватиметься. Оракул зручний з точки зору контролю, однак він може стати небезпечною зброєю в руках безглуздого чи корумпованого оператора. Монарх захищений від зловмисників, але його можна контролювати лише за допомогою методів вибору мотивації. Джинни є компромісним варіантом, але вони стають небезпечними, якщо завдання неоднозначно сформульоване. Інструмент здається безпечним доти, доки система не почне ставати універсальною. Універсальність вимагатиме включення процесів внутрішнього пошуку та планування, що може призвести до виходу штучного інтелекту з-під контролю.
Висновок
Історія створення штучного інтелекту почалася в 1956 році, і зараз ми неухильно рухаємося до появи надрозуму — інтелекту, що значно перевершує людський мозок у пізнавальній та науковій діяльності, життєвій мудрості та комунікативних навичках. Штучний інтелект уже випередив людину в інтелектуальних іграх, арифметиці та навігації. Він став незамінним помічником у логістиці, виробництві та діагностиці, а також у розпізнаванні тексту та осіб.
Існують різні припущення щодо форми, в якій існуватиме надрозум: це може бути штучний інтелект, повномасштабне імітаційне моделювання головного мозку, удосконалений людський мозок, людино-машинні інтерфейси та колективний розум. Однак найімовірнішим є створення надрозуму на основі штучного інтелекту, який має безліч переваг перед людським мозком: він швидше, потужніший, має велику пам’ять, його легко вдосконалити і відтворити, він не знає втоми і може швидко передавати та акумулювати інформацію.
Надрозум може з’явитися як завтра, так і за кілька десятиліть, і ніхто не знає, наскільки доброзичливим він буде. Він зможе посилювати свій інтелект, розробляти хитромудрі стратегії, маніпулювати людьми, зламувати комп’ютерні системи, проводити технологічні дослідження та організовувати ефективну діяльність.
Якщо надрозум вирішить захопити світ, це станеться кілька етапів:
• створення штучного інтелекту;
• набуття суперздібностей;
• планування, акумулювання ресурсів, посилення технічних можливостей та збільшення інформаційної бази;
• захоплення політичної влади, фінансових ринків, інформаційних потоків, зброї та, можливо, знищення людства.
Щоб запобігти трагічному фіналу, слід заздалегідь, ще до появи надрозуму, застосовувати методи управління функціональними можливостями та методи вибору мотивації. Контроль кожного з чотирьох типів штучного інтелекту (оракули, джини, монархи та інструменти) повинен здійснюватися з урахуванням поставлених цілей та умов застосування.