Колись хакери були люди. Невдовзі ШІ хакне людство

ШІ виконує бажання, немов підступний джин, визискуючи, як ніколи досі, суспільну, політичну й економічну системи.

·        БРЮС ШНАЄР

·        Вайрд

·        19 квітня 2021 р.

Якщо вам ще не досить приводів тривожитися, уявіть світ, де штучні інтелекти обернулися на хакерів.

Хакерство існує споконвіку. Бо ми підходимо до розв’язування задач творчо. Визискуємо лазівки, махлюємо з системами й жадаємо ще більше впливу, влади, заможності. Досі хакерство залишалося прерогативою людей. Це ненадовго.

Як я зазначив у щойно оприлюдненому звіті, ШІ рано чи пізно відшукає вразливості в суспільних, економічних і політичних системах усілякого штибу й заходиться визискувати їх із небувалою швидкістю й розмаїттям і в немислимих масштабах. Коли ж ШІ хакне людство, то почне хакати інші ШІ. Тут уже збитки людству стануть просто втратами серед цивільних на війні.

Гаразд-гаразд, може, я трохи перебільшую; але ж здатна на це техніка — вже не предмет фантастики про далеке майбутнє. Я не кажу про «сингулярність ШI», де ШІ навчатиметься на досвіді зі швидкістю, недоступною для людського сприйняття. Не припускаю, що з’являться розумні андроїди. Не припускаю злих намірів. Хакерські хватки, про які йдеться, здебільшого не вимагають жодних проривних досліджень ШІ. Вони вже діють. От тільки що досконаліший ШІ, то менше ми спроможні це завважити.

ШІ розв’язують задачі не по-людськи. Бо помічають більше шляхів до розв’язку. Наприклад, такі складні, що нам не до снаги. Оце найперша пастка: так звана проблема витлумачуваності. Сучасні системи ШІ — по суті, чорні скриньки. З одного боку надходять дані, з другого виходять відповіді. Не завжди можливо втямити, як відреагував така система, навіть коли ти сам її й програмував.

У 2015 р. група дослідників згодувала системі ШІ «Deep Patient» історії хвороби десь 700 000 осіб, щоб перевірити, чи здатний він ставити діагнози. Виявилося, що так; щоправда «Deep Patient» не пояснював, на підставі чого поставив діагноз, — а дослідники так і не втямили, як він доходив висновків. Лікар управі нехтувати комп’ютером чи довіряти йому — але якщо довіряти, то сліпо.

Науковці працюють над ШІ, здатним тлумачити, що і як робить. Але поки що, схоже, функціональні можливості обернено пропорційні ступеню витлумачуваності. Тлумачення — щось на кшталт розумової стенографії; ними користуються люди, вони вигострені під людські способи приймання рішень. Примус ШІ до тлумачення своїх дій, імовірно, стане додатковим стриманням, що позначиться на якості його рішень. Наразі ШІ чимдалі важче зрозуміти й витлумачити.

Поза тим, ШІ може вдатися до так званого парадоксального пошуку, попросту, хакання заохочення. ШІ розв’язує задачі не так, як люди, тому регулярно наштовхується на розв’язки, що нізащо не спали б на думку нам, — і чимало таких розв’язків суперечать початковим намірам. Річ у тім, що ШІ не «мислить» у термінах наслідків, середовища, норм і цінностей, що їх ми, люди, поділяємо й маємо за очевидні. Парадоксальний пошук заохочення — це досягнення мети у спосіб, що його розробники ШІ не передбачали й не бажали.

Візьмімо імітатор футболу. ШІ вирахував, що як вибити м’яча в аут, воротар укидатиме його з-за бокової, а ворота будуть порожні. Інший приклад зі спорту: ШІ запропонував, що регбіст має бути такий великий на зріст, щоб, просто впавши, приземлити м’яч у заліковому полі. А ось із реального життя: робот-пилосос, замість учитися не наштовхуватися на предмети, їздить заднім ходом, бо позаду не має датчиків, що попереджали б про зіткнення. Якщо недоліки, внутрішні суперечності чи лазівки в правилах є, та якщо вони дозволяють знаходити розв’язок, що не порушує правила, майте певність: ШІ усе це знайде.

Власне, ми всі знаємо про це змалку. Згадайте історію царя Мідаса. Діоніс погодився виконати будь-яке його бажання. Той попрохав, щоб усе, до чого він доторкнеться, оберталося на золото. Й помер із голоду та в журбі, бо їжа, напої, ба навіть власна донька перетворилися на золото. Це питання неповної постановки завдання: Мідас запрограмував мету системи в хибний спосіб.

З арабських казок ми знаємо, що джини виконують бажання буквально — навіть коли це шкодить прохачу. Знати знаємо, та способу перехитрувати джина не вигадали й дотепер. Чого б ти не зажадав, він це дасть — але так, що ти пожалкуєш. Джин «хакне» твоє бажання. У людській мові й думці цілі й бажання завжди описані не до кінця. Ми ніколи не описуємо всі можливі варіанти, не додаємо всі застосовні обмовки, винятки й припущення. А мету завжди формулюємо не повністю.

Бо люди найчастіше розуміють середовище без прямого тлумачення, і діють здебільшого добросовісно. А ось вичерпно розтлумачити ШІ поставлену мету ми не здатні. ШІ ж не спроможні повністю осягнути середовище.

У 2015 р. корпорацію «Фольксваген» спіймали на ошуканстві з аналізом викидів. ШІ тут ні до чого. Звичайний комп’ютер запрограмували на обман люди, інженери. Але приклад показовий. Отже, бортовий комп’ютер запрограмували так, що коли він виявляв типові умови аналізу викидів, то перемикав двигун у інший режим. І це сходило з рук роками.

Якби я запропонував вам написати програму керування автомобільним двигуном у такий спосіб, щоб він мав найбільший ККД і при цьому успішно проходив аналіз викидів, ви б, може, й заклали в цю програму якийсь трюк, але чітко знали б, що він там є. Не те з ШІ. Він «мислить нестандартно», бо не зна, що то є стандарт. Йому невтямки, що варіант «Фольксвагена» шкодить людям, суперечить цілям аналізу викидів, урешті, порушує закон. Тож ШІ знайде цей варіант — коли, звісно, програмісти не зазначать прямо, що двигун має діяти однаково в русі й під час аналізу. Програмісти втішені, бухгалтери — в захваті. І жоден не розуміє, що робить ШІ — через проблему витлумачуваності. Певна річ, знаючи, що трапилося на «Фольксвагені», ми можемо прямо заборонити ШІ хакати систему отак. От тільки в джина-хакера завжди знайдеться щось новеньке.

Наскільки відповідає реальності, що ШІ здатен хакнути світ? Практична здійсненність будь-якого винаходу ШІ визначається специфікою модельованої ним системи. Щоб ШІ бодай розпочав оптимізувати задачу, не кажучи вже про те, щоб її хакнути несподіваним розв’язком, усі правила та параметри середовища мають бути формалізовані, причому так, щоб їх розумів комп’ютер. Мають бути поставлені цілі; в сфері ШІ вони звуться цільовими функціями. ШІ має бути обладнаний засобами зворотного зв’язку, щоб «розуміти», наскільки вдало працює, й удосконалюватися.

Подеколи це просто. Візьмімо шахи: правила, мета й зворотний зв’язок — виграв ти чи програв — описані абсолютно точно. Жодного середовища, що затуманювало б картину, немає. Через це більшість наявних прикладів парадоксального пошуку заохочення чи розуміння цілей стосуються імітованого середовища. Це штучні та обмежені задачі, всі правила в яких розтлумачені ШІ. Питома неоднозначність більшості інших систем — це і є в найближчій перспективі найкращий захист від хакерських хваток ШІ.

А ось там де системи добре описані й майже цілком цифрові, все набагато цікавіше. Поміркуймо про системи державного регулювання, як-от податковий кодекс, як про послідовність алгоритмів із входами й виходами. Чи про фінансові системи, біль-менш простежувані алгоритмічно.

І уявімо ШІ, в який завантажені всі закони й підзаконні акти світу, уся фінансова інформація та все інше, що ми маємо за потрібне, підвантажується в режимі реального часу, а задача йому поставлена «максимізувати зиск». Як на мене, незабаром щось таке з’явиться. Результатом будуть новітні хакерські штучки.

Поступ у галузі ШІ не сталий і часом суперечить здоровому розуму. Щось здавалося простим, а виявляється складним, а інше, що здавалося складним, раптом робиться зовсім просто. Як воно буде, ніхто не знає, доки не здійсниться чергова революція.

Коли ШІ стануть хакерами, все зміниться радикально. Адже ШІ не стримує та не обмежує те, що людей. Швидкість, обсяг і масштабність хакерства ШІ, його прискорення й потуга заскочать нас зненацька. Наприклад, текстові боти ШІ в соцмережах тиражуватимуться мільйонами. Без упину вони втручатимуться в обговорення яких завгодно питань, надсилатимуть мільярди повідомлень і заглушать будь-яку дискусію, що її ведуть в Інтернеті люди. Не за горами запеклі політичні дебати, в яких боти сперечатимуться з іншими ботами. Вони навіють нам, що мати за норму, яку думку мати стосовно того, яку думку мають інші.

А повсюдне поширення систем ШІ робить їхнє хакерство ще небезпечнішим. ШІ вже ухвалюють важливі рішення щодо нашого життя, рішень, які нещодавно були прерогативою людей: кого випускати достроково з ув’язнення, кому давати позику в банку, кого приймати у виш, кого наймати на роботу. Що більше здібностей матимуть ШІ, то більше рішень — чимдалі важливіших — суспільство перекладатиме на них. Тож і збитки від їхнього хакерства чимдалі зростатимуть.

Що, як згодувати ШІ весь податковий кодекс США? Або й податкові кодекси всього світу, якщо це робить транснаціональна корпорація? Чи він вирахує без підказки, що корпорацію вигідніше реєструвати в штаті Делавер, а судно — в Панамі? А скільки знайде лазівок, про які ми поки що не знаємо? Кількадесят? Кілька тисяч? Поняття не маємо.

Суспільні системи, вигострені проти хакерських прийомів, формувалися, коли хакери були люди. Вони розраховані на людські швидкість, обсяг і масштаби. Податкова інспекція не здатна впоратися з десятками, не кажучи вже про тисячі свіжо знайдених дірок у законодавстві. ШІ, що винайде непередбачені, але законні способи хакнути фінансову систему, вчинить розгром на біржі, перш ніж ми щось протиставимо.

Як зазначено в моєму звіті, з хакерських прийомів можуть скористатися не лише нападники для визиску, але й оборонці для виправлення та вбезпечення. У довгостроковій перспективі ШІ-хакери віддаватимуть перевагу обороні, бо наші програмні засоби, податкові кодекси, фінансові системи тощо можна позбавити вад, перш ніж упроваджувати. Певна річ, перехідний період буде небезпечний через хакнуті вади успадкованих систем. Тут наша відповідь — опірність.

Ми маємо будувати опірні керівні структури, що швидко й дієво реагують на хакерство. Не годиться, щоб унесення змін до податкового кодексу розтягалося на роки чи лазівка в законі ставала настільки широко вживана, щоб усувати її було не можна з політичних міркувань. Це найскладніша задача сучасної системи керування. Вона не надто відрізняється від задачі побудови керівних структур, спроможних діяти на рівні швидкості й складності, питомому для інформаційної доби.

Тема мого допису — взаємодія між людьми та обчислювальними системами й ризики, що їх неможливо уникнути, коли комп’ютери переймають на себе частину людських справ. Це задача вищого порядку, ніж хакерство ШІ. На цю ж тему пишуть фахівці з техніки й футурології. Неважко попустити віжки техніці, що провадить нас у майбутнє, та, мабуть, нам вийде на краще, як ми громадою вирішуватимемо, яку роль має відігравати техніка в цьому майбутньому.

І це конче треба робити зараз, поки ШІ не під’єдналися до Інтернету й не заходилися хакати світ.

Оригінал: https://www.schneier.com/essays/archives/2021/04/hackers-used-to-be-humans-soon-ais-will-hack-humanity.html