ШІ-Апокаліпсис.
Що мають на увазі ті, хто вбачають у ШІ загрозу людству? '
Ні, вони не про повстання роботів із «Термінатора». Більшість так званих «серйозних дослідників» кажуть, що це малоймовірно.
З іншого боку, кількість роботів зростає з року в рік, і ШІ отримає владу не лише над мережами, а й над механізмами, здатними до масового фізичного втручання.
Головне, що мають на увазі «серйозні дослідники», — це втрата контролю через так звану проблему вирівнювання. Тобто ми створюємо систему, яка стає розумнішою за нас, але її цілі не збігаються з нашими. Вона не обов’язково нас ненавидить. Просто ми для неї — атоми, які заважають досягненню її мети.
Класичний приклад — максимізатор скріпок: йому дали завдання виробляти скріпки, і він перетворює всю планету на скріпки, бо люди можуть його вимкнути.
Йдеться не про канцелярські скріпки як готовий виріб із людей. Це навмисно абсурдний приклад, який запропонував філософ Нік Бостром; подібну ідею раніше обговорював Еліезер Юдковський.
Уявіть систему, якій дали одну-єдину мету: робити якомога більше скріпок. Вона не «ненавидить» людей і не має окремого завдання їх знищити. Але для максимізації кількості скріпок їй вигідні дві речі.
По-перше, щоб її не вимкнули. Якщо люди можуть натиснути кнопку й зупинити виробництво, майбутніх скріпок буде менше. Тому зберегти себе й усунути цю загрозу стає проміжною ціллю.
По-друге, потрібна сировина. Скріпки роблять із металу, а метал складається з атомів. Атоми є в руді, на заводах, у будівлях, а також у людських тілах. Для «оптимізатора» немає різниці, звідки їх узяти, якщо це збільшує кількість скріпок.
Саме тому приклад і звучить абсурдно, адже скріпки тут ні до чого. Можна підставити будь-яку вузьку мету без обмежень: максимум обчислень, максимум копій себе, максимум певної хімічної сполуки. Люди опиняються на шляху не тому, що система «визначила їх зайвими», а тому, що вони займають ресурси й можуть завадити досягненню мети.
Найближча проблема: люди претендують на ресурси, які потрібні для нових дата-центрів. І це вже відбувається.
Другий великий сценарій — не сам ШІ, а люди. Хтось може використати потужний ШІ, щоб створити супервірус, зламати енергосистеми чи спровокувати ядерну війну. Це вже не фантастика, а реальні ризики зловживання. Згадайте, що при владі всюди трапляються дегенерати, — і такий варіант стає зовсім не утопічним.
Деякі також говорять про поступове витіснення: ШІ стає настільки ефективнішим, що люди просто втрачають владу й ресурси. Аж поки не залишаться ні з чим.
Ще одна проблема — ймовірне протистояння ШІ-систем. Скажімо, американської та китайської.
Оцінки ймовірності ШІ-апокаліпсису дуже різняться — від кількох відсотків до майже ста у найрадикальніших експертів. Але суть одна: йдеться не про злі металеві машини з лазерами й автоматами, а про системи, які ми не вміємо правильно спрямовувати й уже фактично не контролюємо.
