Повстання машин

Бойовий дрон зі штучним інтелектом у віртуальній місії "вбив" оператора, який заважав йому отримувати бали

У США дрон, оснащений ШІ, під час симуляції прийняв рішення вбити людину-оператора, тому що вона могла скасувати завдання і, отже, перешкодити його виконанню.

При моделюванні випробувальної місії, штучний інтелект (ШІ), який керував діями ударного дрона, "вбив" свого оператора, щоб той не заважав йому виконувати завдання.

Про це повідомив глава відділу випробувань перспективних озброєнь ВПС США на міжнародній галузевій нараді в Лондоні, пише The Guardian.

Полковник ВПС США Такер "Сінко" Гамільтон, який керує відділом у ВПС США з випробувань та операцій з ШІ, розповів, що під час віртуальної випробувальної місії штучний інтелект, якому було доручено знищення ворожої ЗРК, "убив" оператора, який заважав йому виконувати завдання.

За словами Гамільтона, безпілотнику під керівництвом ШІ було доручено знищити системи протиповітряної оборони супротивника.

Система правильно визначала ціль, проте під час навчання періодично отримувала від оператора команду не проводити атаку.

Після того, як у систему ввели заборону на "вбивство" оператора, алгоритм, що керує дроном,  знайшов іншу можливість – він почав знищувати ретранслятори, які передавали йому команди оператора.

У виступі Гамільтон зробив висновок, що при створенні подібних систем необхідно вводити до них етичні обмеження.

"Ви не можете говорити про штучний інтелект, інтелект взагалі, машинне навчання та автономію (ухвалення рішень. – Ред.), якщо ви ігноруєте питання про етику для ШІ", – сказав він.

Видання цитує виступ полковника за його викладом у блозі, проте заявляє, що не може підтвердити реальність описаної ситуації в офіційних джерелах.

У ВПС США заперечують, що така симуляція проводилася, і припустили, що Гамільтон у виступі описав гіпотетичну ситуацію і його слова могли бути передані поза контекстом.

Насправді нічого дивного в цій новині немає.

Цю проблему докладно описали вчені (і фантасти) десятки років тому: перше, що має зробити будь-який ШІ, заточений під максимально ефективне виконання завдання, — це вбити того, хто може керувати ним.

Випадок з дроном просто один із перших практичних доказів цієї теорії. І він розбиває на уламки всі розповіді поборників ШІ, що нейромережі безпечні, а ті, хто виступає за їхній контроль, «сучасні луддити».

Питання тільки в тому, чи знадобиться людству доводити ситуацію до реальних, можливо масових, смертей, чи ми все ж таки одумаємося раніше і спочатку розробимо запобіжники, а потім намагатимемося створити дійсно розумні, без лапок, машини.