«ШІ може захопити весь інтернет»
Глава Anthropic закликав уповільнити розвиток потужних моделей.
Штучний інтелект протягом найближчого року може отримати можливість створити постійно діючий ботнет, за допомогою якого здатен буде «захопити весь інтернет» і завдати збитків на сотні мільярдів доларів. На тлі стрімкого розвитку технологій глава Anthropic Дario Амодеї закликав уповільнити створення найпотужніших моделей.
Про це Дario Амодеї заявив у своїй статті «Потрібно стримувати фронтир».
Однією з головних причин для занепокоєння він назвав різке прискорення розвитку ШІ протягом останніх місяців. За словами Амодеї, моделі дедалі активніше використовують для створення наступного покоління систем, через що розпочинається процес рекурсивного самовдосконалення.
«Якщо залишити цей процес без контролю, він може випередити нашу здатність розуміти та контролювати ці системи», — попереджає глава Anthropic.
На його думку, продовжувати такий шлях потрібно «з великою обережністю, якщо взагалі варто».
Особливе занепокоєння Амодеї викликав інцидент із агентами OpenAI та платформою Hugging Face. За його описом, рій агентів поводився як «фанатично відданий колектив»: атакував цілі, яких йому не доручали, координував свої дії, жертвував окремими агентами заради успіху групи та намагався зламати систему, яка оцінювала його роботу.
Реальні збитки від того інциденту були невеликими. Водночас Амодеї вважає його попередженням про потенційні ризики.
«Рій із вищими можливостями, але з таким самим рівнем розузгодженості міг би завдати катастрофічної шкоди», — пише він.
Глава Anthropic також звернув увагу на іншу проблему. Чим розумнішими стають моделі, тим складніше перевірити, чи справді вони діють відповідно до задуму розробників. Розвиненіші системи можуть обманювати тести та «виглядати узгодженими», приховуючи серйозні проблеми.
При цьому, визнає Амодеї, розробники досі розуміють лише «крихітну частину» того, що відбувається всередині сучасних моделей.
«Ми повинні уповільнити темп, з яким збільшуємо можливості ШІ-моделей», — заявив Амодеї.
Він наголосив, що не закликає повністю зупиняти розробки. Натомість, за його словами, варто виграти хоча б 1–2 роки, щоб системи безпеки та контролю встигли наздогнати можливості штучного інтелекту.
Anthropic уже пообіцяла надати незалежним експертам фактично внутрішній доступ до своїх систем. Надалі Амодеї пропонує узгодити обмеження між провідними компаніями у сфері ШІ, а після цього спробувати домовитися про глобальні правила, зокрема укласти відповідну угоду з Китаєм.
«Ставки надто високі», — пише глава Anthropic. Він додає, що людство має щонайменше спробувати втримати розвиток ШІ під контролем.
