Даріо Амадеї (CEO Anthropic): до 2027 року ми побачимо появу потужного ШІ («країни геніїв у дата-центрі»), і наше виживання залежить від того, чи зможемо ми подолати п’ять критичних ризиків.
Які це ризики?
ризик автономності (ШІ виходить з-під контролю);
зловживання заради руйнування (біотероризм);
зловживання заради захоплення влади (тиранія);
економічні потрясіння;
побічні та «невідомі» ризики.
Розглянемо ці ризики, але не в тій послідовності, як пропонує Даріо Амадеї. Почнемо з (на мій погляд) простих та очевидних. У першій частині статті – про зловживання заради руйнування (біотероризм) та зловживання заради захоплення влади (тиранія).
Що таке взагалі цей потужний ШІ?
Цитата з Даріо Амадеї:
Уявіть, що в якійсь частині світу приблизно у 2027 році матеріалізувалася буквально «країна геніїв». Уявіть, скажімо, 50 мільйонів людей, кожна з яких значно здібніша за будь-якого лауреата Нобелівської премії, державного діяча чи технолога. Аналогія не ідеальна, адже ці генії можуть мати надзвичайно широкий спектр мотивацій та поведінки: від цілком поступливих і слухняних – до дивних і чужих у своїх прагненнях. Але, дотримуючись аналогії, припустімо, що ви – радник із національної безпеки великої держави, відповідальний за оцінку ситуації та реагування на неї. Уявіть також, що, оскільки системи ШІ можуть працювати у сотні разів швидше за людей, ця «країна» має часову перевагу щодо всіх інших країн: на кожну когнітивну дію, яку можемо зробити ми, ця країна може зробити десять.
Зловживання заради руйнування (біотероризм)
Знову цитата:
Припустімо, нова країна податлива і «дотримується інструкцій» – і, таким чином, по суті є країною найманців. Чи можуть існуючі зловмисники, які прагнуть сіяти руйнування (наприклад, терористи), використовувати чи маніпулювати деякими людьми в новій країні, щоб зробити себе набагато ефективнішими, значно збільшуючи масштаби руйнувань?
У цьому розділі Даріо Амадеї розглядає біологію як найбільш небезпечну науку (але зауважує, що аналогічні ризики можуть існувати й в інших сферах, де можливі великі руйнування, які нині стримуються необхідністю високого рівня майстерності та дисципліни). Проте зупинимося саме на біології. Насамперед – на вірусології.
Вірусологія (пам’ятаємо дискусії на тему «звідки взявся COVID?») – надзвичайно небезпечна. Людство неодноразово страждало від чуми, віспи, інших епідемій (населення тієї ж Європи скорочувалося в рази). Раніше ці хвороби були «природними». У ХХ столітті стали можливими й віруси, створені людиною. Але (поки що) існував «бар’єр входу»: щоб «створити вірус», необхідні були освіта й майстерність (рівень щонайменше доктора вірусології), лабораторії та наукові центри, у яких усе ж існували дисципліна та заходи безпеки — аби «чудовисько» не вирвалося назовні.
Але:
геній у кишені в кожного може усунути цей бар’єр, по суті перетворивши будь-кого на «доктора вірусології», якого можна крок за кроком провести через процес проєктування, синтезу та випуску біологічної зброї. Запобігання вилученню такої інформації в умовах серйозної протидії з боку зловмисників – так званих «джейлбрейків» – імовірно, потребує рівнів захисту, які виходять за межі тих, що зазвичай закладаються під час навчання.
Думаю, усвідомлення жахливої небезпеки біотероризму є в кожного. (І це стосується не лише вірусології. А генетика? А нове явище під назвою «дзеркальне життя»? А багато-багато чого іншого «біологічного»? «Вірус» – це лише початок біології, це навіть не «абсолютно» жива істота).
Основне питання вже в іншому: як від цього захиститися?
Чесно кажучи, спостерігаючи, як останнім часом «світ збожеволів», у мене великі сумніви, що людство (божевільне) здатне швидко вирішити цю проблему… Але… є більш професійні в цьому питанні люди – той же Даріо Амадеї. І він пропонує певні заходи, які можуть допомогти. Втім, пам’ятаємо, що Амадеї зазначає: це есе – лише початок розмови… Потрібно працювати, генерувати нові ідеї, а потім перетворювати їх на нові технології, нові закони… Усе це надзвичайно складно, адже ШІ «мислить» значно швидше за нас. І нам доведеться конкурувати з ним саме у швидкості ухвалення рішень.
Отже, які варіанти (заходи захисту) пропонує Даріо Амадеї? Знову цитати.
ШІ-компанії можуть встановити захисні бар’єри («гардрейли») на свої моделі, щоб запобігти їхній допомозі у створенні біозброї. Anthropic активно цим займається. Конституція Claude, яка здебільшого фокусується на високорівневих принципах і цінностях, містить невелику кількість конкретних жорстких заборон, і одна з них стосується допомоги у створенні біологічної (або хімічної, ядерної, радіологічної) зброї.
Як другу лінію оборони ми впровадили (із середини 2025 року, коли наші тести показали, що моделі починають наближатися до порогу, за яким вони можуть становити ризик) класифікатор, який спеціально виявляє та блокує відповіді, пов’язані з біозброєю. Ми регулярно оновлюємо та вдосконалюємо ці класифікатори й загалом виявили, що вони дуже стійкі навіть до витончених змагальних атак.
Даріо Амадеї також пропонує розробити законодавство, яке буде чітко націлене на ці ризики і матиме меншу ймовірність супутніх збитків. Повний захист від них, на мою думку, вимагатиме міжнародного співробітництва – навіть із геополітичними противниками, у межах міжнародних договорів, що забороняють розробку біологічної зброї.
Третій контрзахід – це спроба створити засоби захисту від самих біологічних атак: моніторинг і відстеження для раннього виявлення, інвестиції в НДДКР з очищення повітря (наприклад, знезараження далеким УФ-С-випромінюванням), розробку швидких вакцин, які можуть оперативно реагувати та адаптуватися до атаки, поліпшені засоби індивідуального захисту (ЗІЗ), а також методи лікування або вакцинації. мРНК-вакцини, здатні швидко адаптуватися до конкретного вірусу чи його варіанта, – ранній приклад того, що тут можливо.
Це все – пропозиції Даріо Амадеї.
ІМХО: усе правильно. Усе абсолютно логічно. Але…
По-перше, на мій погляд, цього недостатньо. По суті, Даріо Амадеї пропонує таку трійку засобів:
бар’єри у розробника ШІ;
бар’єри в законодавстві;
боротьбу з наслідками (що вже сталися).
І в кожному випадку є «пробої»: бар’єри можна зламати, боротьба з наслідками – це добре, але ж «трагедія вже відбулася». Єдине, що дійсно архіважливо, – питання винесене на обговорення. Будуть і нові пропозиції: талановитих людей багато, вони генеруватимуть ідеї.
Втім… час працює проти нас… надто швидкий цей ШІ… небезпечно швидкий…
Зловживання заради захоплення влади (тиранія)
Цей ризик ШІ (зловживання заради захоплення влади) дещо схожий на попередній – зловживання заради руйнування. Але не менш загрозливий. Даріо Амадеї назвав його «тривожною можливістю встановлення глобальної тоталітарної диктатури». Він наводить кілька способів, за допомогою яких ШІ може сприяти встановленню, зміцненню та розширенню автократії.
Цікаво, що перший спосіб (тобто, найбільш очевидний, на думку автора) – це повністю автономна зброя. І тут Даріо Амадеї наводить приклад дронової українсько-російської війни (тобто війни дронів, яка вже прийшла до нас). Він попереджає, що рій із мільйонів (або навіть мільярдів) повністю автоматизованих озброєних дронів, які локально керуються потужним ШІ та стратегічно координуються по всьому світу ще потужнішим ШІ, може стати непереможною армією, здатною як перемогти будь-якого супротивника у світі, так і придушити інакодумство всередині країни, стежачи за кожним громадянином.
Окрім дронів – автономної зброї, Даріо говорить про потенційне використання ШІ для:
ШІ-стеження. ШІ зможе отримати доступ до читання та осмислення всіх електронних комунікацій у світі (а також усіх очних розмов).
ШІ-пропаганди. На думку автора, ШІ, глибоко вбудований у повсякденне життя людей, буде здатний, по суті, «мити мізки» багатьом (більшості?) людям, навіюючи їм будь-які бажані ідеї та цілі.
Найбільше Даріо Амадеї хвилює Китай (КПК – Комуністична партія Китаю) – з автократичним урядом та (вже сьогодні) високотехнологічною державою стеження. На мою думку, Даріо має рацію в такій оцінці: Китай поєднує в собі три необхідні елементи саме для такого типу зловживань. А саме: високий рівень майстерності в галузі ШІ, автократичний уряд та розвинену високотехнологічну систему стеження.
Крім того, варто пам’ятати довгу (та успішну) історію Китаю: сьогодні це майже єдина країна, яка зберегла свою цивілізацію безперервно протягом кількох тисячоліть. Плюс – велика культура, велика філософія. У цій грандіозності Китаю є як неймовірні потенційні можливості для розвитку, так і величезні ризики руйнування (зокрема й ШІ-руйнування).
Даріо Амадеї пропонує кілька заходів захисту. На мій погляд, вони, як і заходи проти ШІ-біотероризму, – недостатні. Але, знову ж таки, це лише початок розмови. Усе це потрібно обговорювати, дискутувати, генерувати нові ідеї, втілювати їх у життя… Єдина проблема – час… ШІ дуже швидкий. Людство – дуже повільне. (Ще більш сумно ця «швидкість» людства виглядає, якщо дивитися на неї з національної та географічної точок зору: виявиться, що найшвидший тут саме Китай (від КПК якого ми й плануємо захищатися), а найповільніша – Європа.)
То що ж пропонує Даріо Амадеї як засоби захисту?
По-перше: ми категорично не повинні продавати чипи, інструменти для виробництва чипів чи дата-центри КПК. Чипи та інструменти для їх виробництва є найбільшим «вузьким місцем» на шляху до потужного ШІ, і їх блокування – простий, але надзвичайно ефективний захід, можливо, найважливіша дія, яку ми можемо зробити. Немає сенсу продавати КПК інструменти, за допомогою яких можна побудувати тоталітарну ШІ-державу і, можливо, перемогти нас військовим шляхом.
Зверніть увагу: це ще одна «грань» протистояння США та Китаю. Дуже принципова. Дуже небезпечна. І нам усім (тобто всій планеті) буде вкрай небажаною перемога Китаю саме в цій точці, де ШІ може стати смертельно небезпечним для всього людства – як загроза встановлення глобальної тоталітарної диктатури.
Другий «ешелон» захисту: має сенс використовувати ШІ, щоб дати демократіям змогу чинити опір автократіям. На певному рівні єдиний спосіб відповісти на автократичні загрози – це відповідати їм і перевершувати їх у воєнному плані. Втім, демократія ж може (і досить легко) перетворитися на автократію. Саме тому Даріо пропонує:
Третій «ешелон» захисту: нам потрібно провести жорстку межу проти зловживань ШІ всередині самих демократій. Повинні існувати чіткі обмеження того, що ми дозволяємо нашим урядам робити за допомогою ШІ, аби вони не захопили владу та не пригнічували власний народ. (На мій погляд, це надзвичайно важливий захист. Вміло побудована пропаганда і сьогодні досить легко перетворює демократію на автократію. «Мити мізки» вже зараз виходить дуже ефективно. А що буде з ШІ?)
І останній «ешелон» захисту: за ШІ-компаніями слід уважно стежити, так само як і за їхніми зв’язками з урядами. Такі зв’язки необхідні, але повинні мати чіткі межі та кордони. Усе правильно: саме зсередини ШІ-компаній найпростіше «домовитися з ШІ». І це теж – величезні ризики.
Резюме цього розділу: не знаю, як із біотероризмом, але з ризиками тиранії (зловживання заради захоплення влади), на мій погляд, ми зіткнемося майже зі 100% імовірністю. Ну а що: дуже ефективно, досить просто, жага до влади – це «класика жанру», а з моральністю нині проблеми (хоча, можливо, не лише нині, а завжди – але від цього не легше)…
