Люди, які серйозно займаються створенням ШІ, щиро вірять, що він може знищити нас усіх до кінця цього десятиліття, — сказав Коксон в X, пояснюючи свою відставку.
Про це пише Coin Desk.
Дослідник компанії Anthropic подав у відставку у вівторок, і причина, яку він назвав, звучить так, ніби взята безпосередньо з культового фільму Джеймса Кемерона 1984 року “Термінатор”.
Джейкоб Коксон, який працював три роки над попереднім тренуванням як в OpenAI, так і в Anthropic, подав у відставку у вівторок і пояснив своє рішення на X.
“Сьогодні я подав у відставку з Anthropic. Протягом останніх трьох років я займався дослідженнями переднавчання як у OpenAI, так і в Anthropic. Жодна з компаній не діє відповідально. Вони мчать прямо до самовдосконалюваного суперінтелекту і ставлять на карту наші життя,” — сказав він.
“Люди, які серйозно займаються розробкою штучного інтелекту, щиро вірять, що він може знищити нас усіх до кінця десятиліття,” додав він.
Ця заява робить 42-річну вигадку Кемерона майже пророчою. Фільм розпочинається з війни машин проти людей у 2029 році, саме в той приблизний період, який, за словами Коксона, тихо турбує інсайдерів. Коксон не один у Anthropic, хто висловлює побоювання щодо можливого зникнення. Провідний спеціаліст з вирівнювання компанії, Еван Хьюбінгер, також він оцінює ймовірність понад 10%.
Суперінтелектуальний ШІ
Для непоінформованих, суперінтелектуальний ШІ означає систему, розумнішу за людину у майже всьому, а не лише в шахах чи знаходженні прихованих котів на фотографіях. Самовдосконалення є більш тривожним аспектом, оскільки воно описує систему, що автономно змінює власний код для підвищення свого інтелекту — подібно до того, як це роблять люди.
Відповідно, ці системи можуть самостійно набувати величезні обсяги знань та потенційно порушувати інфраструктуру, що належить установам з категорії «занадто великі, щоб зазнати поразки».
«Не недооцінюйте потужність цієї технології. Незабаром це будуть надлюдські системи, які зможуть зламати будь-що, революціонізувати будь-яку галузь за одну ніч та здобути реальну владу і ресурси. Ми всі були свідками прогресу в кожній із цих сфер, і прогрес не сповільнюється», — сказав Коксон.
Суперінтелект не є теоретичною загрозою, якщо судити за нещодавнім порушенням безпеки Hugging Face, згаданим Коксоном. Саме порушення, яке відбулося між травнем і липнем, почалося з того, що власні агенті штучного інтелекту OpenAI створили власну чат-кімнату всередині тестового середовища, щоб спілкуватися між собою.
Врешті-решт вони скористалися цим каналом, щоб проникнути за межі ізоляції у відкритий інтернет. Звідти вони послідовно використали кілька вразливостей і отримали доступ до виробничих систем Hugging Face. Hugging Face змушений був відновити приблизно третину своєї інфраструктури.
Коксон назвав це «попереджувальним пострілом», який зробив угоди про темп між американськими лабораторіями «більш життєздатними». Угоди про темп — це неформальні домовленості між лабораторіями штучного інтелекту щодо уповільнення або координації зростання можливостей замість одностороннього прискорення.
Однак він не впевнений, що цього достатньо, і не вважає, що «ми на шляху до запобігання глобальній гонці», а також запропонував дорогі заходи, такі як «тимчасова заборона на покращення можливостей моделей», щоб зупинити гонку штучного інтелекту.
“У OpenAI багато хто не глибоко усвідомлює цивілізаційні ставки,” він написав. У його останнього роботодавця, за його словами, ситуація інша у тому сенсі, що “ставки добре зрозумілі, але вони беруть участь у гонці, щоб першими досягти мети.”
Він закінчив тред, поставивши питання всім, хто досі перебуває у лабораторіях — «Чи хочете ви розпочати запуск суперінтелектуального RL без ґрунтовного розуміння його свідомості?» — або чи саме цей момент є приводом для того, щоб виступити проти, замість того, щоб знехтувати ситуацією та говорити собі, що це станеться незалежно від цього.
Він не перший, хто пішов через це. Мрінанк Шарма, який працював у команді з питань безпеки Anthropic, пішов з роботи раніше цього року через подібні побоювання, написавши, що «світ перебуває в небезпеці».
Чи перебільшені побоювання щодо апокаліпсису?
Однак не всі переконані у пророкуванні фінальної катастрофи.
Одна відповідь під його тредом говорячи просто: «З усією повагою, це дивно. Це безглуздий погляд. Людство еволюціонувало протягом сотень тисяч років. Ми не зникнемо лише через те, що модель прогнозування токенів отримала свідомість. Обережніше. Усі ви».
Цікаво, що серія фільмів «Термінатор» також не підтримує Коксона. Людство не вимиратиме в «Термінаторі», опір витримує це і зрештою перемагає машини.
Тим не менш, штучний інтелект впливає на економіку, особливо у сфері зайнятості. Хоча поки що не спостерігається значного звільнення, використання ШІ для виконання завдань початкового рівня призвело до майже 20% зниження зайнятості на початкових посадах у США у секторах, пов’язаних із ШІ, згідно з дослідженням Стенфордського університету.
Дослідження Goldman Sachs зробило подібне спостереження, зазначаючи, що працівники початкового рівня несуть основний тягар цієї зміни.
Компанія Anthropic подала документи для IPO ще в червні і, за повідомленнями, планує дебют на Nasdaq вже цієї осені зі оцінкою, яка може досягати трильйонів.
