d/acc:Огляд року

Минулого року я написав статтю про технологічний оптимізм, в якій висловив своє захоплення технологією та величезними вигодами, які вона може принести. Одночасно я також висловив обережне ставлення до деяких проблем, головним чином стосовно суперінтелектуального ШІ та можливих ризиків руйнування або незворотної втрати влади.

Основна ідея статті полягає у просуванні концепції децентралізованого, демократичного та диференційованого оборонного прискорення. Потрібно прискорити розвиток технологій, а також зосередитися на підвищенні оборонних можливостей, а не на руйнівних технологіях, і прагнути до розподілу влади, уникати ситуацій, коли меншість еліти представляє всіх у судженнях про добро і зло. Оборонна модель повинна бути схожа на демократичну Швейцарію, а не на замок середньовічного феодального лорда.

Протягом року ці ідеї суттєво розвинулися. Я поділився цими поглядами на платформі "80,000 годин", отримавши переважно позитивні відгуки, а також деяку критику. Ця робота принесла реальні результати: досягнуто прогресу в перевірюваній відкритій вакцинній сфері; люди почали більше усвідомлювати цінність здорового внутрішнього повітря; "спільнотні нотатки" продовжують відігравати позитивну роль; ринок прогнозів став проривом як інформаційний інструмент; нульові знання знайшли застосування в урядовій ідентифікації та соціальних мережах; відкриті інструменти візуалізації були застосовані в медицині та в області мозкових інтерфейсів тощо.

Минулої осені ми провели нашу першу важливу подію d/acc: "день відкриття d/acc"(d/aDDy), що об'єднала доповідачів з різних сфер d/acc(, таких як біологія, фізика, мережі, інформаційна безпека та нейротехнології). Люди, які довгий час займаються цими технологіями, краще розуміють роботу один одного, а зовнішні особи все більше усвідомлюють більшу мету: цінності, що сприяють розвитку Ethereum та криптовалют, можна розширити на більш широкий світ.

Значення та обсяг d/acc

Основна ідея d/acc полягає в: децентралізованій, демократичній та диференційованій оборонній прискореності. Створення технологій, здатних забезпечити баланс між атакою та обороною на користь оборони, при цьому не покладаючись на передачу більшої влади центральним органам під час реалізації. Ці два аспекти тісно пов'язані між собою: будь-яка децентралізована, демократична чи вільна політична структура часто процвітає, коли оборону легко реалізувати, а стикається з викликами, коли оборона є складною.

Розуміння важливості одночасної реалізації децентралізації, обороноздатності та прискорення є одним із способів порівняти це з концепцією, що виникає при відмові від будь-якого з цих трьох аспектів:

1. Децентралізоване прискорення, але ігнорує частину "диференційованої оборони"
2. Диференційована оборона прискорюється, але ігнорує "децентралізацію і демократію"
3. Децентралізовані захист, але відкидають прискорення

За допомогою d/acc ми прагнемо досягти наступних цілей:

• Дотримуючись принципів у світі, який дедалі більше стає племінним, створюючи певні речі, щоб зробити світ більш безпечним і красивим.

• Визнання того, що експоненційний технологічний прогрес означає, що світ стане надзвичайно дивним, а "сліди" людства у Всесвіті неодмінно будуть постійно зростати. Наша здатність захищати вразливі речі від ушкоджень повинна безперервно покращуватися, єдиний вихід - йти вперед.

• Створити технології, які дійсно захищають нас, а не спиратися на припущення "добрих людей ( або хороших ШІ ), які контролюють усе". Ми досягаємо цієї мети, створюючи інструменти, які природним чином є більш ефективними для побудови і захисту, ніж для руйнування.

Інший погляд на d/acc полягає в поверненні до рамок руху піратської партії в Європі наприкінці 2000-х років: розширення повноважень. Наша мета – створити світ, який зможе зберегти людську агентність, досягнувши пасивної свободи, тобто уникнути активного втручання з боку інших (, будь то звичайні громадяни, уряд чи суперінтелектуальні роботи ) у нашу здатність формувати власну долю, одночасно досягнувши активної свободи, тобто забезпечивши наявність знань і ресурсів для реалізації цієї здатності.

Складна проблема: безпека ШІ, термінові строки та регуляторні виклики

Минулого року найпереконливіші аргументи проти моєї статті надали спільноти з безпеки ШІ. Їхній аргумент полягав у тому, що: "Звичайно, якщо у нас буде півстоліття для розвитку сильного ШІ, ми можемо зосередитися на створенні всіх цих корисних речей. Але насправді, здається, у нас може бути лише три роки для розвитку загального ШІ, а ще через три роки - для розвитку суперінтелекту. Тому, якщо ми не хочемо, щоб світ потрапив у руйнацію або іншим чином опинився в незворотному становищі, ми не можемо просто прискорювати розвиток корисних технологій, але також повинні уповільнити розвиток шкідливих технологій, що означає необхідність впровадження потужного регулювання, яке може роздратувати еліти."

Причини обережного ставлення до нових регуляцій:

Минулого року основним пропозицією щодо регулювання ШІ став законопроект SB-1047 в Каліфорнії. Він вимагає, щоб розробники найбільш потужних моделей (, вартість навчання яких перевищує 100 мільйонів доларів або вартість доопрацювання перевищує 10 мільйонів доларів ), вжили ряд заходів безпеки перед випуском. Якщо розробники моделей ШІ не виявлять достатньої обережності, їх притягнуть до відповідальності. Багато критиків вважають, що цей законопроект "становить загрозу для відкритого коду"; я з цим не згоден, оскільки поріг витрат означає, що він вплине лише на найбільш потужні моделі. Проте, озираючись назад, я вважаю, що у цього законопроекту є більш серйозна проблема: як і більшість регуляторних заходів, він надто адаптується до поточної ситуації. Зосередження на витратах на навчання в умовах нових технологій виявилося вразливим: нещодавно вартість навчання найсучаснішої моделі DeepSeek v3 становила лише 6 мільйонів доларів, а у нових моделях, таких як o1, витрати зазвичай більше переносяться на етап висновку.

Найбільш імовірні дії, відповідальні за сценарій знищення від суперінтелекту AI:

Насправді, найбільш ймовірними винуватцями сценаріїв знищення, пов'язаних з надінтелектом штучного інтелекту, є армії. Як ми спостерігали за останні півстоліття в галузі біобезпеки ( та раніше ), армії готові вжити деяких жахливих дій, і вони дуже схильні до помилок. Сьогодні застосування штучного інтелекту в військовій сфері швидко розвивається (, як, наприклад, у випадках в Україні та Газі ). І будь-які заходи безпеки, схвалені урядом, за замовчуванням звільняють від відповідальності власні армії та компанії, які тісно співпрацюють з армією.

Стратегії реагування:

Проте, ці аргументи не є причинами, які б ставили нас у безвихідь. Навпаки, ми можемо використати їх як орієнтир для спроби розробити правила, які викликатимуть найменше занепокоєння.

Стратегія 1: Відповідальність

Якщо чиясь поведінка якимось чином спричинила шкоду, за яку можна притягнути до відповідальності, її можуть притягнути до суду. Це не вирішує проблему ризиків, пов'язаних з військовими та іншими "тим, хто стоїть над законом" особами, але це дуже загальний підхід, який дозволяє уникнути надмірного налаштування, саме тому економісти, які схиляються до лібертаріанства, зазвичай підтримують цю практику.

Основні цілі відповідальності, які розглядаються до цього часу, є наступними:

• Користувач: той, хто використовує штучний інтелект.
• Розробник: посередник, який надає користувачам послуги штучного інтелекту.
• Розробник: той, хто створює ШІ.

Здається, що покладення відповідальності на користувачів найбільш відповідає механізму заохочення. Хоча зв'язок між способом розробки моделі та її кінцевим використанням часто не є очевидним, але користувачі визначають конкретний спосіб використання ШІ. Притягнення користувачів до відповідальності створює потужний тиск, що спонукає людей використовувати ШІ так, як я вважаю правильним: зосередитися на створенні механічних костюмів для людського мислення, а не на створенні нових самодостатніх форм інтелектуального життя. Перше регулярно реагує на наміри користувача, тому, якщо користувач не хоче, це не призведе до катастрофічних дій. Друге ж має найбільший ризик, а саме можливість втратити контроль і викликати класичний сценарій "втрати контролю ШІ". Ще одна перевага покладення відповідальності якомога ближче до кінцевого використання полягає в тому, що це мінімізує ризик того, що відповідальність призведе до дій, які є шкідливими в інших аспектах (, наприклад закритий код, дізнайся свого клієнта ( KYC ) і моніторинг, державні/корпоративні змови таємно обмежують користувачів, як, наприклад, банки відмовляються надавати послуги певним клієнтам, виключаючи великі території світу ).

Існує класична точка зору, що заперечує лише покладання відповідальності на користувачів: користувачі можуть бути звичайними людьми, які не мають багато грошей, і навіть можуть бути анонімними, тому ніхто не зможе насправді заплатити за катастрофічні збитки. Цю точку зору можна перебільшити: навіть якщо деякі користувачі занадто малі, щоб нести відповідальність, звичайні клієнти розробників ШІ не є такими, тому розробники ШІ все ще матимуть мотивацію створювати продукти, які переконують користувачів, що вони не піддаються високим ризикам відповідальності. Тобто, це все ще дійсна точка зору, яку потрібно вирішити. Вам потрібно спонукати когось з ресурсами в каналі мотивації вжити належних обережних заходів, і розгортальники та розробники є легкими мішенями, які все ще мають великий вплив на безпеку моделі.

Відповідальність розробника здається розумною. Звичайне занепокоєння полягає в тому, що це не працює для відкритих моделей, але це, здається, можна контролювати, особливо тому, що найпотужніші моделі, ймовірно, є закритими (, якщо результати є відкритими, то, хоча відповідальність розробника в кінцевому підсумку може бути не дуже корисною, це також не завдасть великої шкоди ). Відповідальність розробника має ті ж самі занепокоєння (, хоча для відкритих моделей існують певні перешкоди для налаштування моделі, щоб вона виконувала деякі дії, які спочатку не дозволені ), але ті ж самі заперечення також застосовуються. Як загальний принцип, накладення "податку" на контроль, по суті, говорить: "ви можете створити те, що не можете контролювати, або ви можете створити те, що можете контролювати, але якщо ви створюєте те, що можете контролювати, то 20% контролю повинні використовуватися для наших цілей", це, здається, є розумною позицією, яку повинен займати правовий порядок.

Однією з ідей, яка, здається, ще не отримала достатнього дослідження, є покладення відповідальності на інших учасників у системі, які, ймовірно, мають достатні ресурси. Дуже відповідна ідея концепції d/acc полягає в тому, щоб притягнути до відповідальності власників або операторів будь-якого обладнання, яке було взято під контроль штучним інтелектом під час виконання певних катастрофічно шкідливих дій, наприклад, через хакерські атаки (. Це створить дуже широкий стимул, який спонукатиме людей намагатися зробити світ ), особливо в сфері обчислень та біології (, максимально безпечним.

Стратегія 2: Глобальна "м'яка пауза" на обладнанні промислового масштабу

Якщо я впевнений, що нам потрібні більш "сильні" заходи, ніж правила відповідальності, я б обрав цю стратегію. Мета полягає в тому, щоб мати змогу зменшити загальнодоступні обчислювальні потужності на приблизно 90%-99% протягом 1-2 років, щоб дати людству більше часу для підготовки. Цінність 1-2 років не слід переоцінювати: рік "воєнного режиму" в умовах самозадоволеності легко може дорівнювати ста рокам звичайної роботи. Методи реалізації "призупинення" вже досліджуються, включаючи деякі конкретні пропозиції, такі як вимога реєстрації апаратного забезпечення та верифікації місця розташування.

Більш передовим методом є використання хитрої технології шифрування: наприклад, промислові масштаби ), але не споживчі ( AI-апаратні засоби можуть бути обладнані надійним апаратним чіпом, який дозволяє продовжувати роботу лише після отримання щотижневого 3/3 підпису від основних міжнародних установ ), включаючи принаймні один військовий підрозділ (. Ці підписи не будуть залежати від пристрою ), і якщо буде потрібно, ми навіть можемо вимагати публікації нульових знань на блокчейні (, отже, це буде або все, або нічого: немає жодного реального способу авторизувати один пристрій для продовження роботи без авторизації всіх інших пристроїв.

Це, здається, "відповідає вимогам" в максимізації вигоди та мінімізації ризику:

• Це є