d/acc: Обзор спустя год

В прошлом году я написал статью о техническом оптимизме, в которой выразил свою страсть к технологиям и огромные преимущества, которые они могут принести. В то же время я также выразил осторожное отношение к некоторым вопросам, в основном касающимся суперумного ИИ и возможных рисков разрушения или необратимой потери власти, которые он может вызвать.

Основная идея статьи заключается в пропаганде концепции децентрализованного, демократичного и дифференцированного оборонительного ускорения. Необходимо ускорять развитие технологий, одновременно сосредоточившись на повышении обороноспособности, а не разрушительной способности технологий, и стремиться к децентрализации власти, избегая ситуации, когда небольшая группа элиты судит о добре и зле от имени всех. Оборонительная модель должна напоминать демократичную Швейцарию, а не замки феодальных лордов средневековья.

За последний год эти идеи значительно развились. Я поделился этими взглядами на платформе "80,000 часов" и получил в основном положительные отзывы, но также и некоторые критические замечания. Эта работа принесла реальные результаты: достигнуты успехи в области проверяемых открытых вакцин; люди стали больше осознавать ценность здорового воздуха в помещениях; "сообщество заметок" продолжает играть активную роль; предсказательные рынки стали прорывным инструментом информации; нулевые доказательства нашли применение в государственном идентификации и социальных медиа; инструменты открытой визуализации нашли применение в медицине и интерфейсах мозг-компьютер и так далее.

Прошлой осенью мы провели наше первое важное мероприятие d/acc: "День открытия d/acc"(d/aDDy), которое собрало спикеров из различных областей d/acc(, таких как биология, физика, сеть, информационная защита и нейротехнологии). Люди, которые на протяжении долгого времени занимались этими технологиями, лучше понимают работу друг друга, а внешние лица всё больше осознают более грандиозное видение: ценности, продвигающие развитие Ethereum и криптовалют, могут быть расширены на более широкий мир.

Содержание и объем d/acc

Основная идея d/acc заключается в децентрализованной, демократичной и дифференцированной оборонительной акселерации. Создание технологий, которые могут смещать баланс сил в сторону обороны, при этом не полагаясь на передачу большей власти центральным органам. Эти два аспекта тесно связаны: любая децентрализованная, демократичная или свободная политическая структура, когда защита легко реализуема, часто процветает, а в трудные времена защиты сталкивается с вызовами.

Один из способов понять и реализовать важность децентрализации, защиты и ускорения – это сопоставить ее с концепцией, возникающей при отказе от любого из этих трех аспектов:

1. Децентрализация ускоряется, но игнорируется часть "дифференцированной защиты"
2. Ускоренная дифференцированная защита, но игнорирование "децентрализации и демократии"
3. Децентрализованная защита, но исключает ускорение

С помощью d/acc мы стремимся достичь следующих целей:

• В условиях нарастающей племенной тенденции в современном мире придерживаться принципов, создавая конкретные вещи, чтобы сделать мир более безопасным и красивым.

• Осознание того, что экспоненциальный технологический прогресс означает, что мир станет исключительно странным, и "следы" человечества во Вселенной будут неизменно увеличиваться. Наша способность защищать уязвимые вещи от повреждений должна постоянно улучшаться, единственный выход - это смело двигаться вперед.

• Создание технологий, которые действительно защищают нас, а не основываются на предположении "хороших людей ( или хорошего ИИ ), контролирующих всё". Мы достигаем этой цели, создавая инструменты, которые по своей природе более эффективны для построения и защиты, чем для разрушения.

Другой взгляд на d/acc заключается в возвращении к рамкам движения пиратов в Европе в конце 00-х годов 21 века: расширение прав и возможностей. Наша цель - создать мир, который сможет сохранить человеческую агентность, реализовать негативную свободу, то есть избежать активного вмешательства со стороны других (, будь то обычные граждане, правительства или суперумные роботы ), в нашу способность формировать свою судьбу, а также реализовать позитивную свободу, то есть обеспечить, чтобы у нас были знания и ресурсы для осуществления этой способности.

Задача: безопасность ИИ, срочные сроки и регуляторные проблемы

В прошлом году наиболее убедительные аргументы против моей статьи поступили от сообщества по безопасности ИИ. Их доводы таковы: "Конечно, если у нас есть полвека для развития сильного ИИ, мы можем сосредоточиться на создании всех этих полезных вещей. Но на самом деле, похоже, у нас может быть всего три года для разработки общего ИИ, а затем еще три года для достижения суперразума. Поэтому, если мы не хотим, чтобы мир погрузился в разрушение или каким-либо образом оказался в необратимой ситуации, мы не можем просто ускорять развитие полезных технологий, но также должны замедлить развитие вредных технологий, что подразумевает необходимость введения строгого регулирования, которое может разозлить власть имущих."

Причины осторожного отношения к новым регуляциям:

В прошлом году основным предложением по регулированию ИИ стал законопроект SB-1047 в Калифорнии. Он требует, чтобы разработчики самых мощных моделей ( с затратами на обучение более 100 миллионов долларов или затратами на донастройку более 10 миллионов долларов ) предприняли ряд мер по обеспечению безопасности перед выпуском. Если разработчики моделей ИИ не проявят достаточной осторожности, они будут привлечены к ответственности. Многие критики считают, что этот законопроект "угрожает открытому исходному коду"; я с этим не согласен, поскольку порог затрат означает, что он затрагивает только самые мощные модели. Однако, оглядываясь на прошлое, я считаю, что у этого законопроекта есть более серьезная проблема: как и большинство регулирующих мер, он чрезмерно адаптирован к текущей ситуации. Озабоченность по поводу затрат на обучение оказалась уязвимой в условиях новых технологий: недавние передовые модели DeepSeek v3 имели затраты на обучение всего 6 миллионов долларов, а в таких новых моделях, как o1, затраты обычно больше смещаются к этапу вывода.

Наиболее вероятные действующие лица, ответственные за сценарий уничтожения суперумного ИИ:

На самом деле, наиболее вероятными действующими лицами, ответственными за сценарии уничтожения от суперумного ИИ, являются армии. Как мы видели за последние полвека в области биобезопасности ( и ранее ), армии готовы пойти на некоторые ужасные действия, и они крайне подвержены ошибкам. В наше время применение ИИ в военной сфере стремительно развивается (, как в Украине, так и в Газе ). Более того, любые меры по обеспечению безопасности, принятые правительством, по умолчанию освобождают собственные армии и компании, которые тесно сотрудничают с армией.

Стратегия реагирования:

Тем не менее, эти доводы не являются причиной для того, чтобы мы оказались в безвыходном положении. Напротив, мы можем использовать их как руководство, пытаясь разработать правила, которые вызывают наименьшую озабоченность.

Стратегия 1: Ответственность

Если чье-то поведение каким-либо образом причинило законный ущерб, его могут привлечь к ответственности. Это не решает проблему рисков, возникающих от армии и других "выше закона" действующих лиц, но это очень универсальный подход, который позволяет избежать чрезмерной адаптации, именно поэтому склонные к либертарианству экономисты обычно поддерживают эту практику.

Основные цели ответственности, рассматриваемые до настоящего времени, следующие:

• Пользователь: человек, использующий ИИ.
• Деплойер: посредник, предоставляющий пользователям AI-услуги.
• Разработчик: человек, создающий ИИ.

Возложение ответственности на пользователей, похоже, наиболее соответствует механизмам стимулов. Хотя связь между способом разработки модели и её конечным использованием часто неясна, пользователи определяют конкретные способы использования ИИ. Привлечение пользователей к ответственности создаёт мощное давление, побуждающее людей использовать ИИ так, как я считаю правильным: сосредоточиться на создании механических наборов для человеческого мышления, а не на создании новых самообеспечивающихся форм интеллекта. Первое будет регулярно реагировать на намерения пользователей, поэтому, если только пользователи этого не захотят, это не приведёт к катастрофическим действиям. Второе, напротив, несёт наибольший риск, поскольку может выйти из-под контроля и вызвать классические сценарии "выхода ИИ из-под контроля". Ещё одним преимуществом возложения ответственности как можно ближе к конечному пользователю является то, что это минимизирует риск того, что ответственность приведёт людей к действиям, вредным в других отношениях (, например, к закрытым источникам, соблюдению ваших клиентов ( KYC ) и мониторингу, тайному сговору государства/корпораций, ограничивающему пользователей, как, например, банки, отказывающие в обслуживании определённым клиентам, что исключает большие районы мира ).

Существует классическая точка зрения, противостоящая лишь возложению ответственности на пользователей: пользователи могут быть обычными людьми, у которых не так много денег, и которые могут быть анонимными, так что никто не сможет реально оплатить катастрофический ущерб. Эта точка зрения может быть преувеличена: даже если некоторые пользователи слишком малы, чтобы нести ответственность, обычные клиенты разработчиков ИИ не таковы, поэтому разработчики ИИ все равно будут мотивированы создавать продукты, которые убедят пользователей, что они не столкнутся с высокими рисками ответственности. Иными словами, это все еще действительная точка зрения, которую необходимо решить. Вам нужно побудить кого-то из имеющих ресурсы в цепочке поставок предпринять соответствующие меры предосторожности, и развертыватели и разработчики - это легкие цели, которые все еще имеют большое влияние на безопасность модели.

Ответственность развертывателя кажется разумной. Одна из распространенных опасений заключается в том, что это не работает для открытых моделей, но это, похоже, управляемо, особенно потому, что самые мощные модели, вероятно, будут закрытыми (. Если результаты являются открытыми, то, хотя ответственность развертывателя в конечном итоге может не быть очень полезной, она также не причинит большого вреда ). Ответственность разработчика также вызывает те же опасения (, хотя для открытых моделей существует определенное препятствие, так как требуется дообучение модели, чтобы она могла выполнять некоторые действия, которые изначально не разрешены ), но те же аргументы также применимы. В качестве общего принципа, наложение "налога" на контроль по сути означает, что "вы можете создавать то, что не можете контролировать, или вы можете создавать то, что можете контролировать, но если вы создаете то, что можете контролировать, то 20% контроля должны использоваться для наших целей", что, похоже, является разумной позицией для правовой системы.

Одной из идей, которая, похоже, еще не была должным образом исследована, является возложение ответственности на других участников в цепочке, которые, как правило, располагают достаточными ресурсами. Очень согласуется с идеей d/acc мысль о том, чтобы привлечь к ответственности владельцев или операторов любых устройств, которые могут быть взломаны (, например, в процессе выполнения ИИ некоторых катастрофически вредных действий. Это создаст очень широкие стимулы для того, чтобы люди стремились сделать мир ), особенно в области вычислений и биологии (, максимально безопасным.

Стратегия 2: Глобальная "мягкая пауза" на аппаратном обеспечении промышленного масштаба

Если я уверен, что нам нужны более "сильные" меры, чем правила ответственности, я выберу эту стратегию. Цель состоит в том, чтобы иметь возможность снизить глобальную доступную вычислительную мощность примерно на 90%-99% в течение критических периодов, продолжительностью 1-2 года, чтобы дать человечеству больше времени для подготовки. Ценность 1-2 лет не должна быть переоценена: год "военного времени" в условиях самодовольства может легко соответствовать ста годам обычной работы. Методы реализации "приостановки" уже исследуются, включая некоторые конкретные предложения, такие как требование регистрации аппаратного обеспечения и проверки местоположения.

Более прогрессивный подход заключается в использовании умных методов шифрования: например, промышленное оборудование ), но не потребительское (, может быть оснащено доверенным аппаратным чипом, который разрешает его дальнейшую работу только после получения еженедельного 3/3 подписи от основных международных учреждений ), включая как минимум одно невоенное учреждение (. Эти подписи будут независимы от устройства ), и при необходимости мы даже можем потребовать публикацию нулевых знаний ( на блокчейне, так что это будет либо все, либо ничего: не будет реального способа разрешить одному устройству продолжать работать без разрешения на все другие устройства.

Это кажется "соответствующим требованиям" в максимизации прибыли и минимизации рисков:

• Это задание