- Тема
87k Популярность
40k Популярность
14k Популярность
4k Популярность
5k Популярность
29k Популярность
16k Популярность
22k Популярность
13k Популярность
3k Популярность
- Закрепить
87k Популярность
40k Популярность
14k Популярность
4k Популярность
5k Популярность
29k Популярность
16k Популярность
22k Популярность
13k Популярность
3k Популярность
d/acc один год: эволюция и вызовы концепции защитного ускорения
d/acc: Обзор и перспективы через год
В прошлом году я опубликовал статью о технологическом оптимизме, в которой изложил свой общий энтузиазм по поводу технологий и огромные преимущества, которые они могут принести. В то же время я выразил осторожное отношение к некоторым конкретным вопросам, особенно касательно суперумного ИИ и рисков, которые он может вызвать, включая потенциальные разрушительные последствия или риск того, что человечество необратимо потеряет власть.
Основная идея этой статьи заключается в пропаганде концепции децентрализованного, демократичного и дифференцированного оборонительного ускорения. Мы должны ускорять развитие технологий, но избирательно сосредоточиваться на тех технологиях, которые могут усилить обороноспособность, а не разрушительную способность, и стремиться к распределению власти, а не к ее концентрации в руках немногих элит. Оборонительная модель должна напоминать демократическую Швейцарию, а не феодализм средневековья с его лордами и замками.
За последний год эти идеи претерпели значительное развитие и созревание. Я поделился этими идеями на платформе "80,000 часов", и получил много отзывов, большинство из которых были положительными, но, конечно, были и некоторые критические.
Эта работа сама по себе также достигла существенного прогресса: в области проверяемых открытых вакцин произошел прорыв; понимание здорового внутреннего воздуха углубляется; "сообщество заметок" продолжает играть активную роль; предсказательные рынки как информационный инструмент вступили в год прорыва; доказательства с нулевым знанием применяются в области идентификации личности правительством и социальных сетей; открытые инструменты визуализации достигли прогресса в медицине и области интерфейсов мозг-компьютер и т.д.
Прошлой осенью мы провели наше первое важное мероприятие d/acc: "День открытия d/acc". Мероприятие собрало спикеров из различных столпов d/acc: ( биологии, физики, сетевой безопасности, информационной защиты и нейротехнологий ) и длилось целый день. Люди, долгое время работающие с этими технологиями, начали больше узнавать о работах друг друга, а внешние лица все больше осознавали эту более широкую картину: ценности, которые продвигают развитие Ethereum и криптовалют, могут быть распространены на более широкий мир.
Содержание и объем d/acc
Основная идея d/acc очень проста: децентрализованная, демократичная и дифференцированная оборонительная акселерация. Создание технологий, которые могут способствовать смещению баланса между атакой и защитой в сторону защиты, при этом не полагаясь на передачу большей власти центральным авторитетам в процессе реализации. Существует внутренняя связь между этими двумя аспектами: любая децентрализованная, демократичная или свободная политическая структура, как правило, процветает, когда защита легко реализуема, и сталкивается с серьезными вызовами, когда защита сталкивается с множеством трудностей.
Один из способов понять важность одновременной реализации децентрализации, защищенности и ускорения заключается в сравнении с идеями, возникающими при отказе от любого из этих трех аспектов.
Децентрализация ускоряется, но игнорирует часть "дифференцированной защиты": это похоже на то, чтобы стать эффективным ускорителем (e/acc), при этом стремясь к децентрализации. Этот подход может помочь избежать риска диктатуры определенной группы над глобальным человечеством, но он не решает потенциальные структурные проблемы: в среде, благоприятной для нападения, всегда существует постоянный риск катастрофы, или кто-то может позиционировать себя как защитника и навсегда занять доминирующее положение.
Дифференцированная защита ускоряется, но игнорирует "децентрализацию и демократию": принятие централизованного контроля для достижения целей безопасности всегда привлекательно для определенной группы людей. Однако централизованный контроль имеет свою степень проблемы. Риски такого подхода очевидны, поскольку сам центр часто становится источником риска. Мы уже стали свидетелями этого во время пандемии COVID-19.
Децентрализованная защита, но отторгающая ускорение: это, по сути, попытка замедлить технологический прогресс или способствовать экономическому спаду. Эта стратегия сталкивается с двойной проблемой: во-первых, технологический и экономический рост в целом крайне полезен для человечества, и любое задержание принесет трудноизмеримую цену; во-вторых, в неавторитарном мире стагнация является нестабильной.
С помощью d/acc мы стремимся достичь следующих целей:
Другой взгляд на d/acc можно рассматривать в контексте движения пиратов в Европе в конце 2000-х годов: расширение полномочий. Наша цель состоит в том, чтобы построить мир, который способен сохранить человеческую агентность и достичь негативной свободы, то есть избежать активного вмешательства со стороны других (, будь то обычные граждане, государственные органы или суперумные роботы ), в нашу способность формировать собственную судьбу, одновременно достигая позитивной свободы, то есть обеспечивая, чтобы у нас были знания и ресурсы для реализации этой способности.
Третье измерение: совместное развитие выживания и процветания
В моей статье прошлого года d/acc особенно сосредоточился на защитных технологиях: физической защите, биологической защите, сетевой защите и информационной защите. Однако простая децентрализованная защита недостаточна для построения великого мира: нам также нужно проактивное позитивное видение, четко определяющее, каких целей может достичь человечество после получения новых децентрализованных и безопасных технологий.
В различных областях существует единая модель, согласно которой науки, идеи и инструменты, которые помогают нам «выживать» в определенной области, тесно связаны с науками, идеями и инструментами, которые содействуют нашему «процветанию». Вот некоторые конкретные примеры:
Множество недавних исследований по борьбе с коронавирусом сосредоточено на его постоянном присутствии в организме, что рассматривается как один из ключевых механизмов проблемы длительного COVID. В последнее время также появились признаки того, что постоянное присутствие вируса может быть патогенным фактором болезни Альцгеймера. Если эта точка зрения верна, то решение проблемы постоянного присутствия вируса во всех типах тканей может стать ключом к решению проблемы старения.
Низкозатратные и микроимиджинг инструменты, такие как те, которые разрабатывает Openwater, обладают огромным потенциалом в лечении микротромбов, хронических вирусов, рака и могут также применяться в области интерфейсов мозг-машина.
Стимулирование создания социальных инструментов, подходящих для высоко антагонистической среды, таких как сообщественные заметки (, и социальных инструментов для разумного сотрудничества, таких как Pol.is ), по своему принципу крайне схоже.
Прогнозные рынки имеют важную ценность как в условиях высокой кооперации, так и в условиях высокой конфронтации.
Нулевое доказательство и подобные технологии выполняют вычисления над данными, защищая при этом конфиденциальность, увеличивая объем данных, доступных для научных исследований и других полезных работ, а также усиливая защиту конфиденциальности.
Солнечная энергия и батареи имеют огромное значение для стимулирования следующей волны чистого экономического роста и также демонстрируют отличные результаты в области децентрализации и физической устойчивости.
Кроме того, между различными дисциплинарными областями существует важная взаимозависимость:
Мозговые интерфейсы являются ключевыми технологиями для защиты информации и сотрудничества, поскольку они позволяют более тонко обмениваться нашими мыслями и намерениями. Мозговые интерфейсы — это не просто связь между роботами и сознанием: это также может быть взаимодействие между сознанием-роботом-сознанием.
Многие биотехнологии зависят от обмена информацией, и во многих случаях люди готовы делиться информацией только тогда, когда уверены, что она будет использоваться исключительно для конкретных приложений. Это зависит от технологий конфиденциальности (, таких как нулевое знание, полностью однородное шифрование, технологии запутывания и т.д. ).
Технология сотрудничества может быть использована для координации финансирования в любой другой области технологий.
Задача: Безопасность ИИ, срочные сроки и регуляторные затруднения
В прошлом году самые убедительные аргументы против, с которыми я столкнулся в своей статье, исходили от сообщества по безопасности ИИ. Их аргумент: "Конечно, если у нас есть полвека для разработки сильного ИИ, мы можем сосредоточиться на создании всех этих полезных вещей. Но на самом деле, похоже, у нас может быть всего три года для достижения общего ИИ, а затем еще три года для достижения суперинтеллекта. Поэтому, если мы не хотим, чтобы мир погрузился в разрушение или каким-либо образом оказался в необратимой ситуации, мы не можем просто ускорять развитие полезных технологий, но также должны замедлить развитие вредных технологий, что означает необходимость введения строгих регулирующих мер, которые могут разозлить власть имущих." В своей статье прошлого года, помимо расплывчатого призыва не создавать опасные формы суперинтеллекта, я действительно не предложил никаких конкретных стратегий по "замедлению развития вредных технологий". Поэтому здесь необходимо напрямую рассмотреть этот вопрос: если мы находимся в наименее идеальном мире, где риски ИИ крайне высоки и временные рамки могут составлять всего пять лет, какие регулирующие меры я бы поддержал?
Причины осторожного подхода к новым регуляциям
В прошлом году основным предложением по регулированию ИИ стал законопроект SB-1047 в Калифорнии. SB-1047 требует от разработчиков самых мощных моделей (, то есть тех, чьи затраты на обучение превышают 100 миллионов долларов или затраты на дообучение превышают 10 миллионов долларов, принять ряд мер по безопасности перед выпуском. Кроме того, если разработчики моделей ИИ не проявят достаточной осторожности, они будут привлечены к ответственности. Многие критики считают, что этот законопроект "представляет угрозу для открытого кода"; я не согласен с этим, поскольку порог затрат означает, что он влияет только на самые мощные модели: даже модель Llama3 может оказаться ниже этого порога. Однако, оглядываясь назад, я считаю, что у законопроекта есть более серьезная проблема: как и большинство регуляторных мер, он чрезмерно адаптирован к текущей ситуации. Озабоченность по поводу затрат на обучение оказалась уязвимой в условиях новых технологий: недавняя передовая модель DeepSeek v3 имела затраты на обучение всего 6 миллионов долларов, и в новых моделях, таких как o1, затраты обычно больше смещаются на этап вывода.
Наиболее вероятные действия субъектов, ответственных за сценарии уничтожения суперразумного ИИ
На самом деле, наиболее вероятными действующими лицами, ответственными за сценарии уничтожения от суперразумного ИИ, являются армии. Как мы наблюдали за последние полвека в области биобезопасности ) и ранее (, армии готовы принимать некоторые ужасные меры, и они легко могут ошибаться. В настоящее время применение ИИ в военной сфере быстро развивается ), как, например, в Украине и в Газе (. Кроме того, любые меры безопасности, принимаемые правительствами, по умолчанию будут освобождать их собственные армии и компании, тесно сотрудничающие с армиями.
Стратегия реагирования
Тем не менее, эти аргументы не являются причиной, по которой мы должны чувствовать себя беззащитными. Напротив, мы можем использовать их в качестве руководства, пытаясь разработать правила, которые вызывают наименьшие опасения.
Стратегия 1: Ответственность
Если чьи-либо действия каким-либо образом причинили законно преследуемый вред, их можно осудить. Это не решает проблемы рисков, возникающих от армии и других "превышающих закон" субъектов, но это очень универсальный подход, который помогает избежать чрезмерной настройки, именно поэтому склонные к либертарианству экономисты обычно поддерживают эту практику.
Основные цели ответственности, рассматриваемые до настоящего времени, следующие:
Возложение ответственности на пользователя, похоже, наиболее соответствует механизму стимулов. Хотя связь между способом разработки модели и ее окончательным использованием часто неясна, пользователи определяют конкретный способ использования ИИ. Привлечение пользователей к ответственности создаст мощное давление, побуждающее людей использовать ИИ так, как я считаю правильным: сосредоточиться на создании механических套装 для человеческого мышления, а не на создании нового "я".