d/acc : Un an de rétrospective et de perspectives

L'année dernière, j'ai publié un article sur l'optimisme technologique, exposant mon enthousiasme général pour la technologie et les avantages considérables qu'elle pourrait apporter. En même temps, j'ai également exprimé une attitude prudente sur certaines questions spécifiques, en particulier concernant l'IA superintelligente et les risques de destruction qu'elle pourrait engendrer, ou le risque de faire perdre aux humains leur pouvoir de manière irréversible.

Le point central de cet article est de promouvoir une approche de l'accélération défensive qui soit décentralisée, démocratique et différenciée. Nous devrions accélérer le développement technologique, mais en nous concentrant sélectivement sur les technologies qui renforcent la capacité de défense plutôt que d'agression, et nous engager à décentraliser le pouvoir, plutôt qu'à le concentrer entre les mains de quelques élites. Le mode de défense devrait ressembler à une démocratie à la suisse, et non à un système féodal médiéval avec des seigneurs et des châteaux.

Au cours de l'année écoulée, ces idées ont connu un développement et une maturation significatifs. J'ai partagé ces idées sur la plateforme "80,000 heures", et j'ai reçu beaucoup de retours, la plupart étant positifs, bien sûr, il y a aussi quelques critiques.

Des progrès substantiels ont également été réalisés dans ce travail : des avancées ont été faites dans le domaine des vaccins open source vérifiables ; la compréhension de l'air intérieur sain s'est approfondie ; les "notes communautaires" continuent de jouer un rôle positif ; le marché de prévision a connu une année charnière en tant qu'outil d'information ; les preuves à divulgation nulle de connaissance ont été appliquées dans le domaine de l'identification gouvernementale et des médias sociaux ; des outils d'imagerie open source ont progressé dans les domaines médical et d'interface cerveau-machine, etc.

L'automne dernier, nous avons organisé notre premier événement majeur d/acc : "Journée de découverte d/acc". L'événement a rassemblé des conférenciers des différents piliers de d/acc, y compris ( la biologie, la physique, le réseau, la défense de l'information et la technologie neuronale ), et a duré toute la journée. Les personnes engagées de longue date dans ces technologies ont commencé à mieux comprendre le travail des autres, et les personnes extérieures ont également pris conscience de cette vision plus large : les mêmes valeurs qui promeuvent le développement d'Ethereum et des cryptomonnaies peuvent s'étendre à un monde plus vaste.

La signification et l'extension de d/acc

L'idée centrale de d/acc est très simple : une accélération défensive décentralisée, démocratique et différenciée. Construire des technologies capables de faire pencher l'équilibre entre l'attaque et la défense vers la défense, sans dépendre du transfert de plus de pouvoir à des autorités centrales au cours du processus de mise en œuvre. Il existe un lien intrinsèque entre ces deux aspects : toute structure politique décentralisée, démocratique ou libre a tendance à prospérer lorsque la défense est facile à mettre en œuvre, mais fait face à de sévères défis lorsque la défense rencontre des difficultés.

Une manière de comprendre l'importance d'essayer d'atteindre simultanément la décentralisation, la défense et l'accélération est de la comparer à l'idée qui résulte de l'abandon de l'un de ces trois aspects.

Accélération décentralisée, mais néglige la partie "défense différenciée" : cela ressemble à devenir un efficace accélérationniste (e/acc), tout en poursuivant la décentralisation. Cette approche pourrait éviter le risque d'une dictature mondiale par des groupes spécifiques, mais elle n'a pas résolu les problèmes structurels potentiels : dans un environnement favorable à l'attaque, il existe toujours un risque permanent de catastrophe, ou quelqu'un pourrait se positionner comme protecteur et occuper une position dominante de manière permanente.

Une défense différenciée accélérée, mais en ignorant "la décentralisation et la démocratie" : accepter un contrôle centralisé pour atteindre des objectifs de sécurité est toujours attrayant pour une partie des gens. Cependant, il existe un problème de degré avec le contrôle centralisé. Les risques de cette approche sont évidents, à savoir que le centre lui-même devient souvent la source du risque. Nous avons déjà été témoins de cela pendant la pandémie de COVID-19.

Défense décentralisée, mais rejet de l'accélération : cela revient essentiellement à essayer de ralentir les progrès technologiques ou à promouvoir un déclin économique. Cette stratégie fait face à un double défi : d'une part, la croissance technologique et économique est extrêmement bénéfique pour l'humanité dans son ensemble, tout retard entraînerait des coûts inestimables ; d'autre part, dans un monde non autoritaire, l'immobilisme est instable.

Grâce à d/acc, nous nous engageons à atteindre les objectifs suivants :

• Tenir fermement à ses principes dans un monde de plus en plus tribal, et ne pas se contenter de construire aveuglément toutes sortes de choses.
• Reconnaître que les avancées technologiques exponentielles signifient que le monde deviendra extrêmement étrange, et que l'empreinte globale de l'humanité dans l'univers ne pourra que s'accroître. Notre capacité à protéger les animaux, les plantes et les populations vulnérables contre les dommages doit continuer à s'améliorer, et le seul moyen d'y parvenir est d'aller de l'avant.
• Construire une technologie qui protège réellement, plutôt que de se baser sur l'hypothèse que "de bonnes personnes ( ou une bonne IA ) contrôlent tout". Nous atteignons cet objectif en construisant des outils qui sont naturellement plus efficaces pour construire et protéger que pour détruire.

Une autre perspective sur d/acc est de revenir à un cadre du mouvement des Pirates en Europe à la fin des années 2000 : l'autonomisation. Notre objectif est de construire un monde qui préserve l'agency humaine, réalisant la liberté négative, c'est-à-dire éviter que d'autres (, qu'il s'agisse de citoyens ordinaires, de gouvernements ou de super-intelligences artificielles ), n'interfèrent activement dans notre capacité à façonner notre propre destin, tout en réalisant la liberté positive, c'est-à-dire en s'assurant que nous avons les connaissances et les ressources pour exercer cette capacité.

Troisième dimension : développement coordonné de la survie et de la prospérité

Dans mon article de l'année dernière, d/acc s'est particulièrement concentré sur les technologies défensives : la défense physique, la défense biologique, la défense numérique et la défense de l'information. Cependant, une défense décentralisée pure n'est pas suffisante pour construire un grand monde : nous avons également besoin d'une vision proactive et prospective, qui précise quels objectifs l'humanité peut atteindre après avoir obtenu une nouvelle décentralisation et sécurité.

Il existe un modèle cohérent dans divers domaines, à savoir que les sciences, les idées et les outils qui peuvent nous aider à "survivre" dans un domaine sont étroitement liés à ceux qui peuvent nous aider à "prospérer". Voici quelques exemples concrets :

• De nombreuses recherches récentes sur la lutte contre le COVID-19 se concentrent sur la persistance du virus dans le corps, considérée comme un mécanisme clé du problème du long COVID. Récemment, il y a également des signes indiquant que la persistance du virus pourrait être un facteur pathogène de la maladie d'Alzheimer. Si cette hypothèse est confirmée, alors résoudre le problème de la persistance du virus dans tous les types de tissus pourrait être la clé pour surmonter le défi du vieillissement.

• Des outils d'imagerie à faible coût et miniatures, comme ceux en développement par Openwater, ont un fort potentiel dans le traitement des microthrombus, la persistance virale, le cancer, etc., et peuvent également être appliqués dans le domaine des interfaces cerveau-machine.

• Promouvoir la construction d'outils sociaux adaptés à des environnements hautement adverses ( tels que les notes communautaires ) et des outils sociaux pour un environnement de coopération raisonnable ( comme Pol.is ) est une idée extrêmement similaire.

• Les marchés de prévision ont une valeur importante tant dans des environnements de forte coopération que de forte antagonisme.

• Les preuves à divulgation nulle de connaissance et des technologies similaires permettent de traiter des données tout en protégeant la vie privée, augmentant à la fois le volume de données disponibles pour des travaux bénéfiques tels que la recherche scientifique, et renforçant la protection de la vie privée.

• L'énergie solaire et les batteries sont d'une importance capitale pour stimuler la prochaine vague de croissance économique propre, tout en se distinguant également en matière de décentralisation et de résilience physique.

En outre, il existe d'importantes relations d'interdépendance entre différents domaines disciplinaires :

• L'interface cerveau-machine est essentielle en tant que technologie de défense de l'information et de collaboration, car elle permet une communication plus fine de nos pensées et intentions. L'interface cerveau-machine n'est pas seulement une connexion entre les robots et la conscience : elle peut également être une interaction entre la conscience - le robot - la conscience.

• De nombreuses biotechnologies reposent sur le partage d'informations, et dans de nombreux cas, les gens ne sont prêts à partager des informations que s'ils sont convaincus que celles-ci ne seront utilisées que pour des applications spécifiques. Cela dépend des technologies de confidentialité ( telles que les preuves à connaissance nulle, le chiffrement homomorphe complet, les techniques d'obscurcissement, etc. ).

• La technologie de collaboration peut être utilisée pour coordonner le financement de tout autre domaine technologique.

Dilemme : Sécurité de l'IA, délais serrés et dilemme réglementaire

L'année dernière, les objections les plus convaincantes à mon article provenaient de la communauté de la sécurité de l'IA. Leur argument était : "Bien sûr, si nous avions un demi-siècle pour développer une IA forte, nous pourrions nous concentrer sur la construction de toutes ces choses bénéfiques. Mais en réalité, il semble que nous n'ayons peut-être que trois ans pour développer une IA générale, puis trois autres années pour aboutir à une super intelligence. Par conséquent, si nous ne voulons pas que le monde soit plongé dans la destruction ou dans d'autres situations irréversibles, nous ne pouvons pas simplement accélérer le développement des technologies bénéfiques, mais devons également ralentir le développement des technologies nuisibles, ce qui signifie qu'il faut des mesures de réglementation fortes qui pourraient irriter les puissants." Dans mon article de l'année dernière, en plus d'appeler de manière vague à ne pas construire des formes de super intelligence à risque, je n'ai en effet proposé aucune stratégie spécifique pour "ralentir le développement des technologies nuisibles". Il est donc nécessaire d'explorer cette question directement : si nous nous trouvons dans le monde le moins idéal, avec des risques d'IA extrêmement élevés et une ligne de temps pouvant ne pas dépasser cinq ans, quelles mesures de réglementation soutiendrais-je ?

Raisons d'une attitude prudente envers les nouvelles réglementations

L'année dernière, la principale proposition de régulation de l'IA était le projet de loi SB-1047 de Californie. Le SB-1047 exige que les développeurs des modèles les plus puissants (, c'est-à-dire ceux dont le coût d'entraînement dépasse 100 millions de dollars ou dont le coût de réajustement dépasse 10 millions de dollars, prennent une série de mesures de test de sécurité avant de les publier. De plus, si les développeurs de modèles d'IA ne font pas preuve de suffisamment de prudence, ils seront tenus responsables. De nombreux critiques estiment que ce projet de loi "constitue une menace pour l'open source"; je suis en désaccord avec cela, car le seuil de coût signifie qu'il n'affecte que les modèles les plus puissants : même le modèle Llama3 pourrait être en dessous de ce seuil. Cependant, en regardant en arrière, je pense qu'il y a un problème plus grave avec ce projet de loi : comme la plupart des mesures réglementaires, elle s'adapte trop à la situation actuelle. L'attention portée au coût d'entraînement a prouvé être fragile face aux nouvelles technologies : le coût d'entraînement du modèle DeepSeek v3, qui est à la pointe de la technologie, n'est que de 6 millions de dollars, et dans de nouveaux modèles comme o1, le coût est souvent déplacé de l'entraînement vers la phase d'inférence.

Les agents les plus susceptibles d'être responsables des scénarios de destruction de l'intelligence artificielle super intelligente.

En réalité, les acteurs les plus susceptibles d'être responsables des scénarios de destruction liés à une super-intelligence AI sont les armées. Comme nous l'avons vu au cours du dernier demi-siècle dans la sécurité biologique ) et même plus tôt (, les armées sont prêtes à entreprendre des actions terrifiantes, et elles sont très susceptibles de commettre des erreurs. Aujourd'hui, l'application de l'IA dans le domaine militaire évolue rapidement ), comme dans le cas de l'Ukraine et de la région de Gaza (. De plus, toute mesure de réglementation de sécurité adoptée par un gouvernement exempt automatiquement son armée nationale ainsi que les entreprises travaillant en étroite collaboration avec l'armée.

Stratégie d'adaptation

Cela dit, ces arguments ne sont pas une raison pour que nous soyons paralysés. Au contraire, nous pouvons les utiliser comme guide pour essayer d'élaborer des règles qui suscitent le moins de préoccupations possible.

Stratégie 1 : Responsabilité

Si le comportement de quelqu'un cause des dommages pouvant être légalement poursuivis, il peut être poursuivi. Cela ne résout pas le problème des risques posés par l'armée et d'autres acteurs "au-dessus des lois", mais c'est une approche très générale qui permet d'éviter le surajustement, c'est pourquoi les économistes tendance libertarienne soutiennent généralement cette pratique.

Les principaux objectifs de responsabilité envisagés jusqu'à présent sont les suivants :

• Utilisateur : une personne qui utilise l'IA.
• Déployeur : intermédiaire fournissant des services d'IA aux utilisateurs.
• Développeur : celui qui construit l'IA.

Il semble que faire reposer la responsabilité sur l'utilisateur soit le plus en phase avec le mécanisme d'incitation. Bien que le lien entre la manière dont le modèle est développé et la façon dont il est finalement utilisé soit souvent flou, l'utilisateur décide de la manière spécifique dont l'IA sera utilisée. Tenir les utilisateurs responsables exercera une pression forte, incitant les gens à utiliser l'IA de la manière que je considère correcte : se concentrer sur la construction d'un ensemble mécanique pour la pensée humaine, plutôt que de créer un nouveau soi.