d/acc : Retour sur une année

L'année dernière, j'ai écrit un article sur l'optimisme technologique, exprimant ma passion pour la technologie et les énormes bénéfices qu'elle peut apporter. J'ai également exprimé une attitude prudente à l'égard de certains problèmes, principalement en ce qui concerne l'IA super intelligente et les risques de destruction ou de perte de pouvoir irréversible qu'elle pourrait engendrer.

Le point central de l'article est de promouvoir une idée de défense accélérée qui soit décentralisée, démocratique et différenciée. Il faut à la fois accélérer le développement technologique et se concentrer sur l'amélioration des capacités de défense plutôt que sur les capacités destructrices, tout en s'engageant à décentraliser le pouvoir pour éviter que quelques élites ne jugent ce qui est bien ou mal au nom de tous. Le mode de défense devrait ressembler à la démocratie suisse, et non à un château féodal du Moyen Âge.

Au cours de l'année, ces idées ont connu un développement significatif. J'ai partagé ces points de vue sur la plateforme "80,000 heures", et j'ai reçu la plupart des réponses positives, mais aussi quelques critiques. Ce travail a produit des résultats concrets : des progrès ont été réalisés dans le domaine des vaccins open source vérifiables ; les gens prennent davantage conscience de la valeur d'un air intérieur sain ; les "notes communautaires" continuent de jouer un rôle positif ; le marché prédictif a connu une année de percée en tant qu'outil d'information ; les preuves à connaissance nulle sont utilisées dans l'identification gouvernementale et les réseaux sociaux ; des outils d'imagerie open source ont été appliqués dans le domaine médical et des interfaces cerveau-machine, etc.

L'automne dernier, nous avons organisé notre premier événement d'importance dans le domaine du d/acc : "Journée de découverte du d/acc"(d/aDDy), réunissant des intervenants de divers domaines du d/acc( tels que la biologie, la physique, le réseau, la défense des informations et la technologie neuronale). Les personnes qui se consacrent depuis longtemps à ces technologies comprennent mieux le travail des autres, et les personnes extérieures prennent de plus en plus conscience d'une vision plus large : les valeurs qui soutiennent le développement de l'Ethereum et des cryptomonnaies peuvent s'étendre à un monde plus vaste.

La signification et l'extension de d/acc

L'idée centrale de d/acc est : une accélération défensive décentralisée, démocratique et différenciée. Construire des technologies qui permettent d'incliner l'équilibre entre l'attaque et la défense vers la défense, sans dépendre, dans le processus de mise en œuvre, du transfert de plus de pouvoir à des autorités centrales. Ces deux aspects sont étroitement liés : toute structure politique décentralisée, démocratique ou libre a tendance à prospérer lorsque la défense est facile à mettre en œuvre, mais rencontre des défis lorsque la défense est difficile.

Une façon de comprendre et de réaliser l'importance de la décentralisation, de la défense et de l'accélération est de la comparer à l'idée produite par l'abandon de l'un de ces trois aspects :

1. Accélération de la décentralisation, mais néglige la partie "défense différenciée".
2. Accélération de la défense différenciée, mais ignorance de "décentralisation et démocratie"
3. Défense décentralisée, mais rejet de l'accélération

Grâce à d/acc, nous nous engageons à atteindre les objectifs suivants :

• Dans un monde de plus en plus tribalisé, tenir fermement ses principes et construire des choses spécifiques pour rendre le monde plus sûr et meilleur.

• Reconnaître que les avancées technologiques exponentielles signifient que le monde deviendra extrêmement étrange, et que les "empreintes" de l'humanité dans l'univers continueront d'augmenter. Notre capacité à protéger les choses fragiles contre les dommages doit continuer à s'améliorer, et le seul moyen est d'aller de l'avant.

• Construire des technologies qui protègent réellement nos intérêts, plutôt que de se baser sur l'hypothèse que "les bonnes personnes ( ou une bonne IA ) contrôlent tout". Nous atteignons cet objectif en développant des outils qui sont naturellement plus efficaces pour construire et protéger que pour détruire.

Une autre perspective sur le d/acc est de revenir au cadre du mouvement des pirates en Europe à la fin des années 2000 : l'autonomisation. Notre objectif est de construire un monde qui préserve l'autonomie humaine, réalisant la liberté négative, c'est-à-dire éviter que d'autres (, qu'il s'agisse de citoyens ordinaires, de gouvernements ou de super-intelligences artificielles ), n'interviennent activement dans notre capacité à façonner notre propre destin, tout en réalisant la liberté positive, c'est-à-dire s'assurer que nous avons les connaissances et les ressources pour exercer cette capacité.

Problème : Sécurité de l'IA, délais urgents et dilemme réglementaire

L'année dernière, l'argument le plus convaincant que j'ai reçu contre mon article venait de la communauté de la sécurité de l'IA. Son argument était : "Bien sûr, si nous avons un demi-siècle pour développer une IA forte, nous pourrions nous concentrer sur la construction de toutes ces choses bénéfiques. Mais en réalité, il semble que nous n'ayons peut-être que trois ans pour développer une IA générale, puis trois ans de plus pour atteindre une superintelligence. Par conséquent, si nous ne voulons pas que le monde tombe dans la destruction ou dans d'autres situations irréversibles, nous ne pouvons pas simplement accélérer le développement des technologies bénéfiques, mais nous devons également ralentir le développement des technologies nuisibles, ce qui signifie qu'il est nécessaire d'imposer des mesures réglementaires strictes qui pourraient irriter les puissants."

Raisons d'une attitude prudente envers la nouvelle réglementation:

L'année dernière, la principale proposition de réglementation sur l'IA était la loi SB-1047 de Californie. Elle exige que les développeurs de modèles les plus puissants, dont le coût de formation dépasse 100 millions de dollars ou le coût d'ajustement dépasse 10 millions de dollars, prennent une série de mesures de sécurité avant la publication. Si les développeurs de modèles d'IA ne font pas preuve de suffisamment de prudence, ils seront tenus responsables. De nombreux critiques estiment que cette loi "constitue une menace pour l'open source" ; je ne suis pas d'accord avec cela, car le seuil de coût signifie qu'il n'affecte que les modèles les plus puissants. Cependant, rétrospectivement, je pense qu'il y a un problème plus grave avec cette loi : comme la plupart des mesures réglementaires, elle s'adapte de manière excessive à la situation actuelle. L'accent mis sur les coûts de formation s'est révélé fragile face aux nouvelles technologies : le coût de formation du modèle DeepSeek v3, qui est à la pointe de la technologie, n'est que de 6 millions de dollars, et dans de nouveaux modèles comme o1, les coûts se déplacent souvent davantage vers la phase d'inférence.

Les acteurs les plus susceptibles d'être responsables des scénarios de destruction de l'intelligence artificielle super intelligente :

En réalité, les acteurs les plus susceptibles d'être responsables des scénarios de destruction par une super-intelligence artificielle sont les armées. Comme nous l'avons vu au cours des cinquante dernières années en matière de biosécurité ( et même plus tôt ), les armées sont prêtes à entreprendre des actions terrifiantes et elles sont très susceptibles de faire des erreurs. Aujourd'hui, l'application de l'IA dans le domaine militaire évolue rapidement (, comme en Ukraine et dans la région de Gaza ). De plus, toute mesure de régulation de sécurité adoptée par un gouvernement exempt automatiquement son armée nationale ainsi que les entreprises collaborant étroitement avec celle-ci.

Stratégie de réponse:

Cela dit, ces arguments ne sont pas une raison pour que nous soyons paralysés. Au contraire, nous pouvons les utiliser comme des lignes directrices pour essayer d'élaborer des règles qui suscitent le moins de préoccupations.

Stratégie 1 : Responsabilité

Si le comportement de quelqu'un cause des dommages pouvant être légalement poursuivis, il peut être poursuivi en justice. Cela ne résout pas le problème des risques posés par l'armée et d'autres acteurs "au-dessus des lois", mais c'est une approche très générale qui évite le surajustement, c'est pourquoi les économistes ayant tendance au libertarianisme soutiennent généralement cette pratique.

Les principaux objectifs de responsabilité envisagés jusqu'à présent sont les suivants :

• Utilisateur : une personne qui utilise l'IA.
• Déployeur : intermédiaire fournissant des services d'IA aux utilisateurs.
• Développeurs : ceux qui construisent l'IA.

Il semble que faire reposer la responsabilité sur l'utilisateur soit le plus conforme au mécanisme d'incitation. Bien que le lien entre la manière dont le modèle est développé et la manière dont il est finalement utilisé soit souvent flou, l'utilisateur décide de la manière dont l'IA sera spécifiquement utilisée. Tenir l'utilisateur responsable exercera une pression forte, incitant les gens à utiliser l'IA de la manière que je considère correcte : se concentrer sur la construction d'un ensemble mécanique pour la pensée humaine, plutôt que de créer une nouvelle forme de vie intelligente auto-entretenue. La première option répondra régulièrement aux intentions de l'utilisateur, donc à moins que l'utilisateur ne le souhaite, cela ne conduira pas à des actions catastrophiques. La seconde option comporte le plus grand risque, à savoir qu'elle pourrait devenir incontrôlable et déclencher le scénario classique de "l'IA hors de contrôle". Un autre avantage de faire reposer la responsabilité aussi près que possible de l'utilisateur final est que cela réduit au maximum le risque que la responsabilité pousse les gens à adopter des comportements nuisibles dans d'autres domaines ( tels que le code source fermé, la connaissance de votre client ) KYC ( et la surveillance, la collusion entre l'État et les entreprises pour restreindre secrètement les utilisateurs, comme les banques qui refusent de servir certains clients, excluant ainsi de vastes régions du monde (.

![Vitalik nouvel article : comment le décentralisme accéléré lie les cryptomonnaies et l'IA ?])https://img-cdn.gateio.im/webp-social/moments-bbfd388fc37072f272c62129923df866.webp)

Il existe un point de vue classique qui s'oppose à l'attribution de la responsabilité uniquement aux utilisateurs : les utilisateurs peuvent être des individus ordinaires, n'ayant pas beaucoup d'argent, et peuvent même être anonymes, ce qui fait qu'aucune personne ne peut réellement payer pour des dommages catastrophiques. Ce point de vue peut être exagéré : même si certains utilisateurs sont trop petits pour assumer la responsabilité, les clients ordinaires des développeurs d'IA ne le sont pas, et par conséquent, les développeurs d'IA seront toujours incités à construire des produits qui rassurent les utilisateurs sur le fait qu'ils ne feront pas face à des risques de responsabilité élevés. Cela dit, c'est toujours un point de vue valide qui nécessite d'être abordé. Vous devez inciter quelqu'un avec des ressources dans le pipeline à prendre des mesures de précaution appropriées, et les déployeurs et les développeurs sont des cibles facilement identifiables, ayant encore un impact significatif sur la sécurité du modèle.

Il semble raisonnable de tenir les déployeurs responsables. Une préoccupation courante est que cela ne fonctionne pas pour les modèles open source, mais cela semble gérable, surtout parce que les modèles les plus puissants sont susceptibles d'être propriétaires (. Si les résultats sont open source, alors bien que la responsabilité des déployeurs puisse finalement ne pas être très utile, elle ne causera pas non plus trop de dommages ). La responsabilité des développeurs soulève également les mêmes préoccupations (. Bien que pour les modèles open source, il y ait un certain obstacle à peaufiner le modèle pour le faire faire des choses qui ne sont pas initialement autorisées ), les mêmes raisons de réfutation s'appliquent. En tant que principe général, imposer une "taxe" sur le contrôle, c'est essentiellement dire "vous pouvez construire quelque chose que vous ne pouvez pas contrôler, ou vous pouvez construire quelque chose que vous pouvez contrôler, mais si vous construisez quelque chose que vous pouvez contrôler, alors 20 % du contrôle doit être utilisé à nos fins", cela semble être la position raisonnable que le système juridique devrait adopter.

Une idée qui semble encore peu explorée est de tenir pour responsables d'autres acteurs dans le pipeline, qui sont plus susceptibles de disposer de ressources suffisantes. Une idée qui correspond très bien à la philosophie d/acc est de tenir responsables les propriétaires ou opérateurs de tout appareil piraté par l'IA au cours de la réalisation de certaines actions catastrophiquement nuisibles, par exemple en s'emparant de (. Cela créerait une incitation très large, incitant les gens à s'efforcer de rendre le monde ), en particulier l'infrastructure dans les domaines du calcul et de la biologie (, aussi sûre que possible.

Stratégie 2 : bouton "pause douce" mondial sur du matériel à échelle industrielle

Si je suis convaincu que nous avons besoin de mesures "plus fortes" que les règles de responsabilité, je choisirais cette stratégie. L'objectif est d'avoir la capacité de réduire la puissance de calcul disponible dans le monde d'environ 90 à 99 % pendant 1 à 2 ans, afin de donner à l'humanité plus de temps pour se préparer. La valeur de 1 à 2 ans ne doit pas être sous-estimée : un an de "mode de guerre" dans un contexte de complaisance peut facilement équivaloir à cent ans de travail habituel. Les méthodes pour réaliser une "pause" sont déjà en cours d'exploration, y compris quelques propositions concrètes, telles que l'exigence d'enregistrement du matériel et de vérification des emplacements.

Une méthode plus avancée consiste à utiliser des moyens cryptographiques astucieux : par exemple, le matériel AI à l'échelle industrielle ) mais non de consommation ( peut être équipé d'une puce matérielle de confiance, autorisée à continuer à fonctionner uniquement après avoir obtenu chaque semaine une signature 3/3 de la part des principales institutions internationales ), y compris au moins une entité non militaire (. Ces signatures seront indépendantes de l'appareil ) et, si nécessaire, nous pouvons même demander à publier une preuve à connaissance nulle sur la blockchain (, donc ce sera tout ou rien : il n'existe aucun moyen réel d'autoriser un appareil à continuer à fonctionner sans autoriser tous les autres appareils.

Cela semble "répondre aux exigences" en matière de maximisation des bénéfices et de minimisation des risques :

• C'est un projet