Transférer le titre original : d/acc : un an plus tard

Il y a environ un an, j'ai écrit un article sur le techno-optimisme, décrivant mon enthousiasme général pour la technologie et les énormes avantages qu'elle peut apporter, ainsi que ma prudence concernant quelques préoccupations spécifiques, principalement centrées autour de l'IA superintelligente et du risque qu'elle peut entraîner, soit la catastrophe, soit l'asservissement humain irréversible, si la technologie est développée de la mauvaise manière. L'une des idées centrales de mon message était la philosophie de l'accélération défensive différenciée, décentralisée et démocratique. Accélérer la technologie, mais se concentrer différemment sur les technologies qui améliorent notre capacité à nous défendre, plutôt que notre capacité à causer du tort, et sur les technologies qui distribuent le pouvoir plutôt que de le concentrer entre les mains d'une élite unique qui décide de ce qui est vrai, faux, bon ou mauvais au nom de tous. La défense, comme dans la démocratie. Suisseet historiquement quasi-anarchisteZomia, pas comme les seigneurs et les châteaux du féodalisme médiéval.

Au cours de l'année écoulée, la philosophie et les idées ont considérablement mûri. J'ai parlé des idées sur 80 000 heures, et avons vu de nombreuses réponses, largement positives et quelques critiques. Le travail lui-même se poursuit et porte ses fruits : nous sommes voir des progrèsdans vérifiablevaccins open-source, une reconnaissance croissante de la valeur d'un air intérieur sain, les Community Notes continuent de briller, une année de percée pour marchés de prédiction comme outil d'information, ZK-SNARKs dans pièce d'identité du gouvernementetmédias sociaux (et sécurisationEthereumportefeuillesà traversabstraction de compte), outils d'imagerie open-sourceavec des applications en médecine et BCI, et plus encore. À l'automne, nous avons eu le premier événement d'accident vasculaire cérébral significatif :“d/acc Discovery Day” (d/aDDy) at Devcon, qui a présenté une journée complète de conférenciers issus de tous les piliers de d/acc (bio, physique, cyber, défense de l'information, et neurotechnologie). Les personnes qui travaillent depuis des années sur ces technologies sont de plus en plus conscientes du travail des autres, et les personnes extérieures prennent de plus en plus conscience de l'histoire plus vaste : les mêmes types de valeurs qui ont motivé Ethereum et la cryptomonnaie peut être appliqué au monde entier.

Table des matières

• Qu'est-ce que d/acc est et n'est pas
• La troisième dimension : survivre et prospérer
• La difficile question : la sécurité de l'IA, les délais courts et la réglementation
• Le rôle de la crypto dans d/acc
• d/acc et financement des biens publics
• L'avenir

Ce qui est et n'est pas

Nous sommes en 2042. Vous voyez des reportages dans les médias sur une nouvelle pandémie potentielle dans votre ville. Vous êtes habitués à cela : les gens sont surexcités par chaque mutation d’une maladie animale, et la plupart d’entre eux n’aboutissent à rien. Les deux précédentes pandémies potentielles réelles ont été détectées très tôt Surveillance des eaux uséesetanalyse open-source des médias sociaux, et s'est complètement arrêté dans leur élan. Mais cette fois-ci, les marchés prédictifs montrent une probabilité de 60% d'au moins 10 000 cas, donc vous êtes plus inquiet.

La séquence pour le virus a été identifiée hier. Mises à jour logicielles pour votre pochetesteur d'airpermettre de détecter le nouveau virus (à partir d'un simple souffle, ou à partir de 15 minutes d'exposition à l'air intérieur dans une pièce) sont déjà disponibles. Des instructions open-source et du code pour générer un vaccin à l'aide d'équipements que l'on peut trouver dans n'importe quelle installation médicale moderne dans le monde entier devraient être disponibles dans les semaines à venir. La plupart des gens ne prennent encore aucune mesure, comptant principalement sur l'adoption généralisée de la filtration de l'air et de la ventilation pour se protéger. Vous avez une condition immunitaire, donc vous êtes plus prudent : votre assistant personnel AI en cours d'exécution localement en open-source, qui gère entre autres la navigation, les recommandations de restaurants et d'événements, prend également en compte les données en temps réel des testeurs d'air et de CO2 pour recommander uniquement les lieux les plus sûrs. Les données sont fournies par des milliers de participants et de dispositifs utilisant Zk-SNARKsetvie privée différentiellepour minimiser le risque que les données puissent être divulguées ou utilisées à d'autres fins (si vous voulez contribuer des données à ces ensembles de données, il existe d'autres IA assistants personnels qui vérifient les preuves formelles que ces gadgets cryptographiques fonctionnent réellement).

Deux mois plus tard, la pandémie a disparu : il semble que 60 % des personnes suivant le protocole de base consistant à mettre un masque si le testeur d'air sonne et montre la présence du virus, et à rester à la maison si elles testent positif personnellement, aient suffi à faire baisser le taux de transmission, déjà fortement réduit en raison d'une filtration de l'air lourde passive, à moins de 1. Une maladie qui, selon les simulations, aurait pu être cinq fois plus grave que le Covid il y a vingt ans, se révèle être un non-problème aujourd'hui.

Journée d'accueil de Devcon

L'un des aspects les plus positifs de l'événement d/acc à Devcon a été la mesure dans laquelle le parapluie d/acc a réussi à rassembler des personnes de domaines très différents et à les intéresser réellement au travail les unes des autres.

Créer des événements avec de la “diversité” est facile, mais faire en sorte que des personnes différentes, avec des milieux et des intérêts différents, puissent réellement se comprendre les unes les autres est difficile. Je me souviens encore d'avoir été obligé de regarder de longues opéras au collège et au lycée, et de les avoir personnellement trouvés ennuyeux. Je savais que je devais les apprécier, car sinon j'aurais été considéré comme un informaticien inculte, mais je n'ai pas réussi à me connecter au contenu de manière authentique. La journée d'accueil n'a pas du tout donné cette impression : on avait l'impression que les gens prenaient réellement plaisir à découvrir des types de travail très différents dans différents domaines.

Si nous voulons créer une alternative plus lumineuse à la domination, à la décélération et à la condamnation, nous avons besoin de ce type de construction d'une large coalition. D/acc semblait en fait y réussir, et cela seul montre la valeur de l'idée.

L'idée centrale de d/acc est simple : accélération défensive différentielle décentralisée et démocratique. Construire des technologies qui déplacent l'équilibre entre l'offensive et la défense vers la défense, et ce, d'une manière qui ne repose pas sur le transfert de plus de pouvoir aux autorités centralisées. Il existe un lien inhérent entre ces deux côtés : tout type de structure politique décentralisée, démocratique ou libérale prospère mieux lorsque la défense est facile, et souffre le plus de défis lorsque la défense est difficile - dans ces cas, le scénario beaucoup plus probable est une période de guerre de tous contre tous, et éventuellement un équilibre de domination par les plus forts.

Le principe fondamental de d/acc s'étend à de nombreux domaines :

Graphique à partir deMon techno-optimisme, l'année dernière

Une façon de comprendre l'importance d'essayer d'être décentralisé, défensif et axé sur l'accélération en même temps est de le contraster avec la philosophie que vous adoptez lorsque vous abandonnez chacun des trois.

• Accélération décentralisée, mais ne vous souciez pas de la partie "défensive différentielle". En gros, soyez un e/acc, mais décentralisé. Il y a beaucoup de gens qui adoptent cette approche, quelquequi se qualifient de d/acc mais décrivent utilement leur focus comme "OFFENSE", mais aussi beaucoup d'autres qui sont enthousiastes à propos de l'"IA décentralisée" et de sujets similaires de manière plus modérée, mais à mon avis, accordent une attention insuffisante à l'aspect "défensif".

À mon avis, cette approche peut éviter le risque de dictature humaine mondiale par la tribu spécifique qui vous préoccupe, mais elle n'a pas de réponse au problème structurel sous-jacent : dans un environnement favorisant les infractions, il y a un risque constant de catastrophe ou que quelqu'un se positionne en tant que protecteur et s'établisse définitivement en haut. Dans le cas spécifique de l'IA, cela n'a également pas de bonne réponse au risque que les êtres humains dans leur ensemble se trouvent désavantagés par rapport aux IA.

• Accélération défensive différentielle, mais peu importe le caractère "décentralisé et démocratique". Adopter le contrôle centralisé pour des raisons de sécurité a un attrait permanent pour un sous-ensemble de personnes, et les lecteurs sont sans aucun doute déjà familiers avec de nombreux exemples, et leurs inconvénients. Récemment, certains se sont inquiétés du fait que le contrôle centralisé extrême est la seule solution aux extrêmes des technologies futures : voir ce scénario hypothétiqueoù "tout le monde est équipé d'une étiquette de liberté", un complément aux dispositifs de surveillance portables plus limités et couramment utilisés aujourd'hui, tels que le bracelet de cheville utilisé dans plusieurs pays comme alternative à la prison... la vidéo et l'audio chiffrés sont continuellement téléchargés et interprétés en temps réel par des machines". Cependant, le contrôle centralisé est un spectre. Une version plus douce du contrôle centralisé, généralement négligée mais néanmoins nocive, est la résistance à l'examen public dans le domaine de la biotechnologie (par exemple, nourriture, vaccins) et les normes de source fermée qui permettent à cette résistance de ne pas être contestée.

Le risque de cette approche est, bien sûr, que le centre est souvent lui-même la source de risque. Nous l'avons vu avec le Covid, où la recherche sur la fonctionnalité financée parplusieurs grands gouvernements mondiauxpeut avoir été à l'origine de la pandémie, l'épistémologie centralisée a conduit l'OMSne pas reconnaîtrepourannéesque le Covid est aéroporté et coercitifdistanciation sociale et vaccinLes mandats ont entraîné une réaction politique qui pourrait résonner pendant des décennies. Une situation similaire pourrait bien se produire autour de tout risque lié à l'IA, ou à d'autres technologies risquées. Une approche décentralisée permettrait de mieux répondre aux risques venant du centre lui-même.

• Défense décentralisée, mais ne vous souciez pas de l'accélération - essentiellement, en essayant de ralentir le progrès technologique ou économiquedécroissance.

Le défi avec cette stratégie est double. Tout d'abord, dans l'ensemble, la technologie et la croissance économique ont été massivement bénéfiques pour l'humanité, et tout retard à celaimpose des coûtsqui sontdifficile de surestimer. Deuxièmement, dans un monde non-totalitaire, ne pas avancer est instable: celui qui "triche" le plus et trouve des moyens plausiblement niables pour avancer finira par prendre de l'avance. Les stratégies décroissantes peuvent fonctionner dans une certaine mesure dans certains contextes: l'alimentation européenne étant plus saine que l'alimentation américaine en est un exemple, le succès de la non-prolifération nucléaire jusqu'à présent en est un autre. Mais elles ne peuvent pas fonctionner indéfiniment.

Avec d/acc, nous voulons :

• Soyez attaché à des principes à une époque où une grande partie du monde devient tribale, et ne construisez pas simplement n'importe quoi - nous voulons plutôt construire des choses spécifiques qui rendent le monde plus sûr et meilleur.
• Reconnaissez que le progrès technologique exponentiel signifie que le monde va devenir très très étrange et que l'empreinte totale de l'humanité sur l'univers ne fera qu'augmenter. Notre capacité à protéger les animaux, les plantes et les personnes vulnérables doit s'améliorer, mais la seule issue est d'avancer.
• Construisez une technologie qui nous garde en sécurité sans supposer que "les gentils (ou les bons IA) sont aux commandes". Nous le faisons en construisant des outils qui sont plus naturellement efficacelorsqu'il est utilisé pour construire et protéger que lorsqu'il est utilisé pour détruire.

Une autre façon de penser à d/acc est de revenir à un cadre deles mouvements du Parti Pirateen Europe à la fin des années 00 : autonomisation.

L'objectif est de construire un monde où nous préservons l'agence humaine, atteignantles deuxla liberté négative d'éviter les ingérences actives (qu'elles proviennent d'autres personnes agissant en tant que citoyens privés, ou des gouvernements, ou des bots superintelligents) dans notre capacité de façonner notre propre destinée, et la liberté positive de nous assurer que nous avons la connaissance et les ressources nécessaires. Cela fait écho à une tradition libérale classique vieille de plusieurs siècles, qui inclut également l'accent de Stewart Brand sur «accès aux outils" et celui de John Stuart Mill accent sur l'éducationaux côtés delibertécomme des composants clés du progrès humain - et peut-être, pourrait-on ajouter, le désir de Buckminster Fuller de voir le processus de résolution globale êtreparticipatif et largement distribuéNous pouvons voir d/acc comme un moyen d'atteindre les mêmes objectifs compte tenu du paysage technologique du XXIᵉ siècle.

La troisième dimension : survivre et prospérer

Dans mon article de l'année dernière, j'ai spécifiquement mis l'accent sur les technologies de défense : défense physique, défense biologique, défense cybernétique et défense de l'information. Cependant, la défense décentralisée n'est pas suffisante pour rendre le monde meilleur : vous avez également besoin d'une vision positive tournée vers l'avenir de ce que l'humanité peut accomplir grâce à sa nouvelle décentralisation et à sa sécurité.

Le post de l'année dernière contenait effectivement une vision positive, à deux endroits :

1. En me concentrant sur les défis de la superintelligence, j’ai proposé une voie (loin d’être originale pour moi) de la façon dont nous pouvons avoir une superintelligence sans perte de pouvoir :
   1. Aujourd'hui, construisez une IA sous forme d'outils plutôt que d'agents hautement autonomes
   2. Demain, utilisez des outils comme réalité virtuellegatemyoelectriques et les interfaces cerveau-ordinateur pour créer une rétroaction de plus en plus étroite entre l'IA et les humains
   3. Au fil du temps, avancez vers un dénouement final où la superintelligence est une combinaison étroitement couplée de machines et de nous.
2. En parlant de la défense de l'information, j'ai également mentionné en passant que, en plus de la technologie sociale défensive qui essaie d'aider les communautés à maintenir la cohésion et à avoir un discours de haute qualité face aux attaquants, il existe également une technologie sociale progressive qui peut aider les communautés à prendre plus facilement des jugements de haute qualité: pol.isest un exemple, etprédiction marchéssont un autre.

Mais ces deux points semblaient déconnectés de l'argument d/acc : « voici quelques idées pour créer un monde plus démocratique et favorable à la défense au niveau de base, et au fait voici quelques idées sans rapport sur la façon dont nous pourrions réaliser la superintelligence ».

Cependant, je pense qu’en réalité, il existe des liens très importants entre ce qui est étiqueté ci-dessus comme une technologie d/acc « défensive » et « progressive ». Développons le graphique d/acc de l’article de l’année dernière, en ajoutant cet axe (aussi, renommons-le "survivre vs prospérer«) sur le graphique et voir ce qui en ressort :

Il existe un schéma cohérent, dans tous les domaines, selon lequel la science, les idées et les outils qui peuvent nous aider à « survivre » dans un domaine sont étroitement liés à la science, aux idées et aux outils qui peuvent nous aider à « prospérer ». Quelques exemples:

• Beaucoup de recherches récentes sur l'anti-Covid se concentrent surle rôle de la persistance viraledans le corps comme un mécanisme expliquant pourquoi le Covid long est un tel problème. Récemment, il y a aussi des signes de persistance viralepeut être responsable de la maladie d'Alzheimer - si vrai, cela implique que s'attaquer à la persistance virale dans tous les types de tissus pourrait être la clé pour résoudre le vieillissement.
• Économique et miniature outils d'imageriecomme ceux qui sontconstruit par Openwaterpeut être puissant pour traitermicrocaillots, ou persistance virale, cancers, et ils peuvent également être utilisés pour BCI.
• Des idées très similaires motivent la construction d'outils sociaux conçus pour des environnements très adverses, tels que Notes de la communauté, et des outils sociaux conçus pour des environnements raisonnablement coopératifs, tels que pol.is.
• Les marchés prédictifs sont précieuxdans les deuxhaute-coopérationethaute adversitéenvironnements.
• Les preuves de connaissance nulle et des technologies similaires permettant d'effectuer des calculs sur des données tout en préservant la confidentialité augmentent à la fois les données disponibles pour des travaux utiles tels que la science et la confidentialité.
• L'énergie solaire et les batteries sont formidables pour stimuler la prochaine vague de croissance économique propre, mais ils sont également étonnants pour la décentralisation et la résilience physique.

En plus de cela, il existe également d'importantes interdépendances entre les domaines d'études :

• BCI est très pertinent en tant que technologie de défense de l'information et de collaboration, car elle pourrait permettre une communication beaucoup plus détaillée de nos pensées et intentions. BCI n'est pas seulement un bot-vers-conscience: cela peut aussi être une conscience-vers-bot-vers-conscience. Cela fait écho Pluralité d'idées sur la valeur de BCI.
• Beaucoup de biotechnologies dépendent du partage d'informations, et dans de nombreux contextes, les gens ne seront à l'aise de partager des informations que s'ils sont sûrs qu'elles seront utilisées pour une seule application et une seule application seulement. Cela dépend de la technologie de confidentialité (par exemple, ZKP, FHE, obfuscation...).
• La technologie de collaboration peut être utilisée pour coordonner le financement de n'importe quelle autre domaine technologique

La question difficile : sécurité de l'IA, délais courts et réglementation

Différentes personnes ont des chronologies d’IA très différentes. Carte de Zuzalu au Monténégro, 2023.

L'argument contre mon billet de l'année dernière que j'ai trouvé le plus convaincant était une critique de la communauté de la sécurité de l'IA. L'argument est le suivant: «certes, si nous avons un demi-siècle avant d'obtenir une IA puissante, nous pouvons concentrer nos énergies et construire toutes ces bonnes choses. Mais en réalité, il semble que nous ayons des échéances de trois ans jusqu'à l'AGI, et encore trois ans jusqu'à la superintelligence. Et donc, si nous ne voulons pas que le monde soit détruit ou tombe dans un piège irréversible, nous ne pouvons pas simplement accélérer le bien, nous devons également ralentir le mal, et cela signifie passer des réglementations puissantes qui pourraient contrarier des personnes influentes ». Dans mon billet de l'année dernière, je n'ai en effet pas appelé à une stratégie spécifique pour «ralentir le mal», en dehors d'appels vagues à ne pas construire des formes risquées de superintelligence. Et donc, il vaut la peine de répondre directement à la question: si nous vivons dans le monde le moins pratique, où le risque d'IA est élevé et les délais sont potentiellement de cinq ans, quelle réglementation soutiendrais-je ?

Tout d'abord, les raisons de la prudence face aux nouvelles réglementations

L'année dernière, la principale réglementation proposée en matière d'IA était la Projet de loi SB-1047 en Californie. SB-1047 exigeait que les développeurs des modèles les plus puissants (ceux qui coûtent plus de 100 millions de dollars pour être formés, ou plus de 10 millions de dollars dans le cas des ajustements fins) prennent des mesures de test de sécurité avant de les publier. De plus, il imposait une responsabilité aux développeurs de modèles d'IA s'ils ne prenaient pas suffisamment de précautions. De nombreux détracteurs ont soutenu que le projet de loi était "gate」.une menace pour le logiciel libre“; J'ai désapprouvé, car les seuils de coût signifiaient que cela n'affectait que les modèles les plus puissants : même LLama3 était probablement en dessous du seuilCependant, en regardant en arrière, je pense qu'il y avait un problème plus important avec le projet de loi : comme la plupart des réglementations, il était surajusté à la situation actuelle. La focalisation sur le coût de la formation est en train de se révéler fragile face à la nouvelle technologie : le récent modèle Deepseek v3 de qualité état de l'art a été entraîné à un coût de.seulement 6 millions de dollars, et dans de nouveaux modèles comme o1les coûts passent de la formation à l'inférence de manière générale.

Deuxièmement, les acteurs les plus susceptibles d’être responsables d’un scénario catastrophique de superintelligence de l’IA sont de manière réaliste les militaires. Comme nous l’avons dit ont vu au cours du dernier demi-siècle de la biosécurité(et au-delà), les militaires sont prêts à faire des choses effrayantes et ils peuvent facilement faire des erreurs. L'utilisation militaire de l'IA progresse rapidement aujourd'hui (voir Ukraine, Gaza). Et toute réglementation de sécurité qu'un gouvernement adopte, par défaut, exempterait leur propre armée et les sociétés qui collaborent étroitement avec l'armée.

Cela dit, ces arguments ne sont pas des raisons de baisser les bras et de ne rien faire. Au contraire, nous pouvons les utiliser comme guide et essayer de trouver des règles qui déclencheraient ces préoccupations le moins possible.

Stratégie 1: Responsabilité

Si quelqu'un agit de manière à causer un préjudice légalement répréhensible, ils purent être a poursuivi. Cela ne résout pas le problème des risques liés aux militaires et à d'autres acteurs «au-dessus de la loi», mais c'est une approche très générale qui évite le surajustement et est souventsoutenupar un partisan du libertarianismeéconomistespour cette raison exacte.

Les principales cibles de responsabilité qui ont été envisagées jusqu'à présent sont:

• Utilisateurs - les personnes qui utilisent l'IA
• Les déployeurs - des intermédiaires qui offrent l'IA en tant que service aux utilisateurs
• Développeurs - les personnes qui construisent l'IA

Placer la responsabilité sur les utilisateurs semble être le plus incitatif. Tandis que le lien entre la façon dont un modèle est développé et la manière dont il finit par être utilisé n’est souvent pas clair, c’est l’utilisateur qui décide exactement de la manière dont l’IA est utilisée. La responsabilité des utilisateurs crée une forte pression pour faire de l’IA de ce que je considère comme la bonne façon : se concentrer sur la construction de combinaisons de mecha pour l’esprit humain, et non sur la création de nouvelles formes de vie intelligente autonome. Le premier répond régulièrement à l’intention de l’utilisateur et ne provoquerait donc pas d’actions catastrophiques à moins que l’utilisateur ne le souhaite. Ce dernier aurait le plus grand risque de se déclencher et de créer un scénario classique de « l’IA qui devient voyou ». Un autre avantage de placer la responsabilité aussi près que possible de l’utilisation finale est qu’elle minimise le risque que la responsabilité conduise les gens à prendre des mesures préjudiciables d’autres manières (par exemple, source fermée, KYC et surveillance, collusion entre l’État et les entreprises pour restreindre clandestinement les utilisateurs, comme par exemple, le débancarisation, le verrouillage de vastes régions du monde).

Il y a un argument classique contre l'imposition de la responsabilité uniquement aux utilisateurs : les utilisateurs peuvent être des individus ordinaires sans trop d'argent, voire anonymes, ne laissant personne qui pourrait réellement payer pour un dommage catastrophique. Cet argument peut être exagéré : même si certains utilisateurs sont trop petits pour être tenus responsables, le client moyen d'un développeur d'IA ne l'est pas, et donc les développeurs d'IA seraient encore incités à construire des produits qui peuvent donner à leurs utilisateurs l'assurance qu'ils ne seront pas confrontés à un risque de responsabilité élevé. Cela dit, c'est encore un argument valable et doit être abordé. Vous devez inciter quelqu'un dans la chaîne qui a les ressources pour prendre le niveau approprié de soins pour le faire, et les déployeurs et les développeurs sont tous deux des cibles facilement disponibles qui sont encore...avoir beaucoup d'influence sur la sécurité ou l’insécurité d’un modèle.

La responsabilité du déployeur semble raisonnable. Une préoccupation fréquemment citée est que cela ne fonctionnerait pas pour les modèles open-source, mais cela semble gérable, d’autant plus qu’il y a de fortes chances que les modèles les plus puissants soient de toute façon fermés (et s’ils s’avèrent être ouverts, alors même si la responsabilité du déployeur n’est pas très utile, elle ne cause pas non plus beaucoup de dommages). La responsabilité des développeurs a la même préoccupation (bien qu’avec les modèles open source, il y ait un certain obstacle à la nécessité d’affiner un modèle pour l’amener à faire quelque chose d’interdit à l’origine), mais le même contre-argument s’applique. D’une manière générale, il s’agit d’imposer une « taxe » sur le contrôle, et de dire essentiellement « vous pouvez construisez des choses que vous ne contrôlez pas, ou vous pouvez construire des choses que vous contrôlez, mais si vous construisez des choses que vous contrôlez, alors 20 % du contrôle doit être utilisé à nos fins », semble être une position raisonnable pour les systèmes juridiques.

Une idée qui semble peu explorée est de mettre en responsabilité d'autres acteurs de la chaîne, qui sont plus susceptibles d'avoir des ressources adéquates. Une idée très conviviale pour l'IA est de mettre en responsabilité les propriétaires ou les exploitants de tout équipement qu'une IA prend en charge (par exemple, en piratant) dans le processus d'exécution d'une action catastrophiquement nuisible. Cela créerait une incitation très large à faire le travail difficile pour rendre l'infrastructure mondiale (en particulier informatique et bio) aussi sécurisée que possible.

Stratégie n° 2 : Bouton de « pause douce » à l’échelle industrielle

Si j'étais convaincu que nous avons besoin de quelque chose de plus "musclé" que les règles de responsabilité, c'est ce vers quoi je me dirigerais. L'objectif serait d'avoir la capacité de réduire les ressources informatiques mondiales disponibles de ~90-99% pendant 1 à 2 ans à une période critique, pour donner plus de temps à l'humanité pour se préparer. La valeur de 1 à 2 ans ne doit pas être surestimée : une année en mode "de guerre" peut facilement valoir cent ans de travail dans des conditions de complaisance. Des moyens de mettre en œuvre un "...pauseont été explorées, y compris des propositions concrètes comme requérant l'inscriptionetvérification de l'emplacementde matériel.

Une approche plus avancée consiste à utiliser des astuces cryptographiques intelligentes: par exemple, le matériel d'IA à grande échelle (mais pas grand public) qui est produit pourrait être équipé d'une puce matérielle de confiance qui ne permet de continuer à fonctionner que s'il obtient 3/3 signatures une fois par semaine de grands organismes internationaux, y compris au moins un non affilié à l'armée. Les signatures seraient indépendantes du dispositif (si désiré, nous pourrions même exiger une preuve de connaissance zéro qu'elles ont été publiées sur une blockchain), donc ce serait tout ou rien: il n'y aurait aucun moyen pratique d'autoriser un appareil à continuer de fonctionner sans autoriser tous les autres appareils.

Cela semble cocher toutes les cases en termes de maximisation des avantages et de minimisation des risques :

• C'est une capacité utile à avoir: si nous recevons des signaux d'avertissement indiquant que l'IA quasi-superintelligente commence à faire des choses qui risquent de causer des dommages catastrophiques, nous voudrons prendre la transition plus lentement.
• Jusqu'à ce qu'un tel moment critique se produise, le simple fait d'avoir la capacité de mettre en pause douce ne causerait que peu de tort aux développeurs.
• Se concentrer sur le matériel à l’échelle industrielle, et ne viser que 90 à 99 % comme objectif, éviterait un effort dystopique consistant à mettre des puces d’espionnage ou des interrupteurs d’arrêt d’urgence dans les ordinateurs portables grand public ou à imposer des mesures draconiennes aux petits pays contre leur volonté.
• Se concentrer sur le matériel semble très solide face aux changements technologiques. Nous avons constaté, à travers plusieurs générations d'IA, que la qualité dépend fortement de la puissance de calcul disponible, surtout dans les premières versions d'un nouveau paradigme. Par conséquent, réduire la puissance de calcul disponible de 10 à 100 fois peut facilement faire la différence entre une IA superintelligente incontrôlable qui gagne ou perd une bataille effrénée contre des humains qui essaient de l'arrêter.
• La nature irritante inhérente à la nécessité de se connecter une fois par semaine pour une signature créerait une forte pression contre l'extension du système au matériel grand public.
• Il pourrait être vérifié par une inspection aléatoire, et le faire au niveau matériel rendrait difficile d'exempter des utilisateurs spécifiques (les approches basées sur la fermeture forcée légale, plutôt que technique, n'ont pas cette propriété de tout-ou-rien, ce qui les rend beaucoup plus susceptibles de glisser vers des exemptions pour les militaires, etc.)

La réglementation matérielle est déjà sérieusement envisagée, bien que généralement dans le cadre de laContrôles à l’exportation, qui ont intrinsèquement une philosophie du type «nous faisons confiance à notre côté, mais pas à l'autre côté». Leopold Aschenbrenner a défendu avec éloquence que les États-Unis devraient course pour obtenir un avantage décisifet ensuiteessentiellement forcer la Chinede signer un protocole limitant le nombre de boîtes qu'ils sont autorisés à exécuter. Pour moi, cette approche semble risquée et pourrait combiner les défauts de races multipolaireset la centralisation. Si nous devons limiter les gens, il semble préférable de limiter tout le monde sur un pied d'égalité et de faire le travail difficile d'essayer réellement de coopérer pour organiser cela au lieu qu'une partie cherche à dominer tout le monde.

technologies d/acc dans les risques de l'IA

Les deux stratégies (responsabilité et bouton d'arrêt matériel) ont des failles et il est clair qu'elles ne sont que des mesures temporaires : si quelque chose devient possible à réaliser sur un supercalculateur au moment T, il sera probablement possible de le faire sur un ordinateur portable au moment T + 5 ans. Nous avons donc besoin de quelque chose de plus stable pour gagner du temps. De nombreuses technologies d/acc sont pertinentes ici. Nous pouvons envisager le rôle de la technologie d/acc comme suit : si l'IA prend le contrôle du monde, comment le ferait-elle ?

• Il pirate nos ordinateurs → cyber-défense
• Il crée une super-peste → bio-défense
• Cela nous convainc (soit de lui faire confiance, soit de se méfier les uns des autres) → info-défense

Comme mentionné brièvement ci-dessus, les règles de responsabilité sont un style de réglementation naturellement favorable à la défense/d'acc, car elles peuvent très efficacement motiver toutes les parties du monde à adopter ces défenses et les prendre au sérieux. Taïwana expérimentéavec la responsabilité de la publicité mensongère récemment, ce qui peut être considéré comme un exemple d'utilisation de la responsabilité pour encourager la défense de l'information. Nous ne devrions pas être trop enthousiastes à propos de l'imposition de la responsabilité partout et nous souvenir des avantages de la bonne vieille liberté qui permet au petit gars de participer à l'innovation sans crainte de poursuites judiciaires, mais là où nous voulons une poussée plus forte pour être sécurisé, la responsabilité peut être assez souple et efficace.

Le rôle de la crypto dans d/acc

Une grande partie de d/acc va bien au-delà des sujets typiques de la blockchain: la biosécurité, l'IBC et les outils de discours collaboratifs semblent très éloignés des choses dont parle normalement une personne crypto. Cependant, je pense qu'il existe des liens importants entre la crypto et d/acc, en particulier:

• d/acc est une extension des valeurs sous-jacentes de la cryptographie (décentralisation, résistance à la censure, économie et société mondiale ouvertes) à d'autres domaines de la technologie.
• Parce que les utilisateurs de crypto sont naturellement les premiers à adopter et qu'il y a une convergence de valeurs, les communautés de crypto sont naturellement les premiers utilisateurs de la technologie d/acc. L'accent important mis sur la communauté (à la fois en ligne et hors ligne, par exemple lors d'événements et de pop-ups), et le fait que ces communautés font réellement des choses importantes au lieu de simplement se parler entre elles, font des communautés de crypto des incubateurs et des bancs d'essai particulièrement attrayants pour les technologies d/acc qui fonctionnent fondamentalement sur des groupes plutôt que sur des individus (par exemple une grande partie de la défense de l'information et de la défense biologique). Les personnes impliquées dans la crypto font tout simplement des choses ensemble.
• De nombreuses technologies crypto peuvent être utilisées dans les domaines d/acc : blockchains pour construire une infrastructure financière, gouvernementale et de médias sociaux plus robuste et décentralisée, des preuves de connaissance zéro pour protéger la vie privée, etc. Aujourd'hui, bon nombre des plus grands marchés de prédiction sont construits sur des blockchains, et ils deviennent progressivement plus sophistiqués, décentralisés et démocratiques.
• Il existe également des opportunités gagnant-gagnant de collaboration sur des technologies connexes à la crypto qui sont très utiles aux projets de crypto, mais qui sont également essentielles pour atteindre les objectifs d/acc:vérification formelle, logiciels informatiques et sécurité matérielleet une technologie de gouvernance résiliente aux adversaires. Ces éléments rendent la blockchain Ethereum, les portefeuilles et les DAO plus sécurisés et résistants, et ils permettent également de réaliser des objectifs de défense civilisationnelle importants, tels que la réduction de notre vulnérabilité aux cyberattaques, y compris potentiellement de l'IA superintelligente.

Cursive, une application qui utilise le cryptage entièrement homomorphique (FHE) pour permettre aux utilisateurs d'identifier les domaines d'intérêt commun avec d'autres utilisateurs, tout en préservant la vie privée. Cela a été utilisé à Edge City, l'un des nombreux rejetons de Zuzalu, à Chiang Mai.

Outre ces intersections directes, il existe également un autre point d'intérêt crucial commun: les mécanismes de financement.

financement d/acc et de biens publics

Un de mes intérêts permanents est de trouver de meilleurs mécanismes pour financer les biens publics : des projets qui sont précieux pour de très grands groupes de personnes, mais qui ne pas avoirun modèle commercial naturellement accessible. Mes travaux passés sur ce projet incluent mes contributions àfinancement quadratiqueet son utilisation dansSubventions Gitcoin, PGF rétro, et plus récemment financement profond.

Beaucoup de gens sont sceptiques quant aux biens publics en tant que concept. Le scepticisme vient généralement de deux sources :

1. Le fait que les biens publics ont historiquement été utilisés comme justification pour une planification centralisée et une intervention gouvernementale autoritaire dans la société et l'économie.
2. Une perception générale selon laquelle le financement des biens publics manque de rigueur et est géré sur biais de désirabilité sociale- ce qui sonne bien, plutôt que ce qui est bon - et favorise les initiés qui peuvent jouer le jeu social.

Ce sont des critiques importantes et bonnes critiques. Cependant, je soutiendrais que le financement solide des biens publics décentralisés est essentiel pour une vision d/acc, car un objectif clé d/acc (minimiser les points de contrôle centralisés) frustre intrinsèquement de nombreux modèles commerciaux traditionnels. Il est possible de construire des entreprises prospères sur des logiciels open source - plusieursBalvibénéficiairesle fait - mais dans certaines situations, il est assez difficile que des projets importants nécessitent un soutien supplémentaire continu. Par conséquent, nous devons faire la chose difficile et trouver comment financer des biens publics de manière à répondre aux deux critiques susmentionnées.

La solution au premier problème est essentiellementneutralité crédibleet@VitalikButerin/le-sens-de-la-decentralisation-a0c92b76a274">décentralisation. La planification centrale pose problème car elle donne le contrôle à des élites qui pourraient devenir abusives, et car elle s'adapte trop à la situation actuelleet devient de moins en moins efficace avec le temps. Le financement quadratique et des mécanismes similaires visaient précisément à financer des biens publics de manière aussi neutre et décentralisée (architecturalement et politiquement) que possible.

Le deuxième problème est plus difficile. Avec un financement quadratique, une critique courante a été que cela devient rapidement un concours de popularité, nécessitant des efforts considérables de la part des bailleurs de fonds pour faire campagne publiquement. De plus, les projets qui se trouvent « sous les yeux des gens » (par exemple, les applications destinées aux utilisateurs finaux) sont financés, mais les projets qui se trouvent davantage en arrière-plan (l'archétype du «Dépendance maintenue par un gars dans le Nebraska«) ne reçoivent aucun financement du tout. Le financement rétro-optimiste repose sur un nombre plus restreint de détenteurs de badges experts ; ici, les effets de la compétition de popularité sont diminués, mais les effets sociaux d'avoir des liens personnels étroits avec les détenteurs de badges sont amplifiés.

Financement en profondeurC'est ma propre dernière tentative pour résoudre ce problème. Deep funding a deux innovations principales:

1. Le graphe de dépendance. Au lieu de poser à chaque juré une question globale (« quelle est la valeur du projet A pour l'humanité ? »), nous posons une question locale (« est-ce que le projet A ou le projet B est plus précieux pour le résultat C ? Et dans quelle mesure ? »). Les humains sont notoirement mauvais pour les questions globales : dans une étude célèbre, lorsqu'on leur a demandé combien d'argent ils paieraient pour sauver N oiseaux, les répondants ont répondu environ 80 $ pour N=2 000, N=20 000 et N=200 000. Les questions locales sont beaucoup plus gérables. Nous combinons ensuite les réponses locales en une réponse globale en maintenant un « graphe de dépendance »: pour chaque projet, quels autres projets ont contribué à son succès, et dans quelle mesure?
2. IA comme jugement humain distillé. Les jurés ne sont assignés qu'un petit échantillon aléatoire de toutes les questions. Il existe une compétition ouverte à travers laquelle n'importe qui peut soumettre des modèles d'IA qui tentent de remplir efficacement toutes les arêtes du graphe. La réponse finale est la somme pondérée des modèles les plus compatibles avec les réponses du jury. Voir ici pour un exemple de code. Cette approche permet au mécanisme de s'étendre à une taille très grande, tout en demandant au jury de soumettre seulement un petit nombre de "bits" d'information. Cela réduit les possibilités de corruption et garantit que chaque bit est de haute qualité : les jurés peuvent se permettre de réfléchir longuement à chaque question, au lieu de cliquer rapidement sur des centaines de questions. En utilisant une compétition ouverte d'IA, nous réduisons la partialité de tout processus unique de formation et d'administration d'IA. Le marché ouvert des IA comme moteur, les humains comme volant.

Mais le financement en profondeur n'est que le dernier exemple ; il y a eu d'autres idées de mécanismes de financement des biens publics auparavant, et il y en aura beaucoup d'autres à l'avenir.allo.expertfait un bon travail de les cataloguer. L'objectif sous-jacent est de créer un gadget sociétal qui peut financer des biens publics avec un niveau de précision, d'équité et d'entrée ouverte qui approxime au moins la façon dont les marchés financent les biens privés. Il n'a pas besoin d'être parfait; après tout, les marchés sont loin d'être parfaits eux-mêmes. Mais il devrait être suffisamment efficace pour que les développeurs travaillant sur des projets open-source de haute qualité qui bénéficient à tous puissent se permettre de continuer à le faire sans se sentir obligés de faire des compromis inacceptables.

Aujourd’hui, les principaux projets dans la plupart des domaines d/acc : vaccins, BCI, "borderline BCI" comme myoélectriques du poignet et suivi oculaire, les médicaments anti-âge, le matériel, etc., sont propriétaires. Cela présente de grands inconvénients en termes de sécurité de la confiance publique, comme nous l'avons vu chez gate.beaucoupde laau-dessuszonesdéjà. Il déplace également l'attention vers la dynamique concurrentielle («NOTRE ÉQUIPE doit remporter cette industrie critique!»), et loin de la concurrence plus large visant à s'assurer que ces technologies arrivent assez rapidement pour nous protéger dans un monde d'IA superintelligente. Pour ces raisons, le financement de biens publics robustes peut être un puissant moteur d'ouverture et de liberté. C'est une autre façon dont la communauté crypto peut aider d/acc: en mettant des efforts sérieux dans l'exploration de ces mécanismes de financement et en les faisant fonctionner bien dans son propre contexte, en les préparant pour une adoption beaucoup plus large pour la science et la technologie open-source en général.

L'avenir

Les prochaines décennies apportent des défis importants. Il y a deux défis qui me préoccupent récemment :

• De puissantes nouvelles vagues de technologie, en particulier l'IA puissante, arrivent rapidement, et ces technologies sont accompagnées de pièges importants que nous devons éviter. Il peut falloir cinq ans pour que l'« intelligence artificielle superintelligente » arrive, cela peut prendre cinquante ans. Quoi qu'il en soit, il n'est pas clair que le résultat par défaut soit automatiquement positif, et comme décrit dans ce post et l'ancien, il y a plusieurs pièges à éviter.
• Le monde devient de moins en moins coopératif. De nombreux acteurs puissants qui semblaient auparavant agir parfois selon des principes nobles (le cosmopolitisme, la liberté, l'humanité commune... la liste est longue) poursuivent désormais plus ouvertement et de manière agressive leurs intérêts personnels ou tribaux.

Cependant, chacun de ces défis a un côté positif. Tout d'abord, nous disposons maintenant d'outils très puissants pour effectuer notre travail restant plus rapidement :

• L'IA actuelle et à venir peut être utilisée pour construire d'autres technologies et peut être utilisée comme ingrédient dans la gouvernance (comme dans le financement en profondeur ou la porte).info finance). Il est également très pertinent pour le BCI, qui peut lui-même offrir des gains de productivité supplémentaires.
• La coordination à grande échelle est désormais possible à des échelles beaucoup plus grandes qu'auparavant. Internet et les médias sociaux ont étendu la portée de la coordination, la finance mondiale (y compris la crypto) a accru sa puissance, et maintenant les outils de défense et de collaboration de l'information peuvent en augmenter la qualité et peut-être bientôt l'interface cerveau-ordinateur-humain peut en augmenter la profondeur.
• Vérification formelle, sandboxing (navigateurs web, Docker, Qubes, GrapheneOS (en anglais seulement)Les modules matériels sécurisés, la technologie blockchain (y compris la technologie de la porte), et bien plus encore, s'améliorent à tel point qu'une cybersécurité bien meilleure devient possible.
• Écrire n'importe quel type de logiciel est nettement plus facile qu'il y a deux ans.
• Récemment, des recherches de base sur la compréhension du fonctionnement des virus, en particulier la simple compréhension que la forme la plus importante de transmission à laquelle il faut se prémunir est aérienne, montrent un chemin beaucoup plus clair pour améliorer la défense biologique.
• Progrès récents en biotechnologie (par exemple CRISPR, avancesdansbio-imagerie) fabriquent toutes sortes de biotechnologies, que ce soit pour la défense ou longévité, ou Super-bonheur, ou en explorant multipleroman biohypothèses, ou simplement faire des choses vraiment cool, beaucoup plus accessible.
• Les progrès en informatique et en biotechnologie permettent ensemble d'utiliser des outils de bio-synthèse que vous pouvez utiliser pour adapter, surveiller et améliorer votre santé. La technologie de cyberdéfense telle que la cryptographie rend la dimension personnalisée de tout cela beaucoup plus viable.

Deuxièmement, maintenant que de nombreux principes que nous chérissons ne sont plus occupés par quelques segments particuliers de l'ancienne garde, ils peuvent être récupérés par une large coalition à laquelle n'importe qui dans le monde est invité à rejoindre. C'est probablement le plus grand avantage des «réalignements» politiques récents dans le monde, et cela vaut la peine d'en profiter. Crypto a déjà fait un excellent travail en tirant parti de cela et en trouvant un attrait mondial; d/acc peut faire de même.

L’accès aux outils signifie que nous sommes capables d’adapter et d’améliorer nos biologies et nos environnements, et la partie « défense » de d/acc signifie que nous sommes capables de le faire sans empiéter sur la liberté des autres de faire de même. Principes pluralistes libérauxCela signifie que nous pouvons avoir beaucoup de diversité dans la manière dont cela est fait, et notre engagement envers les objectifs communs de l'humanité signifie que cela devrait être fait.

Nous, les humains, continuons d'être l'étoile la plus brillante. La tâche qui nous attend, celle de construire un 21ˢᵗ siècle encore plus brillant qui préserve la survie, la liberté et l'agence humaine alors que nous nous dirigeons vers les étoiles, est un défi. Mais je suis convaincu que nous sommes à la hauteur.

Avertissement :

1. Cet article est reproduit à partir de [Vitalik Buterin]. Transférer le titre original : d/acc : un an plus tard. Tous les droits d'auteur appartiennent à l'auteur original [Vitalik Buterin]. S'il y a des objections à cette reproduction, veuillez contacter la Gate Learnéquipe, et ils s'en occuperont rapidement.
2. Avertissement de responsabilité : Les vues et opinions exprimées dans cet article sont uniquement celles de l'auteur et ne constituent aucun conseil en investissement.
3. L'équipe Gate Learn effectue des traductions de l'article dans d'autres langues. Sauf mention contraire, la copie, la distribution ou le plagiat des articles traduits est interdit.