Le progrès des sciences nous condamne-t-il à l'apocalypse ? ️
Ça fait longtemps que je veux vous parler d'un article du philosophe Nick Bostrom qui s'appelle "L'hypothèse monde vulnérable". C'est pas franchement réjouissant mais il me semble que le moment est particulièrement propice pour en discuter. Vous allez voir pourquoi. Et pour commencer, je vais faire un petit détour historique par le début
du vingtième siècle. Ernest Rutherford est considéré comme le père de la physique nucléaire. Il a étudié la désintégration d'éléments radioactifs et les rayonnements qu'elles produisent, ça lui a valu un prix Nobel en 1908. On lui doit ensuite d'avoir mis en évidence que la masse et la charge positive de l'atome est concentrée dans un tout petit volume en son centre, autrement dit il a découvert le noyau atomique. Et ce sont ses étudiants Cockroft et Walton,
futurs prix Nobel eux aussi, qui arrivent à produire la première réaction nucléaire d'origine artificielle en 1932. Et à ce sujet, Rutherford fera le commentaire suivant : "C'était une façon très pauvre et inefficace de produire de l'énergie, et quiconque cherchait une source d'énergie dans la transformation des atomes ne faisait que raconter des sornettes. Mais le sujet était scientifiquement intéressant car il permettait d'avoir une meilleure compréhension des atomes." Et on aurait tort de ne pas faire confiance à Ernest Rutherford : s'il y a bien quelqu'un qui s'y connaît en physique nucléaire à cette époque, c'est lui. Les propos que j'ai cités sont publiés dans un article du Times en 1933, et ce numéro du Times tombe dans les mains d'un jeune physicien nommé Leó Szilárd. Or, lui n'est pas convaincu par Rutherford. Il est même un peu agacé par cette déclaration péremptoire de sornettes.
(C'est moonshine en anglais pour être précis, c'est pas évident à traduire, mais j'aime bien sornettes. J'aurais pu dire "poudre de perlimpimpin".) Aussi notre ami Leo Szilárd se met-il à réfléchir tout en déambulant dans Londres après sa lecture de l'article : pourrait-on produire de l'énergie à partir de réactions nucléaires ? Il lui vient alors l'idée du mécanisme suivant : et si un neutron initiait une réaction nucléaire qui produirait à son tour plusieurs neutrons. Ces neutrons pouvant à leur suite initier les mêmes réactions dans le combustible avoisinant, et ainsi de suite. En somme, c'est le principe, bien connu en chimie, d'une réaction en chaîne, sauf que là ce serait au niveau nucléaire. Une réaction nucléaire en chaîne. C'est ainsi que Leó Szilárd, perdu dans ses pensées au milieu du trafic londonien, vient de théoriser le principe d'un nouveau type d'explosion : l'explosion nucléaire. (Pas mon genre d'explosion préféré si vous
voulez mon avis.) Mais à cet instant, ce n'est qu'une idée dans sa tête ou sur du papier. Il ne peut pas savoir à quel point il sera difficile ou même seulement possible de la mettre en oeuvre. Avec quels éléments chimiques pourrait-on en pratique réaliser cette réaction en chaîne ? Quelle masse de combustible faudrait-il ? Quelle quantité d'énergie cela pourrait-il libérer ? Leó Szilárd n'en sait rien. Dans les années qui suivent, il s'efforce d'obtenir une réaction en chaîne avec du béryllium et de l'indium. Sans succès. Peut-être que
Rutherford avait raison finalement ? Produire de l'énergie à partir de réaction nucléaire, c'est parler de sornettes. Mais tout va s'accélérer quelques années plus tard, très exactement en 1939, avec la découverte et la compréhension de la fission nucléaire de l'uranium. Leó Szilárd ne tarde pas à s'apercevoir qu'on tient là un candidat très très sérieux pour produire une réaction nucléaire en chaîne capable de libérer beaucoup, beaucoup d'énergie, et permettre ainsi la construction d'un nouveau type de bombe dont la puissance serait sans comparaison avec tout autre type de bombe qui existait jusque là.
Et découvrir ça en 1939, donc juste au moment où une guerre mondiale vient d'éclater, c'est pas exactement une bonne nouvelle. D'autant que ces expériences sur la fission nucléaire de l'uranium viennent en large partie d'Allemagne, et qu'il y a des chercheurs allemands qui s'intéressent aussi à la réaction en chaîne, et donc qu'il y a toutes les raisons de penser qu'ils concluront eux aussi à la faisabilité d'une bombe exploitant ce mécanisme. Ce qui pourrait bien intéresser le moustachu au pouvoir.
Leó Szilárd, pour se faire entendre, contacte la star de la physique Albert Einstein, qui comprend immédiatement la gravité de la situation. Szilárd rédige alors une lettre qu'Einstein signe et envoie en son nom à Roosevelt, président des Etats-Unis, lettre où l'on peut lire notamment ceci : "Au cours des quatre derniers mois, il est devenu probable (...) qu'il soit possible de déclencher une réaction nucléaire en chaîne dans une masse importante d'uranium, ce qui permettrait de produire de grandes quantités d'énergie et de nouveaux éléments similaires au radium. Il semble maintenant presque certain que cela puisse être réalisé dans un futur immédiat.
Ce nouveau phénomène conduirait également à la construction de bombes, et il est concevable - bien que beaucoup moins certain - que des bombes extrêmement puissantes d'un nouveau type puissent ainsi être construites." Et cet avertissement ne tombera pas dans l'oreille d'un sourd puisque suite à cette lettre le gouvernement américain lancera le fameux projet Manhattan, et vous connaissez probablement la fin de l'histoire. Si le programme de recherche nucléaire Allemand mené par Heisenberg n'aboutira à rien, le projet Manhattan par contre aboutira à la fabrication des premières bombes atomiques et aux bombardements d'Hiroshima et Nagasaki les 6 et 9 août 1945, qui restent, à ce jour (et j'espère que ce point de la vidéo ne deviendra jamais caduc) les deux seules utilisations offensives d'une arme nucléaire. Sur des populations civiles qui plus est.
Bilan des bombardements: entre 100 000 et 200 000 morts. Bon. Pourquoi je vous raconte ça ? Pour vous déprimer encore un peu plus ? Eh bien, pas tout à fait, parce que mon point dans cette histoire c'est de souligner qu'en un sens l'humanité a eu une sacrée chance en fait. On ne peut pas dire que les choses se sont bien passées, certes, mais elles auraient pu se passer beaucoup, beaucoup, beaucoup plus mal. Donc c'est une chance relative à ce qui aurait pu être pire, si vous voulez. Alors là vous pensez peut-être au fait qu'on a eu de la chance par exemple que le programme nucléaire allemand n'aboutisse à rien et que la 2nde guerre mondiale ne se soit pas terminée dans un joyeux échange d'attaques nucléaires de part et d'autre. Effectivement, ça aurait été pire, et ça fait partie de la chance qu'on a eue.
Mais pourquoi ça n'est pas arrivé, justement, pourquoi le programme nucléaire allemand n'a abouti à rien. Il y a plein de raisons à cela mais celle qui va retenir mon attention est la suivante : c'est EXTRÊMEMENT DIFFICILE de fabriquer une bombe nucléaire. (Donc bon n'essayez même pas, c'est pas la peine.) Ça peut sembler trivial comme remarque aujourd'hui mais ce qui est intéressant c'est que ça n'avait probablement rien de si clair et évident en 1939. Quand Einstein et Szilard écrivent cette fameuse lettre, ils sont assez convaincus que déclencher une réaction en chaîne avec de l'uranium sera possible dans un futur immédiat et ils sont assez convaincus aussi que réaliser une bombe exploitant ce nouveau type de mécanisme est pratiquement réalisable. Mais ils n'ont
pas encore d'idée précise quant à la difficulté technique que tout ça peut représenter. Après tout, la recherche sur ces questions n'en était qu'à ses débuts. Peut-être que tout ce qu'il fallait pour arriver à construire une bombe d'une puissance respectable, c'est quelques centaines de kilos d'uranium, un équipement de laboratoire de pointe et une équipe d'une dizaine de chercheurs et d'ingénieurs compétents, par exemple. De leur point de vue, à ce moment-là, ça devait être une probabilité non-négligeable. Et si ça avait été en effet aussi simple (ou aussi modérément difficile) que ça, on peut imaginer que l'Allemagne aussi bien que les Etats-Unis, ou peut-être même que la Belgique, auraient pu se doter d'un petit arsenal nucléaire dès 1940. À quoi aurait ressemblé la 2nde guerre mondiale dans ces conditions, si la fabrication de bombes atomiques n'avait été que modérément difficile au lieu d'être extrêmement difficile ? Eh bien, essayez de l'imaginer, écrivez-moi vos uchronies en commentaires, ça pourrait être intéressant… Mais on pourrait revenir encore plus loin. Quand, en 1933, Leó Szilárd conçoit le
mécanisme de la réaction nucléaire en chaîne, à ce moment-là, il ne sait pas si cette idée est vouée à rester purement théorique et quasi-impossible à réaliser en pratique, ou si au contraire, une fois qu'on a compris le mécanisme, il est assez simple de le réaliser avec des matériaux accessibles dans n'importe quel laboratoire d'université, si bien que n'importe quel chercheur un peu compétent pourrait facilement produire ses propres explosifs nucléaires faits maison. À quoi aurait ressemblé l'histoire du vingtième siècle dans ces conditions ? Eh bien, là encore, laissez libre cours à votre imagination et écrivez-moi vos uchronies en commentaires, je me ferai un plaisir de les lire. Mais donc fort heureusement, nous ne sommes pas dans ces mondes-là. En effet, il s'est avéré que concocter des bombes atomiques n'est pas facile, ce n'est pas même seulement difficile : c'est extrêmement difficile, long et coûteux, au point que, aujourd'hui encore, seuls des Etats peuvent se le permettre. Aux Etats-Unis le projet Manhattan a ainsi mobilisé jusqu'à 130 000 personnes dont les scientifiques les plus brillants de l'époque, il aura fallu produire des quantités industrielles de matériaux fissiles, ça a coûté un pognon de dingue et presque 6 ans se sont écoulés entre la lettre de Szilard et Einstein et le premier essai nucléaire réussi. Ça reste très court, 6 ans, étant données les dimensions pharaoniques du projet, mais ce sur quoi je veux attirer votre attention c'est justement qu'au moment où Szilard et Einstein envoient leur lettre rien ne garantissait que ces dimensions pharaoniques soient ainsi nécessaires pour y arriver. Et en 1933, ça devait sembler encore plus incertain. Voilà en quoi on a
eu de la chance : de tous les scénarios technologiques envisageables à partir de ce point de l'histoire, celui dans lequel on se trouve n'est vraiment pas le pire (même si c'est loin d'être le meilleur non plus, bien sûr). Dans son article intitulé "L'hypothèse monde vulnérable" (parce que oui, j'y viens), le philosophe Nick Bostrom décrit de façon métaphorique le processus de création humaine comme le fait tirer d'une grande urne des boules plus ou moins blanches ou noires. "Les boules représentent les idées, découvertes, inventions technologiques possibles. Au cours
de l'histoire, nous avons tiré un grand nombre de boules - la plupart blanches (bénéfiques) mais aussi de diverses nuances de gris (modérément nocives et dont les bienfaits sont mitigés). Ce que nous n'avons pas tiré, jusqu'à présent, c'est une boule noire : une technologie qui détruirait invariablement ou par défaut la civilisation qui l'invente. La raison n'en est pas que nous avons été particulièrement prudents ou sages dans notre politique technologique. Nous avons simplement eu de la chance."
Alors bien sûr cette histoire de boules est une analogie imparfaite sous plein d'aspects, et d'ailleurs je reviendrai sur certaines de ces limites un peu plus loin, mais essayons déjà de la comprendre pour ce qu'elle a de pertinents. L'idée centrale c'est qu'au moment d'une invention ou d'une découverte, il y a une part irréductible de hasard quant aux effets, bénéfiques ou néfastes, qu'elle finira par avoir sur le monde. Quand Leo Szilard tire la boule "réaction nucléaire en chaîne", il ne peut pas savoir à ce moment-là de quelle couleur elle sera. Si cela avait permis la fabrication très facile de bombes nucléaires, ou même seulement une fabrication modérément difficile, ça aurait été une belle boule noire, vu qu'il semble compliqué d'imaginer une suite à cette découverte qui ne soit pas catastrophique pour l'ensemble de l'humanité. Heureusement, l'extrême difficulté de la fabrication des bombes nucléaires a fait que la boule a été plutôt grise en fin de compte, même si sa couleur peut encore évoluer, j'y reviendrai.
L'exemple du nucléaire est intéressant parce qu'on voit que tout ça naît de recherches fondamentales sur la structure de l'atome, des recherches qui semblaient, de l'avis d'un des meilleurs experts de ce champ, ne pas avoir de perspective pratique. Le sujet était avant tout jugé "scientifiquement intéressant" par Ernest Rutherford qui y voyait un moyen de mieux comprendre les atomes. Et c'est vrai que c'est scientifiquement passionnant. Quoi de plus légitime pour la curiosité humaine que d'essayer de percer les secrets de la matière ? L'idée que des recherches sur ses plus petits constituants soient à l'origine de bombes à la puissance démesurée, capables de raser une ville entière ou davantage, ça n'avait rien d'une évidence, tout au contraire. Un atome, c'est petit a priori, c'est pas censé évoquer ce genre d'images.
Et notez aussi que Leó Szilárd n'a probablement pas ces effets en tête lui non plus quand il conçoit la réaction nucléaire en chaîne en 1933 : c'est juste un sujet de réflexion légitime pour qui s'intéresse à la physique nucléaire. Et d'ailleurs même si Leó Szilárd a joué un rôle particulier dans cette histoire, il n'était évidemment pas le seul à se pencher sur cette question. Tout le problème, c'est qu'une fois qu'une découverte a été faite, on ne peut pas la défaire, on ne peut pas remettre la boule dans l'urne. Et d'ailleurs, même si on le pouvait, on ne peut pas garantir qu'une boule similaire n'a pas déjà été tirée ailleurs ou qu'elle ne sera pas à nouveau tiré plus tard. C'est pour ça qu'en 1939 Leó Szilárd est tellement pressé d'informer Roosevelt de la faisabilité de ce nouveau type de bombe : ce n'est pas qu'il ait un tempérament belliqueux, au contraire Leó Szilárd militera toute sa vie pour un usage pacifique de l'énergie nucléaire, mais en 1939 il sait que que les Allemands aboutiront aux mêmes conclusions quant à la possibilité d'une bombe atomique, et ça a de quoi faire froid dans le dos. D'autant plus que Leó Szilárd est un juif
hongrois ayant fui le régime nazi avant la guerre. On peut comprendre qu'il soit moyennement emballé à l'idée d'un Hitler disposant d'un arsenal nucléaire. - Quelle histoire ça aussi. Mais bref, mettons le nucléaire de côté pour le moment et essayons de varier un peu les exemples, parce qu'il n'y a pas que le nucléaire dans la vie. Dans son article "L'hypothèse
monde vulnérable", Nick Bostrom suggère un autre cas de boule noire potentielle qui me semble assez intéressant parce qu'il fait écho à ce qu'on a vécu depuis deux ans de pandémie. Supposez que, grâce à des progrès fulgurants et inattendus dans les biotechnologies (comme on a pu en connaître ces dernières années avec crispr cas9 par exemple ou Alphafold), on s'aperçoive qu'il est devenu relativement facile de créer un agent biologique qui soit à la fois hautement contagieux et hautement létal. Disons le virus de la rougeole avec la létalité d'Ebola. Sympa le truc. N'importe quel biologiste autodidacte malintentionné
pourrait en quelques jours de travail fabriquer un tel agent et le relâcher dans la nature. Et hop, une petite pandemie "do it yourself". Si une telle technologie existait, à quel point l'humanité serait-elle dans la merde ? Là encore, si vous voulez essayer d'imaginer ça en détail, faites-vous plaisir en commentaire. Dans les grandes lignes en tout cas, il me
semble que la probabilité que ça tourne très, très mal pour l'humanité devienne très élevée. Mais enfin pourquoi Nick Bostrom nous raconte-t-il tout ça et qu'est-ce que c'est que cette hypothèse monde vulnérable ? Eh bien, pour le dire simplement, l'hypothèse monde vulnérable c'est l'hypothèse qu'il y a effectivement des boules noires dans l'urne de la créativité humaine. Ou pour le dire de façon un peu plus précise en citant toujours Nick Bostrom, l'hypothèse onde vulnérable est l'hypothèse que : "Si le développement technologique se poursuit, nous atteindrons à un moment donné un ensemble de capacités qui rendront la destruction de la civilisation extrêmement probable, à moins que la civilisation ne sorte suffisamment de sa condition par défaut de semi-anarchie." Cette notion de "condition par défaut de semi-anarchie" est importante dans l'article et ce qu'elle signifie pour Nick Bostrom, c'est précisément ceci : une situation où, premièrement, les Etats ont des capacités de surveillance limitée (typiquement trop limitée pour rendre quasi-impossible la fabrication d'un virus dans un scénario du type "pandemy do it yourself") ; deuxièmement, pas de gouvernance mondiale efficace, en particulier pour agir de façon coordonnée en vue de protéger des biens communs ; et troisièmement, une diversité de motivations humaines, avec en particulier de nombreux acteurs avant tout motivés par leur intérêt personnel, et au moins quelques acteurs (même très peu nombreux) prêts à nuire à une large partie de l'humanité à n'importe quel prix. (Nick
Bostrom appelle ces acteurs le "résidu apocalyptique".) L'hypothèse monde vulnérable de Bostrom, donc, c'est que dans une situation qui satisfait ces trois caractéristiques (et c'est plutôt le cas aujourd'hui), le développement technologique finira par doter l'humanité d'un ensemble de capacités qui rendront très probable sa propre destruction. Lorsqu'une telle technologie apparaît, cela constitue ce que Nick Bostrom appelle une vulnérabilité. Par exemple la découverte d'une technologie facilitant à l'extrême la fabrication de bombes nucléaire ou de virus très contagieux et très létaux marquerait l'apparition d'une vulnérabilité de type-1. - Hein ? - De ? Quelques mots concernant les différents types de vulnérabilité que Bostrom identifie.
Le scénario "easy nukes" comme il l'appelle ("bombes nucléaires pour les nuls", quoi), ça représente un exemple de vulnérabilité de type 1. Ce type de vulnérabilité apparaît quand une capacité de dommage extrême devient très facilement accessible. Le degré de vulnérabilité est donc proportionnel à l'importance des dommages en question et la facilité avec laquelle on peut les produire. Pour ce type de vulnérabilité, le danger
vient surtout de ce que Nick Bostrom appelle le résidu apocalyptique, c'est-à-dire des agents, même en très petit nombre, qui seraient prêts à causer coûte que coûte des dommages extrêmes à une large part de l'humanité ; le problème vient aussi de l'impossibilité de surveiller en permanence les actions de chacun pour détecter s'il fait partie de ces acteurs malveillants et l'empêcher de passer à l'acte. Voilà pourquoi pourquoi, dans la condition de semi-anarchie, si le monde connaît une vulnérabilité de type-1 et que rien n'est fait, alors il devient très probable que des acteurs de ce résidu apocalyptique exploitent cette vulnérabilité pour causer des dégâts dévastateurs. Alors je ne vais pas entrer dans le détail des trois autres types de vulnérabilité que recense Bostrom. Il y a notamment le type-0 qui aboutit à une destruction par inadvertance, c'est assez cocasse. Je vous laisse aller voir ça dans l'article, il donne un exemple
assez frappant de ce que ça aurait pu être. Mais ici je vais juste développer un dernier type de vulnérabilité : la vulnérabilité de type 2b (super sexy et transparent comme nom) parce qu'elle est bien différente et présente un intérêt particulier pour nous, je trouve. Si je paraphrase Bostrom, je dirai qu'une vulnérabilité de type 2b apparaît quand de nombreux agents sont incités à agir individuellement d'une certaine façon, et que l'effet cumulé de ces actions produit des dommages extrêmes. Et on n'a pas besoin de se creuser beaucoup la tête pour trouver un exemple de ça. Les
émissions de gaz à effet de serre et le réchauffement climatique constituent une forme de vulnérabilité de type 2b : en effet, de nombreux agents sont incités à agir d'une façon qui émet du CO2 ou d'autres gaz à effet de serre, et le résultat cumulé de ces actions c'est un réchauffement climatique qui cause déjà et causera à l'avenir des dommages très importants. Et si vous voulez savoir à quel point, ça tombe bien, le 2e volet du 6e rapport du GIEC qui traite des impacts du réchauffement est sorti il y a peu. (C'était dans les premiers jours de l'invasion russe en Ukraine, et du coup c'est tombé dans une certaine indifférence, malheureusement…) Alors bon dans l'article, l'exemple que donne Bostrom d'une vulnérabilité de type 2b c'est une version hardcore du réchauffement climatique avec des conséquences littéralement apocalpytiques qui rendrait carrément la vie sur Terre quasi-impossibles. Ce à quoi on fait réellement face n'est pas aussi radical certes, mais c'est une différence de degré plutôt que de nature. (C'est même littéralement une différence de degré en fait.) Et quoi qu'il en soit, avec 7 ou 8 milliards d'agents qui peinent à se coordonner, la probabilité que d'autres vulnérabilités de ce type apparaissent à l'avenir me semble plutôt élevée.
Ce qu'il y a de particulier avec les vulnérabilités de type 2b par rapport au type 1, c'est que c'est avant tout un problème de coordination, comme un immense dilemme du prisonnier où l'humanité serait bloquée par défaut sur la pire stratégie. Quoi que fasse les autres, chacun, individuellement, a intérêt à rester sur sa stratégie, et c'est la somme de ces choix qui sont individuellement optimaux qui aboutit à une situation qui est collectivement... sub-optimale, disons. Ou pas joli-joli. Je vous renvoie à ma vidéo sur le dilemme du prisonnier si ça vous intéresse, j'ai déjà pas mal parlé de ce genre de chose.
L'aspect de la condition de semi-anarchie qui pose problème pour ce type de vulnérabilité, c'est l'absence de gouvernance mondiale efficace qui puisse servir à forcer la coordination. C'est justement une telle gouvernance qu'on voudrait mettre en place pour limiter les effets du réchauffement climatique, mais c'est pas simple. Ceci dit, pour terminer sur une note un peu plus encourageante, on peut aussi se souvenir de ce qu'il s'est passé pour les émissions de gaz nocifs pour la couche d'ozone : là aussi on faisait face à une sorte de vulnérabilité de type 2b, puisque de nombreux acteurs étaient incités à utiliser ces gaz qui avaient des propriétés très utiles, mais dont les effets cumulés étaient destructeurs pour la couche d'ozone. Et il se trouve qu'heureusement sur ce point au moins on est sortis de notre condition de semi-anarchie puisque des accords internationaux, en particulier le protocole de Montréal en 1987, ont permis de proscrire l'utilisation de ces gaz avec succès. Comme quoi, ça reste possible de parer à de telles vulnérabilités. - D'accord. Faisons comme ça. Et justement, parlons un peu de la dernière partie de l'article de Bostrom, celle qui réfléchit aux éventuelles réponses et solutions.
Alors déjà il faut distinguer entre ce qui peut être fait une fois qu'une vulnérabilité est apparue (et le type de réponse variera selon le type de vulnérabilité), et ce qui peut être fait en amont pour diminuer globalement la probabilité qu'une vulnérabilité apparaisse, ce qui est a priori plus intéressant. Sur ce second point, on voit qu'il y a clairement une limite à l'analogie des boules tirées de l'urne, parce que si on s'en tenait à cette analogie, le seul moyen pour diminuer la probabilité de tirer une boule noire, ce serait tout simplement de moins tirer dans l'urne, voir de ne plus tirer du tout. Mais en fait les choses sont plus complexes que ça. Déjà, contrairement à ce que l'analogie peut suggérer, la couleur d'une boule tirée de l'urne n'est pas un pur fruit du hasard : certes, il y a souvent des effets inattendus associés à une découverte comme on l'a vu pour la physique nucléaire et la réaction en chaîne, mais la répartition de la probabilité de couleur n'est pas pour autant totalement inconnue selon les types de recherche qu'on fait. En gros, si vous faites des recherches sur la synthèse de virus ultra-contagieux et ultra-létal, il n'y a pas tellement de doute que votre main se balade dans un coin de l'urne où il y a bien plus de boules noires que si vous faites des recherches sur les vaccins, disons.
Et une autre limite de l'analogie, c'est qu'on peut, en tirant certaines boules, influencer la couleur des autres. Par exemple, tirer la boule "vaccin", ça nous a protégé de vulnérabilités potentielles liées à des maladies infectieuses, donc on peut dire que ça a "éclairci" un certain sous-ensemble de boules : il y a des boules noires qui sont devenues un peu plus grises, en gros. Et toute amélioration dans ce sens, toute recherche qui vise à perfectionner et faciliter la mise au point et le déploiement de vaccin par exemple, va renforcer cet effet défensif vis-à-vis de vulnérabilités potentielles. Alors bien sûr ça n'exclut pas que des technologies liées aux vaccin puissent avoir des effets inattendus et trouver une application extraordinairement néfastes, autrement dit ça n'exclut pas qu'une boule noire se balade aussi dans ce coin de l'urne, mais ça reste beaucoup moins probable de tomber sur une telle boule que si vous consacrez tous vos efforts à des recherches à faciliter la synthèse de virus dangereux.
Ainsi plutôt que l'arrêt du développement technologique (qui semble de toute façon illusoire à proposer), une façon plus intéressante de diminuer la probabilité d'apparition de vulnérabilité serait d'adopter ce que Nick Bostrom appelle un principe de développement technologique différentiel, qu'il formule en ces termes : "Retarder le développement de technologies dangereuses et nocives, notamment celles qui augmentent le niveau de risque existentiel, et accélérer le développement de technologies bénéfiques, notamment celles qui réduisent les risques existentiels posés par la nature ou par d'autres technologies." C'est plutôt trivial en fait, mais ça fait pas de mal de le souligner explicitement, et en fait c'est pas clair que ce soit un principe qu'on ait généralement suivi dans tous les domaines. Notamment parce que c'est pas toujours si simple d'identifier a priori ce qu'est une recherche dangereuse, ou bien tout simplement parce que les équipes de recherche se soucient avant tout d'avancer, de tirer les boules de l'urne, et pas tellement de ce grand principe. Par exemple, en intelligence artificielle, les recherches sur les modèles de langage type GPT-3 sont-elles dangereuses ? Et celles qui ont rendu incroyablement faciles la création de deepfakes ? En gros, des outils qui favorisent la création automatique de faux textes et de fausses images très difficiles à discerner des vrais, était-ce vraiment ce qu'il fallait développer en priorité aujourd'hui ? Si on prend un peu de recul sur ça, il semble que ce soit assez discutable, effectivement. Du coup on pourrait dire que la recherche dans ce domaine ne respecte pas le principe de Bostrom. On est plutôt dans
une logique de "puisqu'on peut le faire, faisons-le avant que les autres le fassent", qui est exactement à l'opposé. Donc voilà ce principe de développement technologique différentiel, même s'il semble de bon sens, n'est pas si simple et évident à appliquer partout, non. Un autre point intéressant à noter aussi que ce qu'on identifie comme une recherche dangereuse dépend beaucoup du contexte technologique.
Par exemple, dans un contexte où Ernest Rutherford aurait eu raison, c'est-à-dire que l'on ne pourrait rien tirer en pratique de l'énergie issue des réactions nucléaires, il ne serait pas spécialement dangereux de s'intéresser à la séparation isotopique, notamment à des techniques permettant de séparer l'uranium 235 de l'uranium 238. Ce serait juste une curiosité pour physiciens. Qu'est-ce que vous voulez qu'on fasse de ces cailloux radioactifs de toute façon ? On va pas les lécher. Mais dans notre contexte à nous, c'est un type de technologie extrêmement sensible. Parce que, comme on l'a vu au début de la vidéo, notre chance (notre chance relative) dans cette histoire tient à l'extrême difficulté technique que représente la fabrication d'une bombe nucléaire. Et il se trouve qu'une des principales difficultés concerne l'enrichissement de l'uranium : pour des usages militaires, il faut de l'uranium contenant au moins 80% d'uranium 235, quand l'uranium naturel n'en contient, heureusement, que 0,7%. L'enrichir
jusqu'à obtenir un uranium de qualité militaire est un processus très lourd et complexe, et surtout difficile à faire discrètement, c'est long et il faut des installations importantes, ce qui est bien utile pour éviter la prolifération d'armes nucléaires puisque ça facilite la surveillance. Et c'est très bien : pourquoi voudrait-on rendre plus facile la fabrication d'armes nucléaires ? Malheureusement dans les années 90, des chercheurs australiens ont commencé à mettre au point un nouveau procédé de séparation isotopique appelé SILEX qui permettrait de faciliter énormément l'enrichissement de l'uranium. Est-ce que ça valait bien le coup de tirer cette boule de l'urne des technologies possibles ? Peut-être que ça aura des applications civiles utiles, mais pour le moment ça pose surtout un problème de sécurité nucléaire parce que ça pourrait permettre à des Etats de constituer beaucoup plus facilement et discrètement des stocks d'uranium de qualité militaire. Autrement dit, la découverte de ce nouveau procédé de séparation a nettement noirci les boules liées au nucléaire, et continuer dans cette direction c'est prendre le risque de les noircir encore davantage. Et du coup, beaucoup de choses ont été faites pour limiter la diffusion des recherches sur ce nouveau procédé (par exemple toute information à ce sujet est classée secrète par le gouvernement américain), mais bon, une fois la boule sortie, on ne peut pas la remettre dans l'urne ni la cacher indéfiniment.
Là encore il semble que le principe de développement technologique différentiel n'ait pas tout à fait été respecté, ou plutôt qu'il ne l'a été qu'après coup depuis qu'on tente de limiter la diffusion de ces recherches. Donc voilà, même s'il est évident énoncé comme ça : "retarder le développement de technologie dangereuses, et accélérer le développement de technologies bénéfiques", c'est pas pour autant un principe simple à suivre, notamment peut-être parce que les personnes qui contribuent à la recherche, même si elles peuvent être globalement d'accord avec ce principe, ne sont pas directement incité à le suivre. Après tout, quand on a une boule à portée de main dans l'urne, quoi de plus naturel que de vouloir la tirer et publier sa découverte ? Bon. Et donc venons-en à la dernière partie de l'article : que faire si par un malheureux hasard, la main humaine finit par tirer une véritable boule noire ? Que resterait-il à faire pour essayer de limiter les risques de conséquences désastreuses ? L'article de Bostrom détaille pas mal de choses sur ça aussi en fonction des différents types de vulnérabilité, mais la vidéo commence à être longue et je vais pas pouvoir tout examiner. Par contre vous pouvez aller voir par vous-même, c'est vraiment un article très accessible si vous lisez l'anglais.
Vous verrez qu'il y a beaucoup de passages qui font froid dans le dos, en particulier pour ce qui est de savoir comment répondre aux vulnérabilités de type-1, c'est-à-dire du type "easy nukes" ou "pandemy do it yourself". En gros, c'est le genre de situation où une surveillance généralisée ultra étroite deviendrait tout bonnement un enjeu de survie. Alors oui, c'est complètement dystopique, et Nick Bostrom n'hésite pas à le développer clairement comme par exemple dans ce petit encadré, qui est assez frappant. Et je trouve ça intéressant de réfléchir au fait que notre attachement au respect de la vie privée tient notamment à un aspect assez contingent de notre situation technologique, en gros le fait qu'une personne seule agissant dans sa sphère privée, ou un petit groupe de personnes comme ça, même avec toute l'ingéniosité et toute la détermination du monde, ne peuvent pas causer la destruction d'une ville entière, disons. Cette incapacité n'a rien de nécessaire.
On a juste eu la chance que notre développement technologique jusque là ne nous ait pas doté de cette capacité, alors qu'il nous a doté de bien d'autres capacités assez extraordinaires. Mais du coup on peut voir notre rapport au respect de la vie privée, non pas comme un truc absolu et indépassable, mais comme un des nombreux arbitrages qu'on fait entre liberté et sécurité, et les termes de cet arbitrage pourraient donc radicalement changer dans des conditions de vulnérabilité de type-1, c'est-à-dire où un petit groupe d'individus agissant dans leur sphère privée seraient en mesure de causer des dommages gigantesques. On regarderait avec nostalgie ce bon vieux temps où les pires attentats ne causaient que quelque centaines de victimes, au lieu de millions. Une seule découverte qu'on aura pas vu venir, une seule invention aux effets inattendus pourrait changer ça et nous nous retrouverions dès lors dans un dilemme douloureux entre apocalypse à répétition et dystopie de surveillance généralisée. Pas terrible comme choix. Raison de plus pour ne pas tirer du tout de boule noire en premier lieu.
Enfin, voilà. Peut-être que toute cette hypothèse monde vulnérable n'est que sornette et qu'il n'y pas plus de boule noire dans l'urne de la curiosité humaine qu'il n'y a d'énergie exploitable dans les réactions nucléaires (ah pardon mauvais exemple finalement, enfin vous m'avez compris quoi). Mais ça me semble en tout cas un sujet de réflexion intéressant que j'avais envie de partager avec vous depuis un moment, et avec la période actuelle qui cumule augmentation du risque d'escalade nucléaire, rapport du Giec alarmant, et toujours la bonne vieille pandémie en fond, je me disais qu'on fera pas mieux comme occasion pour en parler. Enfin, j'espère qu'on fera pas mieux comme occasion.
Merci d'être resté jusque là. Et un très très grand merci à toutes celles et ceux qui me soutiennent sur les plateformes de dons. Ça me permet de faire des vidéos réjouissantes comme ça, j'espère que ça vous fait plaisir. On se retrouve bientôt pour une prochaine vidéo, en attendant portez-vous bien, et je laisserai naturellement le mot de la fin au grand philosophe Thierry Beccaro. - Vous devez brasser les boules.
2022-03-30 00:20
