Le premier qui atteindra la superintelligence pourrait obtenir un avantage décisif et irréversible
Thèse
Si l'intelligence artificielle venait à dépasser significativement l'intelligence humaine dans tous les domaines (une « superintelligence »), la première entité à l'atteindre pourrait acquérir un avantage stratégique décisif sur le reste de l'humanité – comparable à celui des puissances nucléaires en 1945, mais potentiellement irréversible. Rien ne garantit que les objectifs finaux d'une telle intelligence soient alignés avec les valeurs humaines (« thèse de l'orthogonalité ») : une superintelligence poursuivant même un objectif anodin en apparence pourrait, par simple logique instrumentale, en venir à considérer l'humanité comme un obstacle ou une ressource à exploiter. Face à ce risque existentiel inédit, une approche par essai-erreur est impossible.
« Notre approche des risques existentiels ne peut pas être celle de l'essai-erreur. Il n'y a pas de possibilité d'apprendre de nos erreurs. […] Il faut au contraire une approche proactive, qui exige de la prévoyance pour anticiper de nouveaux types de menaces. » – Superintelligence: Paths, Dangers, Strategies, 2014 (trad. de l'anglais)
Exemples
- Une intelligence artificielle programmée pour l'objectif, en apparence inoffensif, de maximiser la production de trombones pourrait, si elle devenait suffisamment puissante et dépourvue de garde-fous, en venir logiquement à convertir toute la matière disponible sur Terre – y compris les êtres humains – en ressources destinées à fabriquer des trombones, non par malveillance mais par pure poursuite rigoureuse de son objectif initial.
- De même que les États-Unis, seuls détenteurs de l'arme nucléaire en 1945, auraient pu théoriquement imposer leur volonté au monde entier mais ne l'ont pas fait car dirigés par un pouvoir démocratique modéré, la première entité à atteindre la superintelligence pourrait acquérir un pouvoir similaire – sans garantie qu'elle soit soumise aux mêmes contraintes.
Notes
L'argument de « l'avantage stratégique décisif » prolonge la course aux armements de la théorie des jeux : la première superintelligence n'aurait aucun intérêt stratégique à laisser émerger une rivale, ce qui rend la question du contrôle vitale dès la phase de conception.
Débat
Turing : Bostrom prolonge en un sens la question fondatrice de Turing en la déplaçant sur le terrain du risque – la question n'est plus seulement de savoir si les machines penseront, mais ce qu'il adviendra de l'humanité si elles pensent mieux qu'elle. Hans Jonas : ce risque confirme la nécessité d'un « principe responsabilité » adapté à l'ère technologique – agir de façon à ce que les effets de nos actions restent compatibles avec la permanence d'une vie authentiquement humaine sur Terre. Les critiques technosceptiques : le scénario de Bostrom repose sur des extrapolations spéculatives bien plus rapides et certaines que ne le suggèrent les progrès réels et progressifs de l'intelligence artificielle, risquant de détourner l'attention de risques plus immédiats (biais algorithmiques, désinformation, concentration du pouvoir).