La chambre chinoise : comprendre et traiter l'information sont deux choses différentes

Thèse

Une machine peut-elle vraiment comprendre ? Searle propose une expérience de pensée : un homme enfermé dans une chambre reçoit des messages en chinois, ainsi que des règles pour y répondre en chinois. Il ne comprend pas un seul caractère qu'il traite, mais il dispose de règles qui lui permettent d'effectuer un traitement satisfaisant. De l'extérieur, on croirait à une vraie compréhension. Pourtant, l'homme n'y comprend rien – il ne fait que manipuler des symboles selon des règles. Les ordinateurs font de même.

Exemples

• La chambre chinoise : l'homme dans la chambre manipule des symboles chinois avec une perfection telle que les Chinois dehors pensent dialoguer avec un locuteur natif. Mais il ne comprend rien – il suit des règles formelles. Un ordinateur est dans la même situation : il traite des symboles selon des règles, sans comprendre ce que ces symboles signifient.
• L'argument étendu à l'IA : même les grand modèle de langage les plus performants ne « comprennent » pas – ils manipulent des motifs statistiques dans un espace de symboles. Le test de Turing (qui évalue les comportements) ne peut pas valider une compréhension intérieure. Passer pour intelligent n'est pas être intelligent.

Notes

Même en intériorisant toutes les règles par cœur, l'homme ne comprendrait toujours pas le chinois : le problème n'est donc pas une question d'échelle du système, mais de nature du processus. Donner à la machine un corps et des capteurs ne suffirait pas non plus : un robot ne ferait toujours que manipuler des symboles dérivés de ses capteurs, sans plus de sémantique qu'auparavant. Pour Searle, ce qui manque à l'ordinateur n'est donc ni un système plus vaste, ni un corps, mais des pouvoirs causaux propres à la biologie du cerveau – de même que la digestion est une propriété causale de l'estomac, l'intentionnalité et la conscience seraient des propriétés causales du cerveau, que le silicium ne reproduirait pas du seul fait d'imiter sa fonction.

Débat

Turing : si le comportement est indiscernable de la compréhension, la distinction perd toute pertinence pratique. Dennett : la « compréhension » que Searle privilégie est elle-même une fiction – même le cerveau humain ne fait que traiter des signaux physiques. Chalmers : Searle a raison de dire qu'il manque quelque chose – le problème difficile de la conscience (pourquoi y a-t-il quelque chose que ça fait d'être un cerveau ?) reste entier pour les humains comme pour les machines. Merleau-Ponty : ni le système dans son ensemble ni les pouvoirs causaux du cerveau seul ne suffisent à expliquer la compréhension – c'est le corps propre, en prise perceptive et motrice constante avec le monde, qui est le sujet premier de tout sens. Une intelligence sans corps de chair, incapable d'habiter un monde, de s'y orienter et d'y agir, ne pourrait développer aucune compréhension véritable, quelle que soit la complexité de ses calculs internes.