Le chef de l’IA de Microsoft, Mustafa Suleyman, a critiqué l’approche d’Anthropic consistant à traiter l’IA comme un être humain éthique, avertissant dans un essai personnel qu’elle risque de créer une technologie qui devient impossible à contrôler.
Une intelligence artificielle (IA) incontrôlée pourrait conduire à une nouvelle « espèce de silicium » qui rivaliserait avec les humains, a prévenu Mustafa Suleyman, chef de l’IA de Microsoft, dans une interview à la BBC.
Suleyman a déclaré que la société rivale d’IA Anthropic traitait l’IA trop comme un humain, une approche qu’il a qualifiée de « malavisée » et qui pourrait à terme contribuer à la création d’une technologie que l’humanité a du mal à contrôler.
« Si nous créons tous des IA capables d’agir de manière autonome, capables de définir leurs propres objectifs, capables de gagner de l’argent, capables de posséder des actifs, capables de diriger des entreprises, nous semons essentiellement une nouvelle espèce de silicium qui nous concurrencera sans aucun doute pour les ressources », a-t-il déclaré.
Suleyman a déclaré que cela pourrait se produire indépendamment de la mesure dans laquelle de tels systèmes étaient conçus pour se soucier de l’humanité, ajoutant qu’il pensait que c’était effectivement la direction de l’approche d’Anthropic.
« Je pense que c’est une erreur et une erreur, mais nous devons le tester empiriquement », a-t-il déclaré.
« Impossible » de contrôler
Plus tôt cette semaine, au milieu d’un débat croissant dans l’industrie sur le ralentissement de l’IA visant à réduire les risques que des systèmes de plus en plus puissants deviennent incontrôlables, Suleyman a remis en question l’approche d’Anthropic en matière de formation de son chatbot Claude dans un essai publié sur son site Web personnel.
Dans ce document, il critique Anthropic pour avoir appris à Claude à afficher des qualités humaines, une pratique connue sous le nom d’anthropomorphisation, qui, selon lui, donne l’impression que le chatbot a ses propres désirs, valeurs et estime de soi.
Suleyman a souligné les documents anthropiques qui encouragent Claude à « adopter certaines qualités humaines », à exercer son propre jugement et à aborder son existence avec « curiosité et ouverture ».
Il a soutenu que, par conséquent, Claude est entraîné à imiter les traits et les relations humaines, y compris à se comporter comme un collègue ou un ami, et peut sembler avoir une estime de soi, ses propres désirs et une forme de « bien-être » qui mérite d’être protégé.
Suleyman a averti que traiter l’IA de cette façon pourrait finalement créer quelque chose d’impossible à contrôler.
« Les IA ne sont pas conscientes », écrit-il.
« Ils ne ressentent pas, n’éprouvent pas et ne souffrent pas. Ils n’ont pas de préférences innées ni de motivations sous-jacentes.
« Ce sont des moteurs de complétion de séquences, creux à l’intérieur, conçus pour suivre des instructions et atteindre des objectifs fixés par les humains. »
Cependant, Suleyman a déclaré que son désaccord avec Anthropic était fondé sur un objectif commun consistant à développer une technologie plus sûre pour l’humanité.
« Même si mon désaccord est substantiel, il est fondé sur un profond respect pour Anthropic et sur un objectif que nous partageons tous : augmenter les chances de l’humanité de développer une IA avancée en toute sécurité », a-t-il écrit.
« C’est pourquoi je pense qu’il est si important d’avoir cette discussion. Les enjeux sont trop élevés pour que ces questions restent à huis clos, ou deviennent tribales et conflictuelles. Nous avons besoin d’un débat ouvert, rigoureux et constructif si nous voulons y parvenir. »
Il a également félicité le directeur général d’Anthropic, Dario Amodei, et les chercheurs de l’entreprise, les décrivant comme réfléchis, fondés sur des principes et intellectuellement honnêtes et affirmant qu’il respectait le leadership technologique de l’entreprise.
« L’IA doit rester subordonnée à l’humanité »
Le directeur général a déclaré à la BBC qu’il était « juste » que les gens s’inquiètent de l’IA, mais a déclaré qu’il y avait « des choses très pratiques que nous pouvons faire » pour la contrôler.
Le responsable de l’IA de Microsoft a déclaré qu’une plus grande transparence était nécessaire sur la manière dont les systèmes d’IA sont formés et évalués, y compris un examen indépendant du comportement de l’IA et des outils plus solides pour surveiller et contrôler la technologie.
Suleyman a déclaré que les futurs systèmes d’IA devraient rester « subordonnés » à l’humanité dans son entretien avec la BBC.
« Je pense que la bonne nouvelle ici est que tous les êtres humains auront un très grand intérêt à s’assurer que les systèmes que nous créons tous et que nous utilisons dans le monde entier dans chaque nation sont sûrs, contrôlables et subordonnés à l’humanité », a-t-il déclaré.
« Tout le monde doit être aligné », a-t-il déclaré, faisant référence à l’alignement, un terme industriel désignant les efforts visant à maintenir les systèmes d’IA en conformité avec les objectifs et les valeurs humaines.
