Yoshua Bengio lance Lawzero, un organisme sans but lucratif basé au Canada qui privilégiera le développement de l’intelligence artificielle sûre et honnête (IA).
L’un des chercheurs d’intelligence artificielle les plus cités au monde (IA) lance un nouvel organisme sans but lucratif qui concevra des systèmes d’IA sûrs.
Yoshua Bengio, un scientifique canadien de l’IA qui a remporté le prestigieux prix Alan Turing pour son travail sur l’apprentissage en profondeur et a été surnommé l’un des « parrains » de l’IA, a annoncé le lancement de Lawzero à Montréal.
Le nouvel organisme à but non lucratif rassemble une équipe de «classe mondiale» de chercheurs en IA qui se consacre à «hiérarchiser la sécurité sur les impératifs commerciaux», une déclaration de la lecture à but non lucratif.
« Les modèles d’IA frontaliers d’aujourd’hui développent des capacités et des comportements dangereux, y compris la tromperie, l’auto-préservation et le désalignement des objectifs », a déclaré Bengio dans le communiqué, notant que l’organisation aidera à déverrouiller « l’immense potentiel » l’IA tout en réduisant ces risques.
Bengio a déclaré que l’organisation à but non lucratif était née d’une nouvelle « direction scientifique » qu’il a prise en 2023, qui a culminé dans « Scientist AI », un nouveau système d’IA non agentique que lui et son équipe développent pour agir comme garde-corps contre les systèmes d’IA agentiques « incontrôlés ».
AI qui «apprendra à comprendre le monde»
Ce principe est différent des autres sociétés en ce qu’elle souhaite hiérarchiser les IA non agentiques, ce qui signifie qu’elle a besoin d’instructions directes pour chaque tâche au lieu de proposer indépendamment les réponses, comme la plupart des systèmes d’IA.
L’AIS non agentique construite par Lawzero « apprendra à comprendre le monde plutôt qu’à y agir » et sera formé pour donner « des réponses véridiques aux questions basées sur le raisonnement (externe) ».
Bengio a élaboré sur l’IA scientifique dans un récent article d’opinion pour le temps, où il a écrit qu’il est « vraiment instable par le comportement non restreint que l’IA démontre, en particulier l’auto-préservation et la tromperie ».
« Plutôt que d’essayer de plaire aux humains, l’IA scientifique pourrait être conçue pour prioriser l’honnêteté », a-t-il écrit.
L’organisation a reçu des dons d’autres instituts de l’IA comme le Future of Life Institute, Jaan Tallin et la Silicon Valley Community Foundation dans sa phase d’incubateur.
Lawzero travaillera à partir de l’Institut Mila – Québec AI à Montréal, que Bengio a aidé à co-fonder.
