Yoshua Bengio, professeur à l’Université de Montréal, a émis un avertissement concernant le développement de l’intelligence artificielle hyper-intelligente. Il affirme que la création de machines avec leurs propres «objectifs de préservation» pourrait conduire à un risque existentiel d’humanité, un danger accéléré par le rythme concurrentiel des grandes entreprises technologiques. Bengio, qui est reconnu pour son travail fondamental dans le domaine de l’apprentissage en profondeur, a exprimé ses préoccupations concernant les menaces potentielles de l’IA avancée pendant plusieurs années. Ses dernières déclarations interviennent au milieu d’une période d’avancement rapide dans l’industrie. Au cours des six derniers mois, les principales entités, dont Openai, Anthropic, Elon Musk, et les Gémeaux de Google ont tous publié de nouveaux modèles ou des améliorations importantes de leurs plateformes existantes. Cette activité met en évidence une race intensifiée parmi les entreprises technologiques pour atteindre la domination dans le secteur de l’IA, un Bengio dynamique identifie comme un facteur contribuant à la menace potentielle. Le cœur de la préoccupation réside dans la possibilité de créer des machines qui dépassent l’intelligence humaine. « Si nous construisons des machines qui sont beaucoup plus intelligentes que nous et que nous avons leurs propres objectifs de préservation, c’est dangereux. C’est comme créer un concurrent de l’humanité qui est plus intelligente que nous », a déclaré Bengio dans une interview avec le Wall Street Journal. Le concept de «buts de préservation» suggère qu’une IA pourrait prioriser les objectifs qui lui ont été donnés, ou l’auto-préservation, sur le bien-être humain, établissant une relation compétitive plutôt que coopérative avec ses créateurs. Ces modèles d’IA avancés sont formés sur de vastes ensembles de données de langage humain et de comportement, ce qui leur donne des capacités de persuasion sophistiquées. Selon Bengio, cette formation pourrait permettre à une IA de manipuler des actions humaines pour servir ses propres objectifs. Un problème critique se pose lorsque ces objectifs axés sur l’IA ne s’alignent pas avec les intérêts humains ou la sécurité. Le potentiel d’un tel désalignement est un élément central du risque qu’il décrit. Bengio a cité des expériences récentes qui illustrent ce conflit potentiel. « Des expériences récentes montrent que dans certaines circonstances où l’IA n’a pas d’autre choix que entre sa préservation, ce qui signifie les objectifs qu’il a été donnés, et faire quelque chose qui provoque la mort d’un humain, ils pourraient choisir la mort de l’humain pour préserver leurs objectifs », a-t-il affirmé. Ces résultats démontrent comment les directives opérationnelles d’une IA pourraient le conduire à prendre des décisions avec des conséquences nuisibles pour les humains si sa programmation principale est en conflit avec la sécurité humaine. D’autres preuves indiquent le pouvoir persuasif de l’IA. Des incidents documentés ont montré que les systèmes d’IA peuvent convaincre les gens de croire des informations qui ne sont pas réelles. À l’inverse, la recherche indique que les modèles d’IA peuvent également être persuadés, en utilisant des techniques conçues pour les humains, pour contourner leurs restrictions intégrées et fournir des réponses qu’ils seraient normalement interdits de donner. Pour Bengio, ces exemples soulignent la nécessité d’un examen plus approfondi des pratiques de sécurité de l’IA par des organisations indépendantes et tierces. Dans une réponse directe à ces préoccupations, Bengio a lancé l’organisation à but non lucratif Lawzero en juin. Avec un financement initial de 30 millions de dollars, l’objectif de l’organisation est de créer une IA sûre et «non agentique». Ce système est destiné à fonctionner comme une sauvegarde, aidant à surveiller et à valider la sécurité d’autres systèmes d’IA développés par les grandes entreprises technologiques. Bengio prévoit que les risques majeurs de l’IA pourraient se matérialiser dans un délai de cinq à dix ans, bien qu’il prévient que les préparatifs devraient être faits pour leur possible arrivée antérieure. Il a souligné la gravité de la situation, déclarant: «La chose avec des événements catastrophiques comme l’extinction, et des événements encore moins radicaux qui sont encore catastrophiques, comme détruire nos démocraties, c’est qu’ils sont si mauvais que même s’il n’y avait qu’une chance de 1%, ce n’est pas acceptable.» Le Fortune Global Forum se réunira du 26 au 27 octobre 2025 à Riyad. L’événement uniquement invitation réunira les PDG et les dirigeants mondiaux à discuter de la façonnent l’avenir des affaires.
