LIP6 CNRS Sorbonne Université Tremplin Carnot Interfaces
Direct Link LIP6 » Jobs

 Thesis : AI safety : from alignment to trust and cooperation

SCAI PhD thesis
Cette thèse s'inscrit dans le domaine de l'AI Safety, champ de l'IA qui se développe en particulier aux USA et au Royaume-Uni depuis quelques années et visant à ré-orienter l'IA vers des techniques qui la rende bénéfique pour l'humanité et compatible avec sa survie, en anticipant suffisamment l'apparition attendue de la 'Super Intelligence' (ou "'IA Générale"). Nous souhaitons développer un nouvel axe dans ce domaine qui aille au-delà de l'approche 'classique' d'étude de l' "Alignement" entre l'humanité et les machines à travers un processus d'apprentissage par renforcement : notre proposition vise à étudier, modéliser, et simuler des processus d'émergence de la confiance entre individus et agents/robots réalisant leur tâche dans un même environnement. En particulier cette thèse aura l'originalité d'étudier le rôle des affects (des émotions) dans l'émergence de la confiance. Elle explorera aussi les risques de manipulation que la prise en compte des affects pourra susciter. Ce travail de thèse pourra bénéficier d'une collaboration récente avec le CHAI (Center for Human-compatible AI) de UC Berkeley, qu'elle contribuera à renforcer.

Mots clefs : AI safety, alignement, confiance, émotions, apprentissage par renforcement

Ce projet de recherche doctoral fait l’objet d’une demande de financement auprès de « Sorbonne Center for Artificial Intelligence (SCAI) », le candidat retenu par son porteur devra donc participer au concours correspondant (prévoir un dossier et une audition) en vue d’obtenir le financement effectif.

More details here

Contact :Vincent Corruble et Amal El Fallah Seghrouchni

 Mentions légales
Site map |