Doctorante/Doctorant en vision par ordinateur

Unité : Centre d’Enseignement de Recherche et d’Innovation Systèmes Numériques (CERI SN)

Responsable hiérarchique : Sylvain Lecomte, directeur du CERI SN

Nature de l’emploi : Contrat doctoral – CDD de 36 mois

Lieu de travail : Villeneuve d’Ascq

Intitulé du sujet de thèse : Augmenter l'interaction gestuelle humaine avec l'IA générative

CONTEXTE :

Ecole sous tutelle du ministère de l’économie, des finances et de la souveraineté industrielle et numérique, et école de l’Institut Mines Télécom, IMT Nord Europe a 3 missions principales : former des ingénieurs responsables aptes à résoudre les grandes problématiques du XXIème siècle ; mener des recherches débouchant sur des innovations à haute valeur ajoutée ; soutenir le développement des territoires notamment en facilitant l’innovation et les créations d’entreprises. Son objectif est de former les ingénieurs de demain, maîtrisant à la fois les technologies numériques et les savoir-faire industriels. Idéalement située au carrefour de l’Europe, à 1 heure de Paris, 30 minutes de Bruxelles et 1H30 de Londres, IMT Nord Europe a l’ambition de devenir un acteur majeur des grandes transformations industrielles, numériques et environnementales du XXIème siècle en combinant, tant dans ses enseignements et que dans sa recherche, les sciences de l’ingénieur et les technologies du digital.

Localisée sur 2 sites principaux d’enseignement et de recherche, à Lille et à Douai, IMT Nord Europe s’appuie sur plus de 20000m² de laboratoire pour développer un enseignement de haut niveau et une recherche d’excellence dans les domaines suivants :

- Systèmes Numériques

- Energie Environnement

- Matériaux et Procédés

Pour plus de détails, consulter le site internet de l’Ecole : www.imt-nord-europe.fr

Le poste est à pourvoir au sein du Centre d’Enseignement, de Recherche et d’Innovation Systèmes Numériques (CERI SN) œuvrant dans le contexte de la fusion des mondes physique et numérique au travers de la modélisation (et l’optimisation) des systèmes complexes, la fluidification des interactions avec l’humain, et la conception de systèmes communicants et sécurisés.

Le Centre de recherche a à cœur l’excellence académique autour de sujets originaux et démarquants au travers d’une recherche appliquée, en réponse aux enjeux sociétaux et technologiques et d’une capacité d’interventions sur un large spectre TRL.

MISSIONS :

Les gestes humains constituent un aspect fondamental de la communication non verbale, fournissant un riche support d’interaction qui complète la parole. Malgré les progrès significatifs de l’IA, parvenir à une interaction gestuelle transparente et intuitive reste un défi. L'IA générative, en particulier les modèles tels que les GAN et les architectures basées sur Transformer, offrent des solutions prometteuses pour améliorer la reconnaissance des gestes et la génération de réponses.

Ce projet de thèse vise à étudier l’amélioration l’interprétation des interactions gestuelle humaines grâce à l’utilisation de l’IA générative. L’objectif est de développer des modèles avancés capables de reconnaître, d’interpréter et de répondre avec précision aux gestes humains en temps réel, permettant ainsi des interactions homme-machine (HCI) plus naturelles et intuitives. Les travaux aborderont les défis de la précision de la reconnaissance des gestes, de la compréhension contextuelle et de la génération de réponses, contribuant ainsi à des domaines tels que la réalité virtuelle (VR), la réalité augmentée (AR) et les technologies d'assistance.

D’un autre côté, générer avec précision des interactions main-objet réalistes dans des environnements virtuels est essentiel pour créer des expériences utilisateur immersives et intuitives. Cette recherche explorera également les avancées récentes en matière de modélisation générative avec des modèles de diffusion, tels que DALL-E 2 et Stable Diffusion, pour générer des données 3D réalistes d'interaction main-objet. Même si ces modèles de diffusion peuvent générer des images réalistes à partir d’instructions textuelles, ils peinent à produire des interactions physiquement ou géométriquement plausibles. Ils ne parviennent souvent pas à faire correspondre le résultat aux formes et poses 3D, en particulier lorsqu'il s'agit de capturer les détails de la façon dont les doigts sont placés autour d'un objet. Cette thèse vise à développer une solution permettant de générer des interactions main-objet 3D réalistes en conditionnant la représentation de la scène à la fois sur la forme de la main 3D et sur l'objet.

Les travaux de cette thèse seront réalisés au sein d'un consortium d'un projet intitulé 5GMetavers, composé de laboratoires académiques et d'entreprises industrielles, notamment Airbus et Orange

PROFIL DE LA CANDIDATE / DU CANDIDAT : (Prérequis/ Diplôme)

Aptitudes :

De très bonnes capacités d’analyse et de synthèse ;

Compétences :

Une solide expérience en vision par ordinateur et en apprentissage automatique (deeplearning)

Une bonne maîtrise de l’anglais à l’oral comme à l’écrit ;

Connaissances : 

Des connaissances en réalité virtuelle ou augmentée sur les moteurs 3D Unity et/ouUnreal Engine est un plus appréciable

Mots clés : analyse du comportement humain, vision par ordinateur, apprentissage profond, réalité mixte

CONDITIONS :

Le poste est à pourvoir à compter du 01/10/2024 pour une durée de 36 mois (contrat doctoral). La thèse s’effectuera dans les locaux de IMT Nord Europe sur le campus situé à Villeneuve d’Ascq (Rue Guglielmo Marconi, 59650 Villeneuve-d'Ascq).

Des déplacements en France pour échanger et présenter les états d’avancement des recherches avec les partenaires industriels du projet seront réalisés.

RENSEIGNEMENTS ET MODALITÉS DE DÉPÔT DE CANDIDATURE :

Pour tout renseignement sur le poste, merci de vous adresser à Hazem Wannous (Professeur) hazem.wannous@imt-nord-europe.fr

Pour tout renseignement administratif, merci de vous adresser à la Direction des Ressources Humaines : jobs@imt-nord-europe.fr

Par ailleurs, le poste peut être aménagé pour une personne en situation de handicap.

Information sur l’environnement de travail à IMT Nord Europe :

• Possibilité du télétravail partiellement

• Environnement exceptionnel de travail

• Nombreux congés

• Restauration collective sur place

• Prise en charge des transports en commun sur trajet domicile-travail (75%)

• Forfait mobilité durable (pour le covoiturage ou les trajets en vélo)

• Complément familial selon la composition de la famille

• Large gamme de prestations sociales (indemnisation 1^ère installation, aides financières, chèque vacances…)

• Écosystème d’innovation stimulant (startups, étudiants, recherche, entreprises)

Date limite de candidature : 15/08/2024