EyePliance : capteur d'attention visuel

De fablab
Aller à : navigation, rechercher

Informations générales

  • Encadrants: Jérôme Maisonnasse
  • Partenaires: Patrick Reignier, équipe PRIMA, LIG

Ce projet est pour un groupe de 2 à 4 étudiants intéressés par la programmation en C++/python et la vision par ordinateur.

Contexte

Dans le cadre d'une collaboration avec le laboratoire LIG équipe PRIMA et l'école GEM, projet Plexus qui expérimente différents scénarii d'éducation et des comportements d'achats, il serait intéressant de pouvoir observer l'orientation de l'attention des individus. Dans un contexte de vitrine ou d'une rangée d'un magasin, ou dans un contexte de salle de cours, l'objectifs est d'identifier où s'oriente l'attention visuelle (le regard) des individus.

L'originalité de la démarche réside dans le fait d'équiper des objets de l'environnement d'un système de vision par ordinateur pour remonter le fait qu'une ou plusieurs personnes ont le regard braqué sur eux.

Sujet

Basé sur un approche de de vision par ordinateur, d'une camera placée de façon coaxiale à un projecteur infrarouge, vous aurez à détecter les reflets de la pupille pour déterminer l'orientation du regard. Les objets seront connectés et intégrés dans des petits boitiers pour être installés dans différents contextes. L'information que l'on souhaite remonter serait :

  • la télévision me dit que jean et pierre ont le regard pointé dessus
  • alors que la cafetière détecte que céline la regarde.

Vous aurez donc à programmer en c++/python des algorithmes de détection et les connecter en MQTT pour remonter les événements lorsque une personne regarde l'objet à un système de reporting centralisé.


Une démonstration de l'application est disponible ici.

Le rapport du projet est disponible ici.

Le code source est disponible ici.

Le code pour générer les fichiers yml utilisés pour la reconnaissance de visage ici