Capture temps réel des mouvements et animation d'un robot

De fablab
Aller à : navigation, rechercher

Contexte et objectifs du projet

L'idée de ce projet est d'utiliser les caméras 3D disponibles au Fablab (type kinect) pour disposer en temps réel de la modélisation d'un squelette virtuel.

Cette modélisation obtenue, il s'agira alors de construire un modèle physique de robot qui pourra reproduire une partie des mouvements obtenus.

Il s'agira donc :

  1. de se documenter sur les caméras et dispositifs de capture
  2. de mettre en oeuvre la capture temps réel d'une modélisation de la personne filmée
  3. de choisir un ensemble d'actionneurs et de construire un pantin motorisé ou un robot existant
  4. de mettre en oeuvre la partie commande du robot
  5. d'assurer la communication entre les 2 modules (acquisition et commande)


Découpage du projet en différentes tâches

Nous pouvons envisager un premier découpage prévisionnel du projet selon les différents points qui suivent :

  1. Récupération et traitement des données filmées par les caméras ( Borana, Clara, Romain ) :
    1. Choix de la caméra : xtion pro live .
    2. Comprendre et explorer les fichiers sources du logiciel de capture associé à la caméra.
    3. Mise en oeuvre de la capture :
      1. Flux vidéo en temps réel
      2. Algorithme de reconnaissance d’image
  2. Conception du robot ( Elia, Manon, Maryam, Wassim ) :
    1. Mécanique :
      1. Choix du type de robot : Robot pantin relié avec des fils aux moteurs intégrés à la bâtisse .
      2. Impression en 3D du pantin.
      3. Conception mécanique de la bâtisse : choix de liaisons, d’actionneurs, de pièces,...
      4. Dynamique : nature des mouvements, équations de mouvement ...
    2. Programmation - automatique :
      1. Choix de la carte : Arduino .
      2. Documentation/Installation des outils, logiciels et langages de programmation / contrôle pour la partie commande du robot.
      3. Mise en oeuvre de la partie programmation et contrôle (câblages, entrée-sortie...).
  3. Vu d’ensemble du projet : Lien entre la partie acquisition du mouvement et la partie commande/contrôle du robot.

A faire pour le mercredi 20 février

  1. Récupération des données pour la caméra (Borana, Clara, Romain): Documentation sur le fonctionnement de la caméra
  2. Conception du robot (Elia, Manon, Maryam, Wassim):
    1. Impression 3D du pantin, mise en place des fils et premiers tests de mouvement
    2. Prise de décision sur les différents moteurs, calculs et plans
    3. Relier la carte Arduino et assurer un fonctionnement basique

A faire pour le mercredi 6 mars

Objectif : Réaliser une première fois toute la chaîne afin d'obtenir un mouvement de bras simple :

  1. Partie caméra (Borana, Clara, Romain) : récupération des coordonnées de la main (directement disponibles grâce aux scripts de tests fournis avec le logiciel
  2. Partie commande des moteurs (Wassim) : pouvoir contrôler le moteur permettant de soulever la main
  3. Partie mécanique (Maryam, Elia, Manon) : impression du robot et l'attacher de sorte à pouvoir bouger au moins la main

Difficultés rencontrées :

  1. Le robot ne permet pas certains mouvement du bras et la rotation au niveau du buste est gênante.
  2. Nous n'arrivons toujours pas à installer/compiler les logiciels nécessaires à l'utilisation de la caméra.

A faire pour le mercredi 13 mars

Objectif : idem, avec quelques variations :

  1. Partie caméra (Borana, Romain, Clara, Elia) : Continuer à essayer d'exploiter la caméra. Contacter des élèves manipulant cette même caméra, tenter des solutions alternatives comme changer de caméra et/ou de logiciel, etc.
  2. Partie commande et caméra (Wassim, Borana, Clara, Romain) : Se mettre d'accord sur la liaison entre les deux parties : sous quelle forme se passer les coordonnées ? Puis écrire un script générant des coordonnées au cas où nous n'arriverions toujours pas à manipuler la caméra.
  3. Partie mécanique (Elia, Manon, Maryam) : Imprimer un bras et le buste d'un nouveau robot sur l'exemple du robot en pâtes et le tester.

OpenNI pour XtionPRO LIVE

La caméra 3D utilisé pour notre projet est la XtionPRO LIVE de ASUS. Elle vient avec un disque d'installation, que nous avons utilisé avec le système d'exploitation Windows.

L'emplacement par défaut du logiciel installé est dans <C:\Program Files\OpenNI\Samples\Bin\Release\NiViewer.exe>. Une documentation fort utile de OpenNI se trouve dans <C:\Program Files\OpenNI\Documentation>.

Des exemples de code sont dans les emplacements suivants:

  1. Exemples de conde OpenNI: <C:\Program Files\OpenNI\Samples>.
  2. Exemples de code NITE: <C:\Program Files\Prime Sense\NITE\Samples>.

Ces exemples seront notre point de référence pour la mise en place de nos propres tests de récupération de mouvements 3D.