Reconstruction 3D temps-réel de terrain à partir de vidéo prise par drone

De fablab
Aller à : navigation, rechercher

Sujet:

Reconstruction 3D temps-réel de terrain à partir de vidéo prise par drone

Encadrant:

Lionel Reveret, lionel.reveret@inria.fr

Equipe:

2 à 3 étudiants

Mots-clefs: Reconstruction 3D, vidéo, drone, système embarqué

Contexte:

Le but de ce stage est de mettre en place une chaîne d'acquisition temps-réel de terrain 3D à partir de vidéo prises par un drone. Une approche purement hors-ligne avec prise de vue vidéo et calcul séparé sur logiciel de photogrammétrie présente l'inconvénient de devoir revenir à d'autres prises de vue si la couverture s'avère incomplète ou si la prise de vue est de mauvaise qualité. Afin d’accélérer le temps de production par rapport à cette approche hors-ligne, il est proposé de réfléchir aux prétraitements possibles, directement embarqués dans le drone, pour en tirer une première analyse pour la reconstruction 3D. Il n'est pas demandé que le drone fasse le calcul 3D final qui sera confié à un logiciel de photogrammétrie mais qu'il soit capable de diagnostiquer la vidéo en terme de couverture et qualité. Il permettra ainsi de s'assurer que la prise de vue est satisfaisante et éventuellement de renvoyer au pilote des indications sur des endroits non couverts ou à refaire. Le contexte de développement se fera sur le module de calcul Jetson de Nvidia. Ce module et son kit de développement permettent de développer des applications de vision par ordinateur, notamment via l'API OpenCV. Celle-ci se programme en C++ ou en Python. Le domaine d'application visé est la reconstruction de parois rocheuses verticales. Ce stage se fera dans le contexte d'une collaboration entre le laboratoire LJK pour le traitement d'image et le laboratoire GIPSA pour le traitement vidéo embarqué dans un drone.

Les étudiants pourront travailler dans un premier temps sur des vidéos hors-ligne afin de mettre au point les algorithmes. De nouvelles séquences d'acquisition embarquant le matériel pourront être acquises sur les drones disponibles au laboratoire. L'usage de drone en extérieur est encadré par la réglementation aérienne. Les expérimentations seront donc soit faites en intérieur, soit confiées à un pilote agréé, disposant des autorisations préfectorales. Les étudiants pourront solliciter son aide pour effectuer des prises de vue supplémentaire.

Travail demandé:

Le but du projet est d'évaluer quel type de calcul est implémentable en temps-réel sur la plateforme Nvidia Jetson par rapport à l'objectif de reconstruction 3D de terrain extérieur. L'objectif du projet est ainsi de fournir une estimation de degrés de précision 3D atteignable par ce type de matériel en restant dans les limites de puissance de calcul et de consommation électrique offertes par le système embarqué. Les étudiants devront se familiariser avec les calculs de photogramétrie tels qu'ils sont implémentés dans l'API OpenCV. Le travail expérimental commencera avec des vidéos de drone déjà effectuées et disponibles. Celles-ci permettront un premier prototypage sur le module de calcul. Des tests sur un système complet, drone et module, pourront être fait sur la plateforme du GIPSA.