Les aéronefs sans pilotes pour la télédétection appliquée aux milieux agricoles, fauniques et miniers: résultats de

recherches, défis et opportunités

Jérôme Théau, professeur Département de géomatique appliquée et

Centre d'applications et de recherches en télédétection (CARTEL)Université de Sherbrooke

Patrick Ménard, analyste en géomatiqueCentre de géomatique du Québec

Les aéronefs sans pilote en télédétection

Source: inconnue

Des projets de recherche depuis 2007

http://vision-du-ciel.com/drone.html

MLB Company

http://www.vikingaero.com/

http://www.cropcam.com

Des projets de recherche depuis 2007

Des projets de recherche depuis 2007

Objectifs des projets de recherche:

• Intégrer et tester des systèmes ASP-capteurs pour l’acquisition d’imagerie aérienne.

• Développer des chaînes de pré-traitement d’image pour corriger les effets radiométriques et géométriques.

• Appliquer des procédures de traitements d’images pour mettre en évidence des caractéristiques environnementales.

• Standardiser les approches pour développer des produits finis transférables à l’industrie.

Des projets de recherche depuis 2007Année Titre Partenaire Financement

2007 Étude de faisabilité CCEUAS CTA N/A

2007 Étude technico-économique portant sur l’utilisation des drones dans les processus de suivi et de contrôle des activités d’aménagement forestier

MRNF,Drone Solutions

MESRST

2008 Développement d’une application de contrôle de caméra multispectrale Agrinova N/A

2010 Développement d’un système automatisé d’acquisition et de traitement d’images multispectrales, embarqué sur un drone, dans un contexte d’agriculture de précision

Université de Sherbrooke,Optech, Agrinova

MESRST

2010 Plan d’action interne sur les drones (PAID) N/A N/A

2012-2014

Outil géomatique d’aide à la décision pour la surveillance phytosanitaire des cultures de pommes de terre

Université de Sherbrooke, CQFAPhytodata,Agrinova

MAPAQ,AAC

2012 Estimation volumétrique à partir d’images aériennes acquises par aéronef sans pilote (ASP)

ING Robotic Aviation

CRSNG

2012-2014

Télédétection visible et infrarouge thermique du Cerf de Virginie à l’aide d’un aéronef sans pilote (ASP)

Université de Sherbrooke

FQRNT,CRSNG

2012-2015

On precise three-dimensional environment modeling via UAV-based photogrammetric systems

Université de Sherbrooke

FQRNT, CRSNG

2014 Étude technique de faisabilité permettant de mettre en place un cadre d’opération d’un drone

Aviatech Services Techniques

CRSNG

2014 Évaluation des performances d'un système drone-capteur pour la cartographie 3D et mise en place d'une méthodologie de relevés terrains et aériens

FlyTerra CRSNG

2014 Étude portant sur l'implantation d'un nouveau service agro-conseil utilisant les drones

MAPÜ Solution CRSNG

2014 Évaluation des systèmes d'aéronef sans pilote pour les opérations forestières FP Innovation CRSNG

2014 Télédétection aérienne d'algues littorales Pêcherie UAPAN,Mérinov

CRSNG

Inventaire faunique: Télédétection visible et infrarouge thermique du cerf de Virginie (Odocoileus virginianus)

Source: Erwan Gavelle

Louis-Philippe Chrétien, Jérôme Théau, Patrick Ménard

Problème de détectabilité

• Perception de l’observateur• Obstruction visuelle de

l’environnement• Visibilité de l’animal

Alternatives

• Imagerie multispectrale• Traitements d’images• Aéronef sans pilote (ASP)

Mise en contexte

ObjectifsMatériels et méthodes

Résultats Échéancier

Infrarouge thermique

Bleu

Vert

Rouge

Mise en contexte

ObjectifsMatériels et méthodes

Résultats ÉchéancierObjectifs

Objectif général

Évaluer la performance d’un système aéronef-capteur mis au point pour la détection et l’inventaire du cerf de Virginie dans un milieu contrôlé

Objectifs spécifiques

• Comparer l’efficacité de détection du cerf de Virginie avec les approches d’analyse d’image par pixel et de l’analyse d’image par objet

• Déterminer l’agencement des bandes du spectre électromagnétique le plus efficace pour la détection du cerf de Virginie

• Déterminer les seuils minimal et maximal de résolution spatiale pertinente requis pour effectuer la détection du cerf de Virginie

Mise en contexte

ObjectifsMatériels et méthodes

Résultats ÉchéancierMatériels et méthodes

A

Mise en contexte

ObjectifsMatériels et méthodes

Résultats ÉchéancierMatériels et méthodes

A

Mise en contexte

ObjectifsMatériels et méthodes

Résultats ÉchéancierRésultats

Mise en contexte

ObjectifsMatériels et méthodes

Résultats ÉchéancierRésultats

Somme des cerfs faussement détectés (faux positifs) pour l’ensemble des lignes de vol en fonction de la résolution spatiale avec les différentes approches de classification et les différents agencements. Résolution spatiale 0.8 (blanc), 2.5 (gris pâle), 5.0 (gris moyen), 10.0 (gris foncé) et 15.0 (noire) cm/pixel. RVB: Visible, IRT: Infrarouge thermique, CP: Composantes principales

Conclusions

- Ce projet démontre le potentiel de la télédétection par ASP pour la détection du cerf de Virginie

- La performance de la classification orientée objet est similaire à celle de la vision d’un observateur

- Les limitations liées à l’obstruction visuelle demeurent.

- Les ASP présentent un intérêt pour l’inventaire sur de petites superficies (ex: ravages), en complément aux inventaires aériens traditionnels.

Agriculture de précision: surveillance phytosanitaire des cultures de pommes de terre

Erwan Gavelle, Jérôme Théau

OBJECTIFS DE RECHERCHE

OBJECTIF GÉNÉRAL

Développer un outil d’aide à la surveillance de cultures de pommes de terre basé sur la télédétection, économique et opérationnel sur le terrain, en appui aux méthodes traditionnelles de dépistage.

OBJECTIFS SPÉCIFIQUES

1) Automatiser une chaîne de traitement d’imagerie, appliquée à l’agriculture, acquise à partir d’un aéronef sans pilote.

2) Appliquer des indices basés sur l’imagerie visible-proche infrarouge et infrarouge thermique pour la détection de stress dans la culture de la pomme de terre.

3) Développer un outil d’aide à la décision en appui aux méthodes de dépistage actuelles.

4) Evaluer le potentiel des ASP pour le suivi des cultures de pommes de terre.

MÉTHODOLOGIE

CAPTEURS

ADC Lite TetracamVisible proche-Infrarouge : Vert (520 à 600 nm), Rouge (630 à 690 nm) et PIR (760 à 900 nm)Résolution : 3,2 mégapixelsRésolution spatiale : 6 cm à 150 m d’altitude (500 pieds)

TAU 640 FLIRInfrarouge thermique de 7,5 μm à 13,5 μm (format vidéo)Résolution : 0,3 mégapixelsRésolution spatiale : 14 cm à 150 m d’altitude (500 pieds)

MÉTHODOLOGIE

ANNÉE 1

ANNÉE 2

MÉTHODOLOGIE

  Date de volNb de

champsSurface survolée Altitude

Résolution ADC Lite

Résolution TAU 640

Nombre de sites mesurés

Année 1 21-06-2012 1 10 ha 800 pi (250 m) 0,12 m 0,30 m 32

05-07-2012 1 10 ha 800 pi (250 m) 0,12 m 0,30 m 24

13-07-2012 1 10 ha 800 pi (250 m) 0,12 m 0,30 m 33

25-07-2012 1 10 ha 800 pi (250 m) 0,12 m 0,30 m 35

07-08-2012 1 10 ha 800 pi (250 m) 0,12 m 0,30 m 3514-08-2012 1 10 ha 800 pi (250 m) 0,12 m 0,30 m 21

Année 2 18-07-2013 2 8 ha 400 pi (125m) 0,06 m 0,15 m 50

27-07-2013 2 7 ha 400 pi (125m) 0,06 m 0,15 m 90

 01-08-2013 1 15 ha 400 pi (125m) 0,06 m 0,15 m 60

MÉTHODOLOGIE

MÉTHODOLOGIE

MÉTHODOLOGIE

ESTIMATION DES PARAMÈTRES BIOPHYSIQUES

Mesures aléatoires des caractéristiques biophysiques// Indice foliaire (Leaf Area Index)// Teneur en chlorophylle// Température// Poids de la biomasse : humide et sèche// Photographie du quadrat// Point GPS// Poids et calibre des tubercules

Indices Biomasse humide

Biomasse sèche

Température Chlorophylle Luminance LAI

NDVI 0,78 0,32 0,06 0,25 0,14 0,05

MSAVI 2 0,81 0,34 0,06 0,26 0,13 0,04

GNDVI 0,53 0,64 0,12 0,05 0,12 0,00

SAVI 0,78 0,31 0,06 0,25 0,14 0,05

RVI 0,61 0,20 0,06 0,19 0,17 0,04

Coefficients de détermination

ESTIMATION DES PARAMÈTRES BIOPHYSIQUES

ESTIMATION DES PARAMÈTRES BIOPHYSIQUES

PRODUCTION DE CARTES DE DÉPISTAGE

139 sites

60 sites

Prisme Consortium

Membres du projet

Jeu de dépistage

PRODUCTION DE CARTES DE DÉPISTAGEIndices de végétation

Sites d’entrainement

+ =

Classification supervisée par maximum de vraisemblance

Validation

VALIDATION DE LA CLASSIFICATION

Nombre de sites

NDVI GNDVI MSAVI2 SAVI RVI TDVI

Maladie 20 100,00 % 100,00 % 100,00 % 100,00 % 80,00 % 95,00 %

Non-maladie 40 95,00 % 50,00 % 100,00 % 95,00 % 87,50 % 100,00 %

Ravageur 19 100,00 % 94,73 % 5,26 % 100,00 % 100,00 % 84,21 %Non-ravageur 41 68,29 % 46,34 % 9,75 % 53,65 % 51,21 % 95,12 %

Mauvaise croissance

51 58,82 % 90,19 % 80,39 % 74,51 % 60,78 % 72,55 %

Bonne croissance 9 88,88 % 0,00 % 77,77 % 11,11 % 77,77 % 88,88 %

Stress 20 100,00 % 100,00 % 100,00 % 100,00 % 0,00 % 90,00 %

Non-stress 40 82,50 % 50,00 % 95,00 % 70,00 % 55,00 % 97,50 %

VALIDATION DE LA CLASSIFICATION

CONCLUSION

30

- Les résultats confirment que les indices de végétation basés sur les bandes visible/proche-infrarouge constituent de bons estimateurs de paramètres biophysiques tels que la biomasse.

- Dans un contexte de dépistage, ces indices combinés à des indices basés sur l’infrarouge thermique ont permis de détecter la présence ou l’absence de différents stress (maladie, ravageur, problème de croissance) avec exactitude (entre 73 et 100%).

- Une analyse technico-économique a montré que la production de cartes de dépistage par ASP restait la solution la plus coûteuse en comparaison avec l’imagerie aérienne et satellitaire (environ 2,5 à 3 fois plus cher). L’utilisation de l’imagerie reste également très coûteuse en comparaison avec le dépistage traditionnel au sol (environ 40 à 125 fois plus cher par unité de surface).

- Une réduction des coûts de production de ces cartes permettrait une application directe par l’industrie (ex : clubs conseils en agroenvironnement, clubs d’encadrement techniques, conseillers techniques).

- Des recherches supplémentaires permettraient de caractériser l’intensité des stress et d’intégrer des seuils d’intervention aux cartes de dépistage des cultures de PDT. Cette technologie pourrait également être adaptée à d’autres types de culture (ex : maraicher, vigne).

Mozhdeh Shahbazi, Jérôme Théau, Patrick Ménard, Gunho Sohn

On precise three dimensional environment modeling via UAV-based Photogrammetry

• Develop a UAV-based high resolution imaging and mapping system

• Apply photogrammetric and image processing techniques

• Generate precise topographic products

• Applications:

Volume measurement and temporal change detection in an open mine

Research Objectives

Equipment

• Processor

Coremodule920 (Intel Core™ i7 series CPU, 4GB DDR3 SDRAM)

• Cameras

GE4900C (sensor : 0.0074mm, 4872x3248 – lens: Zeiss Distagon T* 2/35)

GT1920C (sensor : 0.00454mm, 1936x1456 – lens: Kowa LM16JCM and LM35JCM)

• INS

MIDG2 Microbotics

Methodology

System development

Camera trigger/ image capture

INS data logger

Time synchronization

Create and join three threads

Time stamp ……………..Image ………………..IMU raw data ……………GPS raw dat …………… INS data…………………….

Integration

35

System developmentCalibration

From consumer-grade cameras to aerial photogrammetric ones!

regular offline calibration stability T-student statistical test on-the-job adjustment with pseudo observations

Platform calibration

Topographic data

• Pre-processing: shadow detection and removal

• Sequential Structure from Motion with fast sparse, feature-based matching and pose estimation via Genetic Algorithm

• Reducing/eliminating needs for ground control points by using dense point clouds of previous images in the sequence

• Extend the previous depth maps by a new dense matching method applied to new frames

• Incremental bundle adjustment to refine/update the information from key frames

Preliminary results

Ortho mosaic

Point cloud

Preliminary results

Pix4D point cloud against VX scanner point cloud (distances in meter)

Preliminary results

Preliminary results

Shadow detection and removal samples

Original Corrected

Défis et opportunités

Les technologies• Évolutions très rapide (impossible en 2007 maintenant courant)• Explosion du nombre de compagnies d’opération et de techno.• Fausses perception de faisabilité (ex: Amazon etc.)

Les plateformes• Choisir la plateforme en fonction de l’application (ex: VTOL vs fixed wing)• Les systèmes intégrés sont plus coûteux, moins exigeants en termes de

pilotage mais moins flexibles concernant les modifications

Défis et opportunités

Les capteurs• Évolutions très rapide (ex: lidar)• Utilisation fréquente de caméras grand public (ex: Sony NEX7)• De plus en plus de capteurs sont miniaturisés mais restent coûteux (et

risqués à utiliser sur un ASP)• Importance de connaître les limitations des capteurs utilisés (ex: rolling

shutter vs global shutter, taux d’acquisition)

Les logiciels• Offre très vaste $ (ex: PIX4D, Photoscan, C3D, Ensomosaic, MicMac).• La portion traitement d’images est souvent négligée mais constitue une

somme de travail considérable (prétraitements géométriques, radiométriques, traitements etc.)

Défis et opportunités

Les applications• Commercialisées dans certains domaines (modélisations 3D, calculs

volumétriques)• Demandent de la standardisations dans d’autres (ex: agriculture)• Le format à livrer au client constitue un élément important (raw vs cartes)

La législation• En constante évolution et souvent un frein à la R&D• Le Canada évolue vers un « assouplissement encadré » de l’usage des ASP

Les opérations• Une préparation minutieuse est essentielle • Une connaissance des paramètres affectant les conditions de vol est primordiale

(météo, luminosité etc.)