Direction de recherche : Lionel LACASSAGNE

Co-encadrement : MEUNIER Quentin

Adéquation algorithme architecture pour flot optique sur GPU embarqué

Depuis deux décennies, les caméras commerciales ont connu d'importantes avancées en termes de qualité d'image et de vidéo, principalement grâce à des progrès technologiques dans divers composants tels que l'optique, le stockage numérique, la stabilisation de l'image, les circuits et les capteurs numériques. C'est le capteur numérique de lumière qui a connu les avancées les plus notables. Pour aller plus loin dans l'amélioration de la qualité des images des caméras, des innovations dans le domaine du traitement d'images et de la vision par ordinateur sont nécessaires.
L'un des blocs algorithmiques majeurs dans le domaine de la vision par ordinateur est l'estimation du mouvement des pixels dans un flux vidéo, encore appelé flot optique. Ce bloc permet d'ajouter des informations temporelles entre les images d'une séquence vidéo et peuvent être notamment utilisées pour stabiliser, débruiter, déflouter ou encore augmenter la résolution. La plupart des algorithmiques d'estimation du flot optique sont très performants en termes de qualité mais leur temps de traitement trop élevé limite leur implémentation temps réel sur des plateformes embarquées.
Les travaux menés dans cette thèse portent sur l'optimisation et l'implémentation efficace d'algorithmes d'estimation du flot optique sur des processeurs graphiques embarqués. Deux algorithmes itératifs ont été étudiés : la méthode d'estimation TV-L1 et la méthode d'estimation de Horn-Schunck. L’objectif est d’obtenir un traitement temps réel (moins de 40 ms par image) sur des plateformes embarquées à faible consommation énergétique, tout en gardant une résolution d'image et une qualité d’estimation du flot acceptable pour les applications visées.
Différentes stratégies d'optimisation ont été explorées. Des transformations algorithmiques de haut niveau, telles que la fusion et le pipeline d'opérateurs, ont été mises en œuvre pour maximiser la réutilisation des données et améliorer la localité spatiale et temporelle. De plus, des optimisations de bas niveau spécifiques aux GPU, notamment l'utilisation d'instructions et de nombres vectoriels, ainsi qu'une gestion efficace de l'accès à la mémoire, ont été intégrées. Enfin, l'impact de la représentation des nombres en virgule flottante (simple précision par rapport à demi-précision) a également été étudié.
Les implémentations ont été évaluées en termes de temps d'exécution, de consommation énergétique et de qualité du flot optique. En plus d'une accélération permettant le traitement temps réel d'images proches de la résolution 4K sur des plateformes embarquées, l'utilisation de nombres en demi-précision permet d'obtenir des résultats de meilleure qualité dans le même laps de temps par rapport à des implémentations en simple-précision.
Ces travaux ont souligné l'importance des optimisations spécifiques aux GPU pour les algorithmes de vision par ordinateur, ainsi que l'utilisation de nombres à virgule flottante de précision réduite. À notre connaissance, ces travaux constituent un premier exemple concret démontrant que la réduction de la précision des nombres flottants peut conduire à des résultats de meilleure qualité.

Publications 2018-2023

• 2023
  • Th. Romera : “Adéquation algorithme architecture pour flot optique sur GPU embarqué”, thèse, soutenance 13/10/2023, direction de recherche Lacassagne, Lionel, co-encadrement : Meunier, Quentin (2023)
  • Th. Romera, A. Petreto, F. Lemaitre, M. Bouyer, Quentin L. Meunier, L. Lacassagne, D. Etiemble : “Optical flow algorithms optimized for speed, energy and accuracy on embedded GPUs”, Journal of Real-Time Image Processing, vol. 20 (2), pp. 32, (Springer Verlag) (2023)
• 2021
  • Th. Romera, A. Petreto, F. Lemaitre, M. Bouyer, Q. Meunier, L. Lacassagne : “Implementations Impact on Iterative Image Processing for Embedded GPU”, European Signal Processing Conference (EUSIPCO), Dublin, Ireland (2021)
• 2020
  • A. Petreto, Th. Romera, F. Lemaitre, M. Bouyer, B. Gaillard, P. Menard, Q. Meunier, L. Lacassagne : “Real-time embedded video denoiser prototype”, 9^th International Symposium - Optronics in Defense and Security (Optro), Paris, France (2020)
• 2019
  • Th. Romera, A. Brière, J. Denoulet : “Dynamically Reconfigurable RF-NoC with Distance-Aware Routing Algorithm”, 14^th International Symposium on Reconfigurable Communication-centric Systems-on-Chip (ReCoSoC 2019), York, United Kingdom (2019)
  • A. Petreto, Th. Romera, F. Lemaitre, I. Masliah, B. Gaillard, M. Bouyer, Q. Meunier, L. Lacassagne : “Débruitage temps réel embarqué pour vidéos fortement bruitées”, COMPAS 2019, Anglet, France (2019)
  • A. Petreto, Th. Romera, I. Masliah, B. Gaillard, M. Bouyer, Q. Meunier, L. Lacassagne, F. Lemaitre : “A New Real-Time Embedded Video Denoising Algorithm”, DASIP 2019 - The Conference on Design and Architectures for Signal and Image Processing, Montréal, Canada (2019)
• 2018
  • A. Petreto, A. Hennequin, Th. Koehler, Th. Romera, Y. Fargeix, B. Gaillard, M. Bouyer, Q. Meunier, L. Lacassagne : “Energy and Execution Time Comparison of Optical Flow Algorithms on SIMD and GPU Architectures”, Conference on Design and Architectures for Signal and Image Processing (Dasip 2018), Porto, Portugal (2018)
  • N. Rambaux, D. Galayko, G. Guignan, J. Vaubaillon, L. Lacassagne, Ph. Keckhut, A. Levasseur‑Regourd, A. Hauchecorne, M. Birlan, G. Augarde, S. Barnier, S. Ben Kemmoum, A. Bigot, P. Boisse, M. Capderou, A. Chu, F. Colas, F. DESHOURS, Y. Fargeix, A. Hennequin, Th. Koehler, M. Lumbroso, J.‑F. Mariscal, D. Portela‑Moreira, J. Raffard, J.‑L. Rault, Th. Romera, C. Tob, B. Zanda : “METEORIX: a cubesat mission dedicated to the detection of meteors”, COSPAR 2018, 42^nd Assembly, Pasadena, United States (2018)
  • A. Petreto, A. Hennequin, Th. Koehler, Th. Romera, Y. Fargeix, B. Gaillard, M. Bouyer, Q. Meunier, L. Lacassagne : “Comparaison de la consommation énergétique et du temps d’exécution d’un algorithme de traitement d’images optimisé sur des architectures SIMD et GPU”, Conférence d’informatique en Parallélisme, Architecture et Système (COMPAS 2018), Toulouse, France (2018)
  • A. Petreto, A. Hennequin, Th. Koehler, Th. Romera, Y. Fargeix, B. Gaillard, M. Bouyer, Q. Meunier, L. Lacassagne : “Comparaison de la consommation énergétique et du temps d’exécution d’un algorithme de traitement d’images optimisé sur des architectures SIMD et GPU”, GdR SOC2, Paris, France (2018)
  • A. Brière, Th. Romera, J. Denoulet : “Modélisation et évaluation d’une architecture many-coeurs basée sur un réseau sur puce RF”, 13^e colloque du GDR SOC-SIP du CNRS, Paris, France (2018)