La miniaturisation croissante des circuits intégrés et des technologies de capteurs a permis l’émergence de nombreux objets instrumentés portés sur soi, communément appelés wearables. Ces objets intègrent aujourd’hui divers capteurs qui collectent des données intrinsèques et extrinsèques relatives à leurs porteurs.
Le traitement de ces données permet de fournir des informations contextuelles, telles que l’activité ou la localisation du porteur. Dans le cas de données complexes, notamment celles issues de conditions de vie réelles, les modèles d’apprentissage profond constituent aujourd’hui une approche particulièrement prometteuse pour leur traitement. Néanmoins, l’intégration de ces modèles au sein d’un wearable exige à la fois une puissance de calcul et un espace mémoire conséquents, ce qui demeure difficilement compatible avec les contraintes matérielles de ce dernier. En effet, destinés à un usage quotidien, les wearables disposent d’un espace réduit pour l’électronique de calcul et la source énergétique, ce qui impose le recours à des unités de traitement aux ressources matérielles fortement limitées, de type microcontrôleur à très faible consommation énergétique.
C’est dans cette perspective que s’inscrit ce travail de thèse, dont l’objectif principal est de proposer des approches algorithmiques fondées sur des modèles d’apprentissage profond, pour détecter les contextes intrinsèques et extrinsèques associés à un porteur d’une monture de lunettes instrumentée. Pour ce faire, nous avons d’abord proposé une approche reposant sur un apprentissage profond, multimodal et multitâche, dont le but est de répondre à deux motivations principales. La première consiste à contourner les contraintes matérielles liées à l’exécution simultanée de plusieurs modèles d’inférence sur une même cible matérielle aux ressources fortement limitées.
La seconde vise à améliorer la capacité de généralisation du modèle en exploitant les relations entre différentes tâches de contexte. Afin d’évaluer et de valider cette approche, nous avons constitué au cours de la thèse une base de données expérimentale, recueillie dans des conditions de vie réelles. L’approche proposée a ensuite été mise en œuvre à l’aide de cette base, en exploitant simultanément des données audios, d’accélération et d’éclairement lumineux comme sources principales. L’ajout d’une modalité visuelle a également été réalisé afin d’en mesurer l’impact. Les résultats obtenus ont confirmé la pertinence de notre proposition par rapport à la majorité des candidats monotâches, élaborés selon diverses stratégies de fusion de données.
Dans un second temps, nous avons proposé une deuxième approche, consistant à réentrainer en continu, sur un microcontrôleur aux ressources matérielles fortement limitées, le modèle multimodal multitâche précédemment introduit, à l’aide de données issues de porteurs inconnus. Cette approche a été validée par un protocole expérimental reproduisant un scénario de terrain réaliste, représentatif de l’expérience vécue par les porteurs durant leur période de port. Afin d’optimiser davantage les performances de notre modèle, nous avons ensuite introduit une méthode de compression des données d’entrainement à la volée, permettant leur stockage dans la mémoire interne de nos cibles.
Enfin, une intégration matérielle de l’ensemble de ces propositions a été réalisée, confirmant leur efficacité dans un environnement soumis à des contraintes mémoire et énergétiques strictes.