Few-shot learning, a data-centric approach for adaptation
Approches centrées sur les données pour l’apprentissage parcimonieux
Résumé
This thesis presents three key contributions aimed at advancing Few-Shot Learning (FSL) through improved model robustness, accurate performance assessment, and task-specific adaptation. First, we explore methods for building robust feature extractors by incorporating simple ingredients, achieving state-of-the-art performance in in-domain classification tasks. Next, we address the need for reliable evaluations of FSL methods by showing that the predominent evaluation protocol is misleading in that it does not account for the randomness of the data, leading to conclusions that may be dataset specific. We propose evaluation techniques that account for this randomness, demonstrating that claims of superiority between methods can change under these considerations. Lastly, we introduce a data-centric approach that enhances cross-domain task adaptation by selectively forgetting portions of the pretraining dataset, reallocating feature space to improve generalization. Together, these contributions provide comprehensive insights for developing robust, adaptable FSL models.
Cette thèse présente trois contributions principales visant à faire progresser l’apprentissage par peu d’exemples (ou parcimonieux) (Few-Shot Learning, FSL) en améliorant la robustesse des modèles, l’évaluation précise des performances, et l’adaptation spécifique aux tâches. Tout d’abord, nous explorons des méthodes pour construire des extracteurs de caractéristiques robustes en intégrant des ingrédients simples, ce qui permet d’atteindre des performances à l’état de l’art dans des tâches de classification en domaine. Ensuite, nous abordons la nécessité d’évaluations fiables des méthodes FSL en mettant l’accent sur les intervalles de confiance, révélant que les approches d’évaluation prédominantes négligent souvent l’aléa des données, entraînant des conclusions spécifiques à certains jeux de données. Nous proposons des techniques d’évaluation qui tiennent compte de cette variabilité, démontrant que les revendications de supériorité entre méthodes peuvent changer en conséquence voire s’inverser. Enfin, nous introduisons une approche centrée sur les données, améliorant l’adaptation aux tâches inter-domaines en oubliant sélectivement certaines portions du jeu de données de pré-entraînement, ce qui permet de réallouer l’espace des caractéristiques pour améliorer la généralisation. Ensemble, ces contributions offrent des perspectives complètes pour le développement de modèles FSL robustes et adaptatifs.
Origine | Version validée par le jury (STAR) |
---|