Meta présente DINOv3 : un modèle de vision auto-supervisé avancé pour une analyse visuelle évolutive et de haute précision

Division de recherche de la société technologique Meta, qui développe des technologies d'IA et de réalité augmentée, Méta IA a présenté DINOv3, un modèle de vision par ordinateur généraliste de pointe, entraîné par apprentissage auto-supervisé (SSL) pour générer des caractéristiques visuelles de haute qualité. Pour la première fois, un modèle de vision figée unique surpasse les modèles spécialisés sur plusieurs tâches de prédiction dense établies, notamment la détection d'objets et la segmentation sémantique.

DINOv3 atteint ces performances grâce à des méthodes SSL avancées qui éliminent le besoin de données étiquetées, réduisant ainsi le temps d'apprentissage et les besoins en ressources, tout en permettant au modèle d'évoluer jusqu'à 1.7 milliard d'images et 7 milliards de paramètres. Cette approche sans étiquetage rend le modèle adapté aux applications où les annotations sont limitées, coûteuses ou indisponibles. Par exemple, les backbones DINOv3 pré-entraînés sur des images satellite ont démontré d'excellents résultats sur des tâches en aval telles que l'estimation de la hauteur de la canopée.

Le modèle devrait améliorer les applications actuelles et permettre de nouvelles applications dans des secteurs tels que la santé, la surveillance de l'environnement, les véhicules autonomes, la vente au détail et la fabrication, offrant une précision et une efficacité améliorées dans la compréhension visuelle à grande échelle.

DINOv3 est publié avec un ensemble complet de backbones open source sous licence commerciale, dont un backbone satellitaire entraîné sur l'imagerie MAXAR. Un sous-ensemble de têtes d'évaluation en aval est également partagé pour permettre aux chercheurs de reproduire et d'étendre les résultats. Des exemples de notebooks et une documentation détaillée sont fournis pour aider la communauté à commencer à travailler avec DINOv3 immédiatement.

DINOV3 : Débloquer des applications à fort impact grâce à l'apprentissage auto-supervisé

D’après Méta IA DINOv3 représente une avancée notable dans l'apprentissage auto-supervisé (SSL), démontrant pour la première fois que les modèles SSL peuvent surpasser les performances des modèles faiblement supervisés sur un large éventail de tâches. Alors que les versions précédentes de DINO obtenaient d'excellents résultats dans des tâches de prédiction dense comme la segmentation et l'estimation de profondeur monoculaire, DINOv3 s'appuie sur ces bases et atteint des niveaux de performance encore plus élevés.

DINOv3 améliore l'algorithme DINO original en supprimant la saisie de métadonnées et en utilisant moins de calculs d'entraînement que les approches précédentes, tout en produisant des modèles de vision haute performance. Les améliorations apportées à DINOv3 permettent d'obtenir des résultats de pointe pour des tâches en aval telles que la détection d'objets, même lorsque les pondérations des modèles restent figées. Cela élimine la nécessité d'affiner les réglages spécifiques à chaque tâche et permet une application plus polyvalente et plus efficace.

Comme la méthodologie DINO n'est liée à aucun type d'image particulier, elle peut être appliquée à divers domaines où l'étiquetage est coûteux ou peu pratique. Les versions précédentes, comme DINOv2, ont exploité de grandes quantités de données non étiquetées pour des applications médicales, notamment l'histologie, l'endoscopie et l'imagerie. Pour l'imagerie satellitaire et aérienne, où le volume et la complexité des données rendent l'étiquetage manuel impossible, DINOv3 permet d'entraîner un modèle de base unique applicable à plusieurs sources satellitaires, prenant en charge des cas d'utilisation plus larges dans la surveillance environnementale, l'urbanisme et la réponse aux catastrophes.

DINOv3 démontre déjà un impact concret. Le World Resources Institute (WRI) utilise ce modèle pour surveiller la déforestation et orienter les efforts de restauration, permettant ainsi aux groupes locaux de mieux protéger les écosystèmes. En analysant les images satellites pour détecter la perte d'arbres et les changements d'affectation des terres, DINOv3 améliore la précision de la vérification des financements climatiques, réduisant ainsi les coûts de transaction et accélérant le financement de petits projets locaux. Par exemple, l'utilisation de DINOv3, entraîné sur des images satellites et aériennes, a permis de réduire l'erreur moyenne de mesure de la hauteur de la canopée des arbres dans une région du Kenya de 4.1 mètres à 1.2 mètre, permettant ainsi au WRI d'intensifier plus efficacement son soutien à des milliers d'agriculteurs et à des initiatives de conservation.