Meta AI lance le modèle de monde prédictif d'intégration conjointe pour la planification physique JEPA-WMs

Nouvelles de ME : annonce, le 3 avril (UTC+8). L’équipe de recherche Meta AI a publié les modèles de prédiction de monde JEPA-WMs et leurs recherches associées, pour la planification physique. Cette étude examine les facteurs clés du succès du modèle et fournit une implémentation complète en PyTorch, des jeux de données et des modèles préentraînés. Les modèles publiés incluent le cœur de JEPA-WM ainsi que des modèles servant de référence, DINO-WM et V-JEPA-2-AC (fixed). Ils couvrent plusieurs environnements d’opérations robotiques et de navigation, tels que DROID & RoboCasa, Metaworld, Push-T, PointMaze et Wall. Le modèle utilise des encodeurs visuels comme DINOv3 ViT-L/16, DINOv2 ViT-S/14 et V-JEPA-2 ViT-G/16. La résolution d’entrée des images est principalement de 224×224 ou 256×256. Le projet fournit également une tête de décodeur VM2M optionnelle pour la visualisation et le décodage de trajectoire, mais souligne que ce décodeur n’est pas nécessaire pour entraîner un modèle de monde ou effectuer des évaluations de planification. Toutes les ressources ont été rendues publiques sur GitHub, Hugging Face et arXiv. (Source : InFoQ)