Mistral AI : Une seule caméra pour des robots autonomes et économiques ?

L'industrie de la robotique se tourne de plus en plus vers l'intelligence artificielle et la vision par ordinateur pour simplifier les systèmes de capteurs et réduire le coût des unités robotiques. C'est exactement le pari de Mistral AI avec son modèle Robostral Navigate, conçu pour permettre aux robots de naviguer de manière autonome dans des environnements complexes en utilisant une seule caméra RGB.

Ce modèle, qui compte 8 milliards de paramètres, peut gérer des environnements inconnus sans avoir besoin de capteurs LiDAR ou de caméras de profondeur. Cela ouvre la voie à de nombreuses applications, des usines et entrepôts aux hôtels et magasins de détail.

Robostral Navigate a atteint un taux de succès de 76,6 % dans des environnements inconnus selon le critère Room-to-Room in Continuous Environments (R2R-CE), surpassant la meilleure approche précédente basée sur une seule caméra de 9,7 points de pourcentage.

Le modèle a même dépassé les meilleurs systèmes utilisant des capteurs de profondeur ou plusieurs caméras de 4,5 points de pourcentage, et ce, malgré l'utilisation de moins de données visuelles.

Comment le robot voit-il son chemin ?

Robostral Navigate combine des instructions écrites en langage naturel avec l'image capturée par la caméra du robot. Il analyse ensuite ces informations pour déterminer l'emplacement de la cible et la direction dans laquelle le robot doit se déplacer.

Le modèle prédit les coordonnées de la cible dans l'image et la direction nécessaire pour l'atteindre, permettant au robot de prendre des décisions de mouvement basées sur les informations visuelles disponibles.

Dans les cas où la cible est hors du champ de vision de la caméra, le modèle passe à l'utilisation de décalages dans le système de coordonnées local du robot. Cela permet de continuer le mouvement sans avoir à interrompre la tâche et attendre que la cible apparaisse dans le champ de vision.

Le mécanisme de navigation est basé sur la détection de points, ce qui donne au modèle une plus grande flexibilité pour gérer différentes tailles de robots et spécifications de caméras.

Ainsi, un seul modèle peut être utilisé avec différents robots sans qu'il soit nécessaire de le réentraîner pour chaque nouvelle conception ou spécification matérielle.

Des millions de parcours pour entraîner le robot

Mistral AI a développé ce modèle entièrement en interne et l'a entraîné en utilisant des données générées par simulation, plutôt que de se fier uniquement aux données de mouvement du monde réel.

L'entreprise a créé environ 2,4 millions de parcours à travers 350 000 environnements virtuels, dans le but d'entraîner le modèle à gérer un large éventail de scénarios, d'obstacles et d'espaces.

Mistral AI a utilisé une méthode d'entraînement basée sur le « Prefix-Caching » combinée au « Tree-Based Attention Masking », ce qui a réduit le nombre de jetons d'entraînement nécessaires d'environ 22 fois par rapport à un entraînement séparé pour chaque pas de temps.

L'entreprise affirme que cette méthodologie a permis de réduire la durée des opérations d'entraînement qui auraient pu prendre plusieurs mois à des opérations réalisables en quelques jours.

Apprendre de ses erreurs

Après la phase d'entraînement supervisé, Mistral AI est passée à l'utilisation de l'algorithme CISPO pour l'apprentissage par renforcement en ligne.

Cette approche vise à améliorer la capacité du modèle à apprendre des tentatives et des erreurs, et à gérer les échecs lors de l'exécution des tâches de navigation.

La phase d'apprentissage par renforcement à elle seule a permis d'augmenter le taux de succès de 3,2 points de pourcentage.

Dans le même temps, Mistral AI indique que les expériences actuelles n'ont pas encore atteint un stade de stabilité complète des performances, ce qui signifie que le modèle a encore une marge d'amélioration avec la poursuite de l'entraînement et des tests.

Des performances qui dépassent les systèmes multi-capteurs

Sur le critère R2R-CE, Robostral Navigate a enregistré un taux de succès de 79,4 % dans les environnements rencontrés pendant l'entraînement, contre 76,6 % dans les environnements inconnus.

Ce résultat dépasse le meilleur système précédent basé sur une seule caméra de 9,7 points de pourcentage, et le modèle surpasse également les meilleurs systèmes utilisant des capteurs de profondeur ou plusieurs caméras de 4,5 points de pourcentage.

Ces résultats sont particulièrement importants car le modèle les obtient en s'appuyant sur une seule caméra RGB, alors que de nombreux systèmes de navigation robotique utilisent un ensemble plus large de capteurs pour obtenir des informations plus détaillées sur l'environnement.

Des usines aux hôtels

Mistral AI a conçu Robostral Navigate pour fonctionner dans une large gamme d'environnements, y compris les bureaux, les maisons, les bâtiments commerciaux, les usines, les entrepôts et les espaces extérieurs.

Cette technologie peut être utilisée pour la navigation autonome dans les usines et les entrepôts, la livraison de commandes à l'intérieur des bâtiments, les opérations logistiques, ainsi que des applications dans les hôtels, le secteur de l'hôtellerie et les magasins de détail.

L'entreprise a également démontré la capacité du modèle à exécuter des tâches complètes de manière autonome dans des espaces réels comprenant des personnes et des obstacles que le modèle n'avait pas vus pendant la phase d'entraînement.

Cette capacité est un facteur important pour les applications commerciales, car les robots opérant dans des environnements réels ne se déplacent pas dans des espaces fixes et connus à l'avance, mais sont constamment confrontés à des changements dans l'emplacement des personnes, des obstacles, des meubles et des itinéraires de mouvement.

Le coût des robots va-t-il baisser ?

L'importance de Robostral Navigate ne se limite pas à l'amélioration des performances de navigation. Mistral AI parie également sur la possibilité de réduire le coût d'équipement des robots avec des systèmes de capteurs avancés.

Les systèmes traditionnels peuvent s'appuyer sur le LiDAR, plusieurs caméras ou des capteurs de profondeur pour obtenir des informations précises sur l'environnement, des composants qui peuvent ajouter des milliers de dollars au coût d'une seule unité.

L'utilisation d'une caméra RGB ordinaire peut réduire les exigences matérielles nécessaires pour équiper le robot, et ainsi abaisser la barrière des coûts pour un déploiement plus large des robots intelligents.

Ce facteur devient encore plus important dans les secteurs qui nécessitent l'exploitation d'un grand nombre d'unités, tels que les entrepôts, les services logistiques, les usines et la livraison.

La prolifération des robots intelligents

Avec Robostral Navigate, Mistral AI vise à soutenir les applications robotiques dans la fabrication, la livraison, la logistique et l'hôtellerie, en rendant le modèle disponible pour le déploiement via les canaux de vente de l'entreprise pour les clients professionnels.

Le modèle reflète une tendance à rendre l'intelligence artificielle plus dépendante de la vision et des caméras déjà disponibles, plutôt que de lier les capacités du robot à la nécessité de posséder un système de capteurs coûteux.

Si cette technologie parvient à maintenir ses niveaux de performance actuels avec un développement continu, la combinaison d'une seule caméra et d'une intelligence artificielle avancée pourrait devenir l'une des voies pour réduire le coût des robots et accélérer leur diffusion dans les usages commerciaux et industriels.