Learning to play Minecraft with Video PreTraining
Cette recherche marque un pas significatif vers des IA capables d'opérer des ordinateurs comme des humains.
Pourquoi c'est important
Cette avancée est cruciale car elle démontre une méthode efficace pour entraîner des agents IA à interagir avec des environnements complexes via des interfaces humaines standard, ouvrant la voie à des agents capables d'utiliser des ordinateurs de manière plus autonome et générale.
Resume
Ce projet a développé un modèle capable de maîtriser des tâches complexes dans Minecraft, telles que la fabrication d'outils en diamant, en s'appuyant principalement sur le pré-entraînement vidéo à partir de données de jeu humain non étiquetées. L'approche utilise une interface homme-machine naturelle (clavier et souris), ce qui le rend potentiellement applicable à d'autres agents informatiques généraux.
Impact concret
Le modèle peut déjà accomplir des tâches complexes et chronophages comme la fabrication d'outils en diamant dans Minecraft, ce qui représente 24 000 actions et prend plus de 20 minutes à un humain expérimenté.
Applications concrètes
L'entraînement d'agents IA pour l'automatisation de tâches répétitives dans des environnements logiciels complexes, ou pour l'assistance à l'apprentissage de jeux vidéo complexes.
Texte source original
We trained a neural network to play Minecraft by Video PreTraining (VPT) on a massive unlabeled video dataset of human Minecraft play, while using only a small amount of labeled contractor data. With fine-tuning, our model can learn to craft diamond tools, a task that usually takes proficient humans over 20 minutes (24,000 actions). Our model uses the native human interface of keypresses and mouse movements, making it quite general, and represents a step towards general computer-using agents.