Le traitement photoréaliste se fait à partir de vidéos prises en conditions réelles . Pour chaque image , le moteur de rendu projette chaque pixel dans un nuage de points en 3D . Puis , il place un véhicule virtuel à l'intérieur de ce monde . À chaque mouvement du véhicule , le moteur synthétise une nouvelle trajectoire à travers le nuage de points en prenant en compte la distance et le mouvement de tous les objets de la scène grâce à réseau neuronal convolutif qui va gérer les informations relatives à la profondeur de champ . Enfin , le logiciel utilise cette nouvelle trajectoire pour générer une scène photoréaliste . Cette vidéo détaille les trois étapes de la formation d'une IA conductrice : la simulation , l'entraînement et le déploiement sur route . MIT CSAIL Le principe général de ce simulateur revient à donner l'instruction à l'IA conductrice qu'elle peut évoluer comme bon lui semble dans cet environnement virtuel en respectant deux principes de base : ne pas entrer collision avec d'autres véhicules et rester dans les voies de circulation . À partir de là , elle se « débrouille » , pour ainsi dire . Au début de sa formation , cette dernière n'a aucune notion de la conduite automobile et elle est avertie seulement quand sa manœuvre entraîne un accident . Vista a recours à l'apprentissage par renforcement ( reinforcement learning ) pour signaler à l'IA les erreurs qu'elle commet afin qu'elle se corrige d'elle-même . À chaque incident , le simulateur change d'environnement de conduite afin de pousser l'IA à améliorer ses manœuvres . Au bout de 10 . 000 km de ce type de simulation , l'IA a été injectée dans le système d'une vraie afin de tester ses capacités en conditions réelles . Le véhicule s'est montré capable de naviguer dans un environnement dont il n'avait aucune connaissance préalable . Selon les chercheurs du MIT , c'est la première fois qu'une IA , formée à 100 % par reinforcement learning et uniquement dans un environnement virtuel , est ainsi déployée sur le terrain .