" Les résultats expérimentaux montrent que notre système SCM permet aux LLM , qui ne sont pas optimisés pour le dialogue multi-tour , d'atteindre des capacités de dialogue multi-tour comparables à ChatGPT " , écrivent-ils . Les travaux de Microsoft et de TikTok peuvent être considérés comme une extension de l'objectif initial des modèles de langage . Avant ChatGPT et son prédécesseur , Transformer de Google , les tâches liées au langage naturel étaient souvent effectuées par ce que l'on appelle des réseaux neuronaux récurrents ( RNN ) . Un réseau neuronal récurrent est un type d'algorithme qui peut revenir sur des données d'entrée antérieures afin de les comparer à l'entrée actuelle . Le Transformer et les LLM tels que ChatGPT ont remplacé les RNN par une approche plus simple : l'attention . L'attention compare automatiquement tout ce qui est tapé à tout ce qui a été tapé auparavant , de sorte que le passé est toujours pris en compte . Les travaux de recherche de Microsoft et de TikTok étendent donc simplement l'attention avec des algorithmes explicitement conçus pour rappeler des éléments du passé de manière plus organisée . L'ajout de la mémoire est un ajustement tellement élémentaire qu'il est susceptible de devenir un aspect standard des LLM à l'avenir , ce qui rendra beaucoup plus courant le fait que les programmes soient capables d'établir des connexions avec des éléments passés , tels que l'historique des chats , ou d'aborder l'ensemble du texte de très longues œuvres . " ZDNet . com " NordPass : la solution pour ne plus s'embêter avec les mots de passe Testeurs-pro : expérimentez le stockage haute densité du Synology HD6500 ! Protégez votre messagerie et bénéficiez de 3 mois offerts Stockage Objet : où en est-on ? Découvrez notre dossier Optimisez le potentiel de vos équipes pour le travail hybride Voir le livre blanc Nous accompagnons les PME dans leur développement IT . Nous partageons avec vous nos témoignages clients , webinars , livres blancs . 5 dossiers IT à découvrir chaque mois Télétravail , infrastructure , astuces , innovations .