Recurrent Neural Networks & Long Short-Term Memory

Une intervention d'Andrej Karpathy, alors chercheur chez OpenAI, sur le fonctionnement des réseaux de neurones récurrents et des cellules LSTM.

Dans cet exposé, Andrej Karpathy détaille le fonctionnement des réseaux de neurones récurrents (RNN) et des cellules à mémoire court terme et long terme (LSTM), des architectures qui ont longtemps dominé le traitement de séquences avant l'essor des Transformers.

La présentation reste une référence pour comprendre les limites de mémoire et de parallélisation qui ont motivé l'émergence des architectures utilisées aujourd'hui dans les grands modèles de langage.