Nos marques
Technique · Architecture

Transformer

Le Transformer est l'architecture de réseau de neurones à l'origine des grands modèles de langage modernes.

Le Transformer est une architecture de deep learning introduite en 2017. Son innovation clé, le mécanisme d'attention, permet au modèle de pondérer l'importance de chaque mot par rapport aux autres.

Cette capacité à saisir les dépendances à longue distance dans un texte a rendu possibles les LLM tels que GPT ou Claude.

Le Transformer est aujourd'hui la fondation de la quasi-totalité des modèles de langage de pointe.

Envie de passer de la théorie à la pratique ?

Nos experts déploient ces concepts dans des solutions concrètes pour votre entreprise.