Petit glossaire de l’ia générative

La définition de l’intelligence artificielle ne fait pas consensus aujourd’hui. Nous pouvons néanmoins donner une définition simple : faire faire à un ordinateur des fonctions typiques de la cognition. Pour atteindre cet objectif, différents modèles d’IA peuvent être utilisés, comme : 

• Les systèmes de génération : Ces systèmes dits d’IA générative permettent de générer des contenus de diverses formes : textes, images, vidéos, audios ou encore lignes de code. 
• Les systèmes de reconnaissance : Ces systèmes identifient et classifient l’ensemble des données qu’on leur soumet. Ils permettent de reconnaître une image, un visage, un son, un mot, la langue d’un texte… De tels systèmes augmentent les fonctionnalités des applications de nos smartphones, moteurs de recherche ou logiciels pour réseaux sociaux. 
• Les systèmes de prédiction : Ces systèmes permettent de prédire des événements ou comportements futurs, comme les prévisions météo. Ils sont par exemple très utilisés sur les réseaux sociaux et sites de vente en ligne, pour cibler les publicités en fonction des utilisateurs.

Un algorithme est une suite d’étapes permettant d’obtenir un résultat à partir d’informations fournies en entrée de jeu. 

Unités internes apprises par le modèle durant son entraînement. Chaque paramètre ajuste la façon dont le modèle « comprend » et génère du contenu. Ils sont exprimés en milliards (B pour billions). Plus un modèle en contient, plus il peut traiter d’informations complexes. 

Unité de texte utilisée par le modèle, qui peut être un mot, une syllabe, une ponctuation, ou même un fragment de mot. Leur découpage dépend de l’algorithme de tokenisation spécifique à chaque modèle.

Ensemble de données utilisées pour entraîner un modèle. La qualité, la diversité et l’équilibre du corpus influencent directement ses capacités, ses performances et ses biais. Un corpus biaisé peut induire des réponses inexactes ou stéréotypées.

Phase où le modèle apprend en analysant un large corpus pour ajuster ses paramètres : 

• Pré-entraînement : D’abord, l’algorithme est nourri par des données brutes puis les organise et les rassemble en fonction de leurs similarités.
• Entraînement supervisé : L’algorithme est nourri par des données étiquetées par les humains, c’est-à-dire associant une donnée d’entrée à la sortie attendue ; l’algorithme va apprendre ces associations. Vient ensuite la phase de reconnaissance ou de prédiction où l’algorithme reçoit une donnée d’entrée et propose la réponse correspondante. Il est même capable de généralisation, c’est-à-dire de donner un résultat sur une donnée qu’il n’a jamais vue lors de l’apprentissage. 
• RLHF (Reinforcement Learning from Human Feedback) : L’algorithme reçoit des données qui décrivent son environnement mais aussi des renforcements qui lui indiquent si certains de ces résultats sont punis ou récompensés. Il va apprendre à maximiser ses récompenses et minimiser ses punitions en mettant des valeurs sur les états de l’environnement et sur ses actions pour s’y déplacer.

Certains algorithmes sont évolutifs, leur comportement évolue dans le temps en fonction des données fournies. On dit qu’ils sont « apprenants » : c’est le cas pour les systèmes d’IA numérique, basés sur les données. Les systèmes sont entraînés par apprentissage, à partir de  grandes quantités de données fournies au système. La machine apprend en autonomie, en observant les erreurs et par essais successifs en ajustant les paramètres pour réduire les erreurs.

Paramètre qui contrôle le niveau d’aléatoire dans la génération de texte : 

• Température basse (ex. : 0.2) : réponses plus prévisibles, logiques.
• Température haute (ex. : 0.8) : résultats plus créatifs, parfois incohérents.

Le deep learning est une méthode de machine learning de type apprentissage supervisé, qui s’appuie sur des réseaux de neurones artificiels, c’est-à-dire des constructions mathématiques qui imitent grossièrement les neurones humains.

Entraînement complémentaire ciblé, souvent sur un volume de données plus restreint. Il permet d’adapter un modèle généraliste à un domaine spécifique (ex. : juridique, médical) tout en conservant ses connaissances générales ou d’ajuster sa manière de répondre.

Modèle dont l’ensemble des composants (poids, code, données, méthodes d’entraînement…) est accessible, ce qui permet de l’analyser, le modifier ou le réentraîner.

Modèle dont les poids sont disponibles (souvent sous licence), permettant un usage local ou modifié, mais sans accès complet aux données ou méthodes d’entraînement. Exemples : Gemma, Llama, Mistral Small.

Modèle dont les poids et détails techniques ne sont pas accessibles. On l’utilise via une interface (site, API) sans savoir comment il fonctionne. Exemples : GPT-4o, Gemini, Claude.

Type de modèles qui passent par une étape de « réflexion » avant de donner la réponse définitive. Cela leur permet de donner de meilleures réponses dans certains domaines comme les mathématiques ou le code.

Modèles capables de traiter plusieurs types de données comme par exemple texte, image, audio, vidéo… Chaque modalité passe par un encodeur spécifique qui convertit les données en un format exploitable par le modèle. Exemples : GPT-4o, Gemini, Gemma 3n.

Phase d’utilisation du modèle déjà entraîné. Il génère une réponse à partir d’une requête (prompt) en mobilisant ses connaissances.

Instruction (question, consigne…) donnée au modèle pour générer une réponse. Plus il est précis (objectif, contexte, format…), plus le résultat est pertinent.

Réponse fausse ou inventée, générée de manière convaincante par le modèle. Ce phénomène est dû à la manière dont le modèle apprend à maximiser la vraisemblance, même en l’absence de données fiables.

Processeurs spécialisés permettant de réaliser des calculs mathématiques complexes rapidement. Ils sont essentiels à l’entraînement des modèles d’IA. Ils accélèrent significativement le traitement des calculs par rapport à d’autres puces comme les CPU qui sont les microprocesseurs les plus courants dans le matériel informatique.

Infrastructure physique regroupant des milliers de serveurs. Ils hébergent, entraînent et exécutent les modèles d’IA. Leur refroidissement, nécessaire pour éviter la surchauffe, constitue une source majeure de consommation énergétique.