Jour 17/42 : Pourquoi l’IA paraît lente

Jour 17/42 : Qu’est-ce que la latence ?

Hier, nous avons expliqué l’inférence.

Aujourd’hui, parlons de l’attente.

La latence est le délai entre votre question et la réponse complète.

Elle a deux composantes :

le temps jusqu’au premier token : quand le texte commence à apparaître

le temps entre les tokens : la vitesse à laquelle la réponse s’enchaîne

Les modèles rapides semblent plus intelligents.

Les modèles lents paraissent cassés, même quand ils ont raison.

C’est pourquoi la vitesse compte autant que la qualité dans les vrais produits.

Vous avez manqué le Jour 16 ? Commencez par là.

Demain, nous allons contrôler le hasard : la température.

Je suis Louis-François, ancien doctorant, aujourd’hui CTO et cofondateur de Towards AI. Suivez-moi pour le récapitulatif quotidien, clair et sans détour, sur l’IA 🚀

#Latence #LLM #IAExpliquee #short

Видео Jour 17/42 : Pourquoi l’IA paraît lente канала Parlons IA avec Louis-François Bouchard