Réponses LLM en flux : progression, annulation et erreurs honnêtes

Ce que le flux change

Après un clic, un écran vide ne dit pas si la demande est partie. Le flux permet de lire du texte avant la réponse complète. Il ne garantit pas une faible latence : démarrage du modèle, réseau et relais peuvent retarder les premières données. Mesurez séparément le premier texte utile et la fin de la réponse. Un fragment réseau ne correspond pas nécessairement à un jeton du modèle ni à un événement complet.

Relais et protocole

Dans cette architecture, la clé API permanente reste sur le serveur. Le navigateur appelle votre relais, qui contrôle utilisateur et limites puis appelle le fournisseur. Ne placez pas ce secret dans le code public. ReadableStream et getReader permettent de consommer le corps de fetch. Préservez les séquences UTF-8 avec TextDecoder et assemblez les événements SSE selon le protocole. Un appel read peut contenir une partie de message ou plusieurs événements; ce n’est pas une frontière applicative fiable.

Arrêter proprement

AbortController annule fetch, mais fermer la connexion du navigateur ne prouve pas que le fournisseur a arrêté le calcul ou la facturation. Propagez le signal quand le système le permet et vérifiez le comportement distant. Distinguez annulation, panne et fin normale. Pour un document JSON unique, attendez une fin de protocole réussie avant analyse et validation du schéma. Une déconnexion n’est pas une fin réussie. Un protocole conçu par événements peut traiter chaque événement complet séparément.

Conservation et essai

Ne sauvegardez pas automatiquement un texte partiel confidentiel. Définissez session, accès et expiration. Demandez à l’agent un diff et le traitement des erreurs. Avec des données synthétiques, ralentissez le réseau, interrompez la connexion, appuyez sur Stop et coupez un caractère multioctet entre fragments. Vérifiez le double clic, le retour dans l’onglet et le travail distant après annulation. Ce sont des essais proposés, pas les résultats d’un déploiement testé.

Sources

• https://wurk.fun/blog/stream-llm-responses-so-your-app-doesn-t-look-frozen
• https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events
• https://developer.mozilla.org/en-US/docs/Web/API/Streams_API/Using_readable_streams
• https://developer.mozilla.org/en-US/docs/Web/API/AbortController
• https://wurk.fun/blog/get-json-you-can-trust-from-an-llm-schema-validate-retry