بث ردود LLM: تقدم واضح وإلغاء وأخطاء صادقة

ما الذي يتغير؟

بعد الضغط على زر الإرسال لا توضح المساحة الفارغة إن كان الطلب يعمل. يتيح البث قراءة بعض النص قبل اكتمال الرد، لكنه لا يضمن زمنا قصيرا. بدء النموذج والشبكة والتخزين المؤقت في الوسيط قد تؤخر البيانات الأولى. قس وقت أول نص مفيد ووقت الاكتمال كل واحد على حدة. قطعة الشبكة ليست بالضرورة رمزا من النموذج أو حدثا كاملا.

الخادم والبروتوكول

في هذا التصميم يبقى مفتاح API الدائم على الخادم. يتصل المتصفح بخادمك الذي يتحقق من المستخدم والحدود ثم يتصل بالمزود. لا تضع السر في الشفرة العامة. يسمح ReadableStream وgetReader بقراءة أجزاء fetch. يجب أن يحافظ TextDecoder على UTF-8 عند حدود الأجزاء. اجمع أحداث SSE كاملة وفق البروتوكول؛ لا تعتبر كل قراءة رسالة مستقلة. قد تصل أجزاء من حدث واحد في قراءات متعددة.

الإلغاء ليس إثبات توقف التكلفة

يستطيع AbortController إلغاء fetch. عالج الإلغاء كحالة مستقلة عن الخطأ أو النهاية العادية. مرر الإشارة عبر الخادم عندما يدعم النظام ذلك، وتحقق مما يحدث عند المزود. إغلاق اتصال المتصفح لا يثبت توقف التوليد أو الفوترة. ضع علامة واضحة على النص غير المكتمل. لو كان الناتج وثيقة JSON واحدة، انتظر نهاية ناجحة للبروتوكول ثم حللها وتحقق من المخطط. انقطاع الاتصال ليس اكتمالا ناجحا.

الحفظ والاختبار

لا تحفظ تلقائيا نصا جزئيا سريا. حدد الجلسة والصلاحيات ومدة الاحتفاظ. اطلب من الوكيل فرق التعديل ومعالجة الأخطاء. على بيانات اصطناعية أبطئ الشبكة واقطع الاتصال واضغط Stop وافصل محرفا متعدد البايتات بين جزأين. اختبر الضغط المكرر والعودة إلى التبويب والعمل عند المزود بعد الإلغاء. هذه خطة اختبار مقترحة، وليست نتائج تطبيق جربناه. السلوك المقبول هو حالة مفهومة للمستخدم وحدود تحقق مسجلة، لا مجرد ظهور الكلمات.

المصادر

• https://wurk.fun/blog/stream-llm-responses-so-your-app-doesn-t-look-frozen
• https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events
• https://developer.mozilla.org/en-US/docs/Web/API/Streams_API/Using_readable_streams
• https://developer.mozilla.org/en-US/docs/Web/API/AbortController
• https://wurk.fun/blog/get-json-you-can-trust-from-an-llm-schema-validate-retry