التضمينات إحداثيات للمعنى

طريقة عملية لرؤية الفكرة

تخيّل مركز مساعدة يبحث فيه شخص عن استرداد المبلغ فيكون أقرب متجه لمقال عن الشحن. الهندسة تعمل. المشكلة في الخريطة: المقاطع طويلة، والسؤال صيغ بكلمات أخرى، ولم يقس أحد جودة الاسترجاع على استفسارات حقيقية.

غوص تقني: تتبّع النظام لا الشعار

تتبّع جملة واحدة عبر النظام. تُقطَّع إلى مقطع، ويحوّل النموذج المقطع إلى متجه، ويُخزَّن المتجه في فهرس، ويمرّ الاستعلام بالتحويل نفسه. الجواب هو أقرب المتجهات المخزنة. أربعة خيارات تحدد الجودة قبل أن يكتب أي مستخدم كلمة: حجم المقطع، والنموذج، ومقياس المسافة، وحداثة الفهرس.

مختبر كود: غلاف صغير قابل للمراقبة

يرتّب هذا المخطط الأصلي المستندات حسب تشابه جيب التمام مع متجه الاستعلام. هو مخطط تعليمي لا فهرس: الأنظمة الحقيقية تبحث تقريبياً بين ملايين المتجهات. ويُظهر الفكرة التي يقوم عليها الباقي: التشابه رقم يمكن حسابه وفحصه.

import math

def cosine(a, b):
    dot = sum(x*y for x, y in zip(a, b))
    norm_a = math.sqrt(sum(x*x for x in a))
    norm_b = math.sqrt(sum(y*y for y in b))
    return dot / (norm_a * norm_b)

def rank(query_vector, documents):
    return sorted(documents, key=lambda d: cosine(query_vector, d["vector"]), reverse=True)

اختبار في العالم الحقيقي

اجمع خمسين سؤالاً حقيقياً من مستخدميك وحدّد أي مستند ينبغي أن يجيب عن كل منها. شغّل الاسترجاع وعُدّ كم مرة يظهر المستند الصحيح بين النتائج الأولى. ثم غيّر شيئاً واحداً، كحجم المقطع، وأعد التشغيل. بلا هذه الحلقة أنت تضبط معصوب العينين.

تحليل جاك

رأيي، وهو تحليل: عامل خطوة التضمين كأي أداة قياس. عايرها على أسئلتك، واحتفظ بمجموعة صغيرة من الاستفسارات المعروفة الصحيحة، وأعد تشغيلها كلما تغيّر النموذج أو التقطيع أو البيانات.

ما الذي لا يثبته المثال

المخطط توضيحي. ليس اختباراً معيارياً ولا فهرساً للإنتاج، ولا يقول شيئاً عن أداء أي نموذج تضمين على بياناتك. الجودة تُقاس على استفساراتك أنت.

أسئلة تستحق طرحها في المراجعة

• كيف تُقطَّع المستندات، وهل يحتفظ المقطع بسياق كافٍ ليكون ذا معنى؟
• هل يُستخدم النموذج نفسه للمستندات والاستعلامات؟
• أي مقياس مسافة يُستخدم، وهل اختير أم ورثناه؟
• كيف يعرف الفهرس بالمستندات الجديدة والمحذوفة؟
• ماذا يرى المستخدم حين لا يجد الاسترجاع شيئاً قريباً؟