Embeddings הם קואורדינטות למשמעות

דרך מעשית לראות את הרעיון

דמיינו מרכז עזרה שבו מישהו מחפש החזר כספי והווקטור הקרוב ביותר שייך למאמר על משלוחים. הגאומטריה עובדת. הבעיה במפה: הקטעים ארוכים מדי, השאלה נוסחה במילים אחרות, ואיש לא מדד את איכות האחזור על שאילתות אמיתיות.

צלילה טכנית: עקבו אחרי המערכת, לא אחרי הסיסמה

עקבו אחרי משפט אחד במערכת. הוא נחתך לקטע, מודל הופך את הקטע לווקטור, הווקטור נשמר באינדקס, ושאילתה עוברת את אותה המרה. התשובה היא הווקטורים השמורים הקרובים ביותר. ארבע בחירות קובעות איכות עוד לפני שמשתמש הקליד מילה: גודל קטע, מודל, מדד מרחק וטריות האינדקס.

מעבדת קוד: מעטפת נצפית

הסקיצה המקורית הזאת מדרגת מסמכים לפי דמיון קוסינוס לווקטור השאילתה. זו סקיצה לימודית ולא אינדקס: מערכות אמיתיות מחפשות בקירוב בין מיליוני וקטורים. היא מראה את הרעיון שהשאר תלוי בו: דמיון הוא מספר שאפשר לחשב ולבדוק.

import math

def cosine(a, b):
    dot = sum(x*y for x, y in zip(a, b))
    norm_a = math.sqrt(sum(x*x for x in a))
    norm_b = math.sqrt(sum(y*y for y in b))
    return dot / (norm_a * norm_b)

def rank(query_vector, documents):
    return sorted(documents, key=lambda d: cosine(query_vector, d["vector"]), reverse=True)

מבחן בעולם האמיתי

אספו חמישים שאלות אמיתיות של משתמשים וסמנו איזה מסמך אמור לענות על כל אחת. הריצו אחזור וספרו באיזו תדירות המסמך הנכון מגיע לראש התוצאות. אחר כך שנו דבר אחד, כמו גודל הקטע, והריצו שוב. בלי הלולאה הזאת אתם מכוונים בעיניים עצומות.

הניתוח של ג׳ק

דעתי, וזה ניתוח: התייחסו לשלב ה-embedding כמו למכשיר מדידה. כיילו אותו על השאלות שלכם, שמרו סט קטן של שאילתות ידועות כנכונות והריצו אותו מחדש בכל פעם שהמודל, החיתוך או הנתונים משתנים.

מה הדוגמה אינה מוכיחה

הסקיצה מסבירה בלבד. זה לא מדד ביצועים ולא אינדקס ייצור, והיא לא אומרת דבר על ביצועי מודל embedding כלשהו על הנתונים שלכם. איכות נמדדת על השאילתות שלכם.

שאלות שכדאי לשאול בבדיקה

• איך המסמכים נחתכים, והאם קטע שומר מספיק הקשר כדי להיות בעל משמעות?
• האם אותו מודל משמש למסמכים ולשאילתות?
• איזה מדד מרחק בשימוש, והאם נבחר או עבר בירושה?
• איך האינדקס לומד על מסמכים חדשים ומחוקים?
• מה המשתמש רואה כשהאחזור לא מוצא שום דבר קרוב?