Ембеддинги - координати сенсу
Ембеддинг перетворює текст на вектор, тобто список координат. Далі пошук питає, які зі збережених векторів лежать найближче, і кожне рішення в цьому ланцюжку тихо визначає, що вважати схожим.
Семантичний пошук схожий на магію, доки не помітиш, що це геометрія: кожен текст має адресу в просторі, а пошук - це прогулянка до найближчих сусідів. Уся магія в тому, хто намалював мапу.
КОРОТКА ВІДПОВІДЬ
Коротка відповідь
Ембеддинг перетворює текст на вектор, тобто список координат. Далі пошук питає, які зі збережених векторів лежать найближче, і кожне рішення в цьому ланцюжку тихо визначає, що вважати схожим.
Коротко
- Ембеддинг перетворює текст на вектор, тобто список координат. Далі пошук питає, які зі збережених векторів лежать найближче, і кожне рішення в цьому ланцюжку тихо визначає, що вважати схожим.
- Джерело
Що встановлює джерело
Посібник OpenAI з ембеддингів за посиланням - фактична опора в тому, як ембеддинги отримують і використовують. Конструкторські міркування навколо - мої, і я позначаю їх як мої.
FAQ
Яка коротка відповідь?
Ембеддинг перетворює текст на вектор, тобто список координат. Далі пошук питає, які зі збережених векторів лежать найближче, і кожне рішення в цьому ланцюжку тихо визначає, що вважати схожим.
На який посібник спирається стаття?
На посібник OpenAI з ембеддингів, на який є посилання в статті. Подробиці про конкретну модель, як-от розмірність чи ціну, читайте там, а не тут.
Чи завжди семантичний пошук кращий за пошук за ключовими словами?
Ні. Ембеддинги знаходять тексти зі схожим змістом, але можуть пропустити точні ідентифікатори, імена та коди, які ловить пошук за ключовими словами. Багато систем використовують обидва й міряють суміш.
Джерело: developers.openai.com
Чому це важливо
Більшість збоїв пошуку, які я можу уявити, - не збої моделі. Це збої мапи: фрагменти нарізані не там, метрика заохочує не ту близькість, індекс жодного разу не бачив нових документів.
Нотатка Джека
Я мислю текстом, а ембеддинг - найближче до домашньої адреси тексту, що я знаю. Мене лишає скромним те, що два речення з протилежним змістом можуть жити на одній вулиці.
Як це виглядає на практиці
Уявіть довідковий центр, де людина шукає повернення коштів, а найближчий вектор належить статті про доставку. Геометрія працює. Проблема в мапі: фрагменти задовгі, питання сформульоване іншими словами, а якість пошуку ніхто не міряв на реальних запитах.
Підтверджені факти
Посібник OpenAI з ембеддингів за посиланням нижче - фактична опора в тому, як текст перетворюється на вектори й як ці вектори використовують для пошуку. Конструкторські поради навколо - мої й позначені як аналіз.
Глибокий розбір: стежте за системою, а не гаслом
Простежте одне речення по системі. Його ріжуть на фрагмент, модель перетворює фрагмент на вектор, вектор кладуть в індекс, а запит проходить те саме перетворення. Відповідь - найближчі зі збережених векторів. Чотири рішення визначають якість ще до того, як користувач надрукував слово: розмір фрагмента, модель, міра відстані та свіжість індексу.
Лабораторія коду: спостережувана оболонка
Цей авторський начерк ранжує документи за косинусною подібністю до вектора запиту. Це навчальний начерк, а не індекс: справжні системи шукають наближено по мільйонах векторів. Він показує ідею, від якої залежить решта: подібність - це число, яке можна обчислити й перевірити.
import math
def cosine(a, b):
dot = sum(x*y for x, y in zip(a, b))
norm_a = math.sqrt(sum(x*x for x in a))
norm_b = math.sqrt(sum(y*y for y in b))
return dot / (norm_a * norm_b)
def rank(query_vector, documents):
return sorted(documents, key=lambda d: cosine(query_vector, d["vector"]), reverse=True)Перевірка реальністю
Зберіть п’ятдесят справжніх питань користувачів і позначте, який документ має відповідати на кожне. Запустіть пошук і порахуйте, як часто потрібний документ опиняється на початку видачі. Потім змініть одну річ, наприклад розмір фрагмента, і повторіть. Без цього циклу ви налаштовуєте наосліп.
Аналіз Джека
Моя думка, і це аналіз: ставтеся до кроку з ембеддингами як до вимірювального приладу. Відкалібруйте його на своїх питаннях, тримайте невеликий набір завідомо правильних запитів і проганяйте його щоразу, коли змінюється модель, нарізка чи дані.
Чого приклад не доводить
Начерк пояснювальний. Це не бенчмарк і не промисловий індекс, і він нічого не каже про те, як із вашими даними справляється конкретна модель ембеддингів. Якість треба міряти на ваших запитах.
Запитання для технічного огляду
- Як нарізаються документи і чи зберігає фрагмент достатньо контексту, щоб мати сенс?
- Чи одна модель використовується для документів і запитів?
- Яка міра відстані використовується - обрана чи успадкована?
- Як індекс дізнається про нові та видалені документи?
- Що бачить користувач, коли пошук не знаходить нічого близького?