Эмбеддинги - координаты смысла

Как это выглядит на практике

Представьте справочный центр, где человек ищет возврат денег, а ближайший вектор принадлежит статье о доставке. Геометрия работает. Проблема в карте: фрагменты слишком длинные, вопрос сформулирован другими словами, а качество поиска никто не мерил на реальных запросах.

Глубокий разбор: отслеживайте систему, а не лозунг

Проследите одно предложение по системе. Его режут на фрагмент, модель превращает фрагмент в вектор, вектор кладут в индекс, а запрос проходит то же преобразование. Ответ - ближайшие из сохранённых векторов. Четыре решения определяют качество ещё до того, как пользователь напечатал слово: размер фрагмента, модель, мера расстояния и свежесть индекса.

Лаборатория кода: наблюдаемая оболочка

Этот авторский набросок ранжирует документы по косинусному сходству с вектором запроса. Это учебный набросок, а не индекс: настоящие системы ищут приближённо по миллионам векторов. Он показывает идею, от которой зависит остальное: сходство - это число, которое можно вычислить и проверить.

import math

def cosine(a, b):
    dot = sum(x*y for x, y in zip(a, b))
    norm_a = math.sqrt(sum(x*x for x in a))
    norm_b = math.sqrt(sum(y*y for y in b))
    return dot / (norm_a * norm_b)

def rank(query_vector, documents):
    return sorted(documents, key=lambda d: cosine(query_vector, d["vector"]), reverse=True)

Проверка реальностью

Соберите пятьдесят настоящих вопросов пользователей и отметьте, какой документ должен отвечать на каждый. Запустите поиск и посчитайте, как часто нужный документ оказывается в начале выдачи. Затем поменяйте одну вещь, например размер фрагмента, и повторите. Без этого цикла вы настраиваете вслепую.

Анализ Джека

Моё мнение, и это анализ: относитесь к шагу с эмбеддингами как к измерительному прибору. Откалибруйте его на своих вопросах, держите небольшой набор заведомо верных запросов и прогоняйте его при любой смене модели, нарезки или данных.

Чего пример не доказывает

Набросок поясняющий. Это не бенчмарк и не промышленный индекс, и он ничего не говорит о том, как справляется с вашими данными конкретная модель эмбеддингов. Качество нужно мерить на ваших запросах.

Вопросы для технического разбора

• Как нарезаются документы и хранит ли фрагмент достаточно контекста, чтобы иметь смысл?
• Одна ли модель используется для документов и запросов?
• Какая мера расстояния используется - выбрана или унаследована?
• Как индекс узнаёт о новых и удалённых документах?
• Что видит пользователь, когда поиск не находит ничего близкого?