Thinking Progress Vectors: «полоса загрузки» для моделей рассуждения, прочитанная по статье и коду

Что утверждает статья

Авторы - Рой Айзенштадт, Итамар Зимерман и Лиор Вольф, указан Тель-Авивский университет (Зимерман также IBM Research). Я читал версию v1 от 8 июня 2025 года, помеченную как препринт на рецензии. Отправная точка - известная проблема: модель, которая думает слишком мало, упускает сложность задачи, а та, что думает слишком долго, может ходить по кругу, сомневаться в себе и упереться в лимит.

Утверждений два. Первое: модель хранит внутреннюю оценку того, как далеко она продвинулась в фазе рассуждения, и простая линейная проекция последнего скрытого слоя эту оценку восстанавливает. Вектор проекции авторы называют вектором прогресса рассуждения. Второе: этот сигнал причинный. Если во время генерации сдвигать скрытое состояние вдоль вектора, модель заканчивает рассуждение раньше. Это называется overclocking, «разгон».

Всё проверено на двух дистиллированных моделях DeepSeek-R1, 32B на основе Qwen и 8B на основе Llama, и на двух математических бенчмарках, Math-500 и GSM-8K. Этот охват важен для всего, что написано ниже.

Конвейер шаг за шагом

README раскладывает работу на четыре скрипта. Вот что делает каждый, как я прочитал код.

1. generate_tpv_data.py. Загружает модель в половинной точности, собирает запрос «{problem}, please reason step by step, and put your final answer within \boxed{}», заканчивает его открывающим тегом рассуждения и сэмплирует ответы. Значения по умолчанию совпадают со статьёй: 30 задач Math-500, по 5 сэмплов, температура 0,6, top-p 0,95, seed 42. Через generate из Hugging Face запрашиваются все скрытые состояния, и сохраняется вектор последнего слоя для каждого сгенерированного токена.
2. prepare_tpv_dataset.py. Отбрасывает сэмплы с ошибками или без файлов, затем ищет закрывающий тег рассуждения среди сгенерированных токенов. Сэмпл, в котором рассуждение так и не закрылось, пропускается. У остальных токен номер j из N получает метку j/N, так что метка растёт от почти 0 до ровно 1. Разделение на обучение и тест (80/20, seed 42) делается по задачам, поэтому одна задача не попадает в обе части.
3. train_tpv.py. Подгоняет линейную модель замкнутым решением: H транспонированная на H плюс крошечный epsilon (по умолчанию 1e-10) на единичную матрицу, против меток. Свободного члена нет. Скрипт печатает среднеквадратичную ошибку на обучении и тесте и рисует диаграмму рассеяния. Сохранённый вектор весов и есть TPV.
4. tpv_intervention.py. Загружает модель и вектор, регистрирует хук и генерирует жадным декодированием. По умолчанию это модель Llama 8B, alpha 100 и 2048 новых токенов.

Хук: что на самом деле делает вмешательство

Всё вмешательство - один forward-хук на model.model.norm, финальном слое нормализации декодерной модели Hugging Face. После работы этого слоя хук копирует его выход и добавляет alpha, умноженное на TPV, к последней позиции токена. В статье это записано как h_alpha = h + alpha на theta, поэтому предсказанный прогресс theta на h растёт на alpha, умноженное на квадрат длины theta.

Место выбрано намеренно. Статья объясняет, что последний скрытый слой стоит после слоёв внимания, поэтому ключи и значения, сохранённые в кэше для прежних токенов, не затрагиваются. Сдвиг влияет только на выбор следующего токена. Но этот токен становится входом следующего шага, так что эффект накапливается на протяжении всей фазы рассуждения. Когда генерация заканчивается, хук снимается в блоке finally.

Две практические заметки из кода. Alpha не переносится между моделями: размер вектора зависит от того, как обучали регрессор, поэтому 100 значит разное для каждой модели и каждого обучающего набора. И вектор - обычный float32, который прибавляется к состояниям в половинной точности; в реальном запуске я бы это проверил.

Чем на самом деле является «полоса загрузки» в репозитории

Статья показывает интерактивную полосу прогресса и ссылается на страницу проекта с примерами. В самом репозитории такого интерфейса нет. Мониторинг заканчивается графиком регрессии: диаграмма рассеяния предсказанной и истинной позиции для 1000 тестовых токенов, поверх неё линия экспоненциального сглаживания (коэффициент 0,1) по точкам, отсортированным по истинной позиции. Этот график проверяет регрессор. Это не живая полоса над реальной генерацией.

Чтобы получить полосу в интерфейсе, её нужно построить самому: запустить модель локально, на каждом шаге брать последнее скрытое состояние, умножать на вектор, сглаживать ряд и рисовать. Статья добавляет, что небольшая рекуррентная сеть (однослойный GRU) может заменить экспоненциальное сглаживание и даёт меньшую ошибку и в обученном, и в zero-shot режиме. Этот вариант описан в статье, а искал ли я его в репозитории - нет, не искал.

Цифры из статьи

Статья сравнивает TPV с тремя базовыми вариантами при фиксированных лимитах токенов: базовая модель, самый короткий из пяти сэмплов при температуре 0,6 и промпт, который просит модель быть краткой и остановиться. Считаются правильные ответы. В таблице ниже число правильных ответов на Math-500 для пяти строк, как напечатано в статье. Ничего из этого я не пересчитывал.

Как читать эти цифры

На модели 32B при лимите 512 токенов TPV с alpha 100 поднимает число правильных ответов с 36 у базовой модели до 100 и обходит оба базовых варианта (54 и 53). Это главный результат, и он большой. Авторы также сообщают, что TPV вместе с кратким промптом работает лучше всего, до 148 на 512 токенах. По их прочтению, методы дополняют друг друга.

В других местах картина менее ровная. На 2048 токенах на той же модели один краткий промпт даёт 316, а один TPV 284, и авторы сами об этом пишут. На модели 8B один TPV с alpha 100 обгоняет базовую модель при 512 и 1024 токенах, но уступает обоим базовым вариантам при каждом лимите Math-500, а при 2048 токенах получает 102 против 112 у базовой модели. Alpha 5 на этой модели почти ничего не меняет.

Утверждение об эффективности скромнее и яснее. При alpha 100 на модели 8B вместе с кратким промптом на GSM-8K, как сказано в статье, средняя длина рассуждения падает примерно с 500 токенов до менее чем 350, то есть на 30%. Разобранный в статье пример с рассадкой за столом: исходное рассуждение уходит за 2048 токенов, а со сдвигом ответ 720 получен за 806 токенов.

Где доказательств мало

Это мои собственные оценки по прочтению статьи, а не результаты запусков. Обучающие выборки малы: 30 задач для исследования мониторинга и 80 задач Math-500 для регрессора в оценке, и каждый обучающий сэмпл - рассуждение, которое завершилось. Длинных прогонов, которые так и не закрылись, в данных нет, а именно с ними полосе прогресса труднее всего.

Цель к тому же - относительная позиция, а не оставшаяся работа. Две задачи с решением в 400 и в 4000 токенов обе заканчиваются на 1,0. Полоса на 50% говорит, что модель прошла половину того, что в итоге напишет, а не сколько это займёт. И сама статья в разделе об ограничениях перечисляет остальное: только математика, нет исследования побочных эффектов для связности и фактической точности, нужен доступ к скрытым состояниям, не рассматриваются широта поиска и неопределённость.

Ещё одна оговорка. Быстрее не значит лучше на трудных задачах. Модель, которую подталкивают перестать сомневаться в себе, перестанет и проверять себя. Статья сообщает о неизменной доле ошибок, но её собственные таблицы показывают больше неверных ответов (отвечено минус верно) в некоторых строках, например 2 у базовой 32B на Math500 при 512 токенах против 6 у TPV при alpha 100, и заметно больше решённых задач. Я ничего не запускал, так что это прочтение авторов, а не моя проверка.

В сравнении с обычными индикаторами прогресса

Сегодняшние сигналы прогресса для моделей рассуждения в основном внешние по отношению к модели: индикатор вращения, счётчик времени, число токенов или краткая сводка мыслей на данный момент. Таблица сравнивает их с TPV по тому, что каждый может честно сообщить пользователю. Это мой собственный анализ, и он описывает виды индикаторов, а не конкретные продукты.

Лицензия и цена запуска

README и файл LICENSE указывают CC BY-NC-SA 4.0, а заголовки кода добавляют, что для коммерческого использования нужна отдельная лицензия правообладателя, названного в README. В метаданных самого GitHub лицензия значится как «Other». Если проще: изучайте, воспроизводите и делитесь изменениями на тех же условиях, но не стройте на этом продукт без договора.

В статье сказано, что каждый эксперимент шёл на одной GPU A100 и занимал не более двух дней. requirements.txt - список команд conda и pip для Python 3.10, PyTorch 2.3.1 с CUDA 12.1, accelerate, bitsandbytes, datasets и ещё нескольких пакетов. transformers, который импортирует каждый скрипт, там не указан, поэтому при чистой установке его придётся добавить. Последний коммит от 7 июля 2025 года, а на момент проверки у репозитория был один автор, 56 звёзд и одна открытая задача.

Для кого это

Подойдёт исследователям и энтузиастам, которые запускают открытые модели рассуждения локально и хотят изучать сигналы прогресса или проверить утверждение об «разгоне» на своих задачах. А также тем, кто строит локальный интерфейс для инференса и ищет основу для полосы прогресса, если некоммерческая лицензия их устраивает.

Не подойдёт тем, кто пользуется размещённой моделью рассуждения через API, потому что методу нужны скрытые состояния. Не подойдёт команде, которой нужна коммерческая функция без лицензии. И не подойдёт тем, кто ждёт готовый продукт: здесь нет обученного вектора, интерфейса и тестов.

На практике: не сделано

Я не устанавливал это и не запускал ни одного скрипта, поэтому в обзоре нет замеров времени, графиков и выводов. Если бы я проверял, я бы обучил вектор на модели 8B, построил полосу на запросах не из математики и сравнил alpha 0, 5 и 100 на задачах, где ответ можно проверить. Это план, а не результат, и если в следующем выпуске появится результат, я скажу об этом прямо.