CAVEWOMAN: короткий запрос может увеличить счет

CAVEWOMAN отдельно измеряет сокращение вопроса и ответа. Результаты авторов предлагают считать весь запрос, а проверка смыслового сходства показывает, что может скрыть правильный итоговый ответ.

Две стороны счета

Удаление служебных слов кажется экономией. Но модель может потратить сэкономленные входные токены на более длинный ответ. CAVEWOMAN разделяет эти варианты: фильтрует вход при неизменной системной инструкции либо сохраняет вопрос и ограничивает ответ. Adobe разместила работу 29 октября, а связанная статья arXiv датирована 23 июня 2026 года. Это разбор существующего исследования, а не объявление сегодняшнего запуска.

Что сообщают авторы

В статье описаны восемь моделей, пять наборов задач и пять уровней сокращения. Аннотация сообщает снижение стоимости при сокращении ответа в 1,4-2,4 раза на модель для большинства API-моделей, до трех раз в лучшем случае. Сокращение входа увеличило среднюю итоговую стоимость примерно в 1,15 раза в данной схеме. Я эти результаты не воспроизводил; переносить их на другую модель нельзя. В репозитории встречаются более широкие итоговые числа, отличающиеся от описания статьи. Для работы с ними я бы закрепил конкретную ревизию.

Правильный итог не гарантирует сохранения смысла

Протокол сравнивает текст с исходным неограниченным ответом той же модели. По данным авторов, примерно половина ответов моделей без рассуждений может быть правильной, но уже не следовать по смыслу этому эталону. Это сравнение текстов, а не доступ к скрытому рассуждению и не доказательство истинности исходного ответа. В деловой сводке потеря условия важна даже при верном числе.

Какое сравнение я бы подготовил

Я бы сохранил исходный вопрос и сравнил обычный ответ с одной инструкцией отвечать кратко на фиксированных примерах. Следует записать оплачиваемые входные и выходные токены, настройки, повторы, правильность и сохранение обязательных условий. Ошибки тоже входят в расчет. Учебный Python ниже считает стоимость по заданным токенам и ставкам за миллион. Числа вымышлены, вызовов API нет, исследование он не воспроизводит.

# Fictional token counts; supplied rates per million tokens.
def cost(input_tokens, output_tokens, input_rate, output_rate):
    return (input_tokens * input_rate + output_tokens * output_rate) / 1_000_000

baseline = cost(100, 300, 1, 4)
short_input = cost(80, 340, 1, 4)
short_output = cost(100, 180, 1, 4)
assert short_input > baseline > short_output

Когда я бы остановился

Снижение числа токенов не прошло бы проверку, если исчезли оговорка, единица измерения или нужное действие. Репозиторий ограничивает основной вывод одношаговыми задачами с коротким извлекаемым ответом и прямой оплатой токенов; длинные тексты ведут себя иначе. Лимиты подписки, кеш, токены рассуждений и инструменты требуют отдельного учета. Длину стоит выбирать после проверки цены и сохраненной информации на своих задачах.

Источники

• research.adobe.com /
• arxiv.org / 2606.24083
• github.com / cavewoman