CAVEWOMAN: коротший запит може збільшити рахунок

CAVEWOMAN окремо вимірює скорочення запитання й відповіді. Результати авторів радять рахувати весь запит, а перевірка змісту показує, що може приховувати правильна остаточна відповідь.

Два боки рахунку

Видалення службових слів здається економією. Проте модель може відповісти довшим текстом. CAVEWOMAN розділяє ці випадки: фільтрує вхід за незмінної системної інструкції або зберігає питання й обмежує відповідь. Adobe опублікувала запис 29 жовтня; пов’язана стаття arXiv датована 23 червня 2026 року. Це розбір наявного дослідження, а не новий запуск сьогодні.

Що повідомляють автори

Стаття описує вісім моделей, п’ять тестів і п’ять рівнів скорочення. Анотація повідомляє зменшення вартості виходу в 1,4-2,4 раза для більшості API-моделей, до трьох разів у найкращому випадку. Скорочення входу збільшило середню підсумкову вартість приблизно в 1,15 раза за цих умов. Це результати авторів для їхніх цін і задач; я їх не відтворював. У репозиторії є ширші підсумкові числа, що відрізняються від опису статті. Перед використанням я б зафіксував ревізію.

Правильне число зі зміненим змістом

Протокол також порівнює текст із необмеженою відповіддю тієї самої моделі. Автори повідомляють, що приблизно половина відповідей моделей без міркувань може бути правильною, хоча текст уже не випливає за змістом з еталона. Це порівняння текстів, а не доступ до прихованого мислення чи доказ істинності еталона. У діловому підсумку втрата умови важлива навіть за правильного числа.

Яке локальне порівняння я б підготував

Я б зберіг питання й порівняв звичайну відповідь з однією інструкцією стислості на фіксованих прикладах. Варто записати оплачені вхідні й вихідні токени, налаштування, повтори, правильність та збереження умов. Помилки теж входять у розрахунок. Навчальний Python нижче обчислює ціну із заданих токенів і ставок за мільйон. Числа вигадані, викликів API немає, дослідження він не відтворює.

# Fictional token counts; supplied rates per million tokens.
def cost(input_tokens, output_tokens, input_rate, output_rate):
    return (input_tokens * input_rate + output_tokens * output_rate) / 1_000_000

baseline = cost(100, 300, 1, 4)
short_input = cost(80, 340, 1, 4)
short_output = cost(100, 180, 1, 4)
assert short_input > baseline > short_output

Коли я б зупинився

Менше токенів не пройде перевірку, якщо зникне застереження, одиниця чи потрібна дія. Репозиторій обмежує основні результати одноходовими задачами з короткою відповіддю та прямою оплатою токенів; довгі тексти поводяться інакше. Ліміти підписки, кеш, токени міркувань і вартість інструментів потребують окремого обліку. Довжину слід обирати після порівняння ціни й збереженої інформації на своїх задачах.

Джерела

• research.adobe.com /
• arxiv.org / 2606.24083
• github.com / cavewoman