VERSE: оптимізатор, що перевіряє власні правки перед відправленням

Що стверджує стаття

Ролей дві. Виконавець - заморожена модель, що розв’язує задачі з кодом усередині харнеса. Оптимізатор читає невдалі траєкторії й кілька раундів правит харнес виконавця. Попередні системи тримають оптимізатор незмінним. VERSE дозволяє йому змінювати власні промпти, навички, інструменти, хуки та нотатки, а ваги обох моделей лишаються замороженими.

Найцікавіше перше дослідження. З оптимізатором Qwen3.8-Flash-Next і виконавцем Qwen3.8-27B додавання самоеволюції до Meta-Harness погіршило результат: жоден раунд не випередив початковий харнес на валідації. На думку авторів, оптимізатор записував у себе неперевірені уроки й не міг збагнути, які з них хибні. Дайте йому інструмент запуску чернетки на одній навчальній задачі, і та сама схема дала 41,05% точності на тесті - найкраще значення в цій таблиці.

Як працює VERSE

Перед відправленням правки оптимізатор може відтворити збій, скоротити невдалу траєкторію до кількох важливих кроків і збурити підозрілий крок, щоб побачити, чи зміниться результат. Між раундами він веде журнал: які задачі виправлено, які зламалися, які виправлення згодом скасовано. У другому дослідженні на п’яти виконавцях оптимізатор, що самоеволюціонує, створив 51 артефакт, і вони діляться на чотири види: визначення причин збоїв, перевірка, аудит навчання та правила робочого процесу, наприклад нагадування про бюджет.

Начерк циклу

# Illustration of verify-before-submit. Not the authors' code and not run.
def improve_harness(harness, failures, budget):
    for round_no in range(budget):
        cause = rank_causes(failures)            # attribution
        draft = edit(harness, cause)
        passed_before = [t for t in tasks if run(harness, t)]
        ok_target = run(draft, cause.task)       # replay the failure
        ok_old = all(run(draft, t) for t in passed_before[:5])  # regressions
        if ok_target and ok_old:
            return draft
    return harness

Цифри

Висновок статті підтверджується: VERSE із самоеволюцією випереджає власну базу в усіх 16 порівняннях таблиці, на 0,6–10,3 пункта. Уважне читання таблиці додає застереження. З чотирьох хостів найкращий харнес усередині розподілу на трьох дає VERSE без самоеволюції, а найкращий поза розподілом у версії із самоеволюцією на двох. Отже, основну роботу всередині розподілу виконують інструменти перевірки, а аргумент на користь самоеволюції тримається здебільшого на нових багатомовних задачах.

Де доказів мало

Кожен рядок - один еволюційний прогін. Похибки - розкид за трьома тестовими оцінками цього прогону, а не за незалежними прогонами. У тесті всередині розподілу 108 задач, тож одна задача - близько 0,9 пункта, а деякі розриви в таблиці - дві-три задачі. Усі навчальні та валідаційні задачі на Python, а з 107 нових задач поза розподілом 87 на Go, Java, Rust або TypeScript. Автори також зазначають, що інструменти перевірки зафіксовані, усі дії записуються, а виконавець працює без мережі. Це обмежує самозміну в їхній постановці, і саме цю частину практику довелося б відтворювати.

Кому це важливо

Командам, які налаштовують харнес агента вручну або оптимізатором. Практичний урок переживає всі застереження: дайте автоматичному редактору можливість запустити правку й перевірити, що задачі, які вже проходили, і далі проходять, перш ніж залишати зміну. Автори зауважують, що незмінний оптимізатор часто перевіряв лише задачі, на яких поточний харнес падає, а так регресії не побачити.