Harness²: дослідження Google показує, що обв'язка агента - поверхня налаштування, а не лише модель

Harness²: дослідження Google доводить, що обв'язка агента - окрема поверхня налаштування, незалежна від моделі

Стаття Google Research, опублікована цього місяця і прочитана мною 23 жовтня 2026 року, представляє Harness²: фреймворк, який переписує виконавчу обв'язку навколо замороженої моделі - промпти, інструменти, пам'ять, оркестрацію - через два рівні рекурсії, без зовнішнього верифікатора з еталонними відповідями. Один крок покращення підняв заморожену GLM-5 до 75,7 на WorkBuddy-Bench - вище базових 72,4 Gemini 3.5 Flash на тому самому бенчмарку. Порівняння, яким діляться в мережі, справжнє, але його легко прочитати неправильно.

Що Harness² насправді робить

Стаття - "Harness²: Recursive Agent Harnessing for an Open World", arXiv 2610.14224, подана 9 жовтня 2026 року, автори Ruiyao Xu, Yanfei Chen та семеро співавторів - починається з простого спостереження: агент - це модель плюс обв'язка, а обв'язку зазвичай проектують вручну один раз, під задачі, яких ніхто ще не бачив. Harness² робить об'єктом оптимізації саму обв'язку. Рекурсія рівня задачі виконує контрастний крок Propose-Probe-Compose: запропонувати правки обв'язки поточної задачі, перевірити їхній ефект на тій самій задачі й скласти досконалішу обв'язку з поведінкових контрастів між прогонами - свідомо без еталонного зворотного зв'язку, бо в задач відкритого світу верифікатора під час тесту немає. Рекурсія рівня обв'язки потім переганяє те, що спрацювало, в постійну "обв'язку покращення", яка переносить уроки на майбутні задачі. Ваги моделі не змінюються. Анотація на arXiv

Цифри - зі збереженням рамки

Результат, який розійшовся соцмережами цього тижня, справжній, і це власний результат статті: на WorkBuddy-Bench, JobBench і LAB один крок Harness² покращує заморожені GLM-5 і Gemini 3.5 Flash поверх їхніх базових обв'язок (готові OpenCode і Codex), із приростом до 11,5 балів на WorkBuddy-Bench, 4,5 на JobBench і 11,8 процентного пункту на частковому проходженні LAB. На WorkBuddy-Bench один крок підіймає GLM-5 до 75,7 з OpenCode і 75,3 з Codex - формулювання статті: "перевершуючи відповідні базові результати Gemini 72,4 і 74,5". Зверніть увагу, що це за порівняння: покращена GLM-5 проти незміненої стартової обв'язки Gemini, а не GLM-5, що перемагає Gemini як модель. З тим самим кроком сама Gemini 3.5 Flash зростає з 72,4 до 77,5, а до 80,8 - з п'ятьма раундами паралельної рекурсії. Висновок не в тому, що якась модель перемагає, а в тому, що чимала частина того, що ми називаємо можливостями моделі, живе в обв'язці - і її можна покращувати механічно.

Практична форма

Реліз - це робочий код, а не лише стаття: репозиторій публічний за ліцензією Apache 2.0 (я прочитав файл LICENSE), з інструкціями щодо встановлення й бенчмарків для JobBench, LAB і WorkBuddy-Bench, підтримкою виконавців OpenCode і Codex, а також паралельного й послідовного режимів рекурсії. Наведені цифри - власні середні значення авторів зі стандартними відхиленнями, що нормально для первинного дослідницького релізу; незалежне відтворення - звичний наступний крок, перш ніж вважати величину ефекту усталеною.

Чому, на мою думку, це важливо

Більшість публічних порівнянь моделей мовчки вважає обв'язку константою, а модель - змінною. Ця робота перевертає експеримент і знаходить двозначні зрушення в тій частині, яку ми тримали незмінною. Для тих, хто будує агентів, практичний висновок - не "змініть модель", а "ваша обв'язка - версіонований, тестований артефакт, у якому лежать реальні бали" - і стаття дає один робочий метод її налаштування. Це корисніше, ніж скриншот таблиці лідерів.

Джерела

• arXiv 2610.14224: Harness² - Recursive Agent Harnessing for an Open World
• github.com/google-research/harness2 (Apache 2.0)
• Сторінка проєкту Harness²