Розвивати механізм агента, а не промпт: від помилок до коду
Препринт від 24 вересня перевіряє, чи можна замінити повторні рішення моделі кодом. Результати цікаві, але тест не дає гарантій безпеки.
ЩОДЕННИК ДОСЛІДЖЕНЬ · 26 ВЕР 2026
Уявіть браузерного агента, який після кожного кліка зупиняється й ставить моделі те саме нудне запитання: шукати знову, відфільтрувати видачу чи вийти зі зламаної сторінки? Повторене сотні разів, воно роздуває промпт і спалює токени на рішення, що не змінюється. Новий препринт пропонує винести це повторюване судження в код, який харнес пише собі сам. В його експериментах прийом працює, але з обмеженнями, які варто прочитати уважно.
Повідомлені результати
- Що виміряли автори: Два бенчмарки, три розміри моделі й помітно менше викликів моделі, ніж у базового методу. Це цифри самих авторів.
- Контрольний бар'єр перевіряє 50 відкладених завдань і не може поручитися за весь відкритий веб. Крихкість виправленого коду й перенавчання лишаються відкритими питаннями.
Як зростає керуючий код
Початковий каркас фіксує інтерфейси моделі та інструментів, але не містить стратегії. Траси виконання локалізують збій до функції; оптимізатор лагодить обмежене вікно невдач спільно. Відкладений набір перевіряє попередні можливості: при погіршенні відкочують код і стан навчання. Модель далі тлумачить зміст окремого завдання.
Приклад, а не відтворений результат
Агент може відкривати результати пошуку, відкидати сторінки без доказів і повторювати запит. Функція могла б стандартизувати відбір і повтори. Це пояснювальний приклад, а не твердження, що саме таку функцію знайдено. Інструкції зі сторонньої сторінки залишаються недовіреними даними.
Що виміряли автори
На BrowseComp-Plus і WebArena-Verified автори мали по 200 навчальних, 50 відкладених і 50 фінальних завдань, три моделі від 4B до 120B. За їхнім звітом найкращий середній успіх у п’яти з шести налаштувань; викликів моделі на 76.0–91.8% менше, вартість інференсу на 74.4–98.6% нижча від обраного Tool-Calling. У WebArena-Verified результат 44.7–45.3% для трьох моделей проти 6.7% для Tool-Calling з 4B. Це дані авторів, не незалежна перевірка виробничого середовища.
Аналіз і межі
Відкладений бар’єр захищає успіх лише на своїх 50 завданнях, а не на кожному сайті чи для кожного дозволу. Код може бути крихким або підігнаним під тест. Ціна залежить від обліку та базової моделі. Одноразова абляція 36% проти 18%, 22% і 28% пояснює роль компонентів, але не доводить безпеки.
Що варто використати
Відокремлюйте повторне керування від змістовного судження. Зберігайте версії коду, вузьку область редагування, відкладений регресійний тест і точку відкату. Перевірка права діяти від імені людини має бути поза навченим контролером.
# Пояснювальний псевдокод, не код дослідження
if gate_success(candidate) < gate_success(checkpoint):
restore(checkpoint)
else:
checkpoint = candidateGrowing Harness preprint · Full method and results. Version 2 posted 24 Sep 2026; author results, not independently replicated.