Чи перемагає команда з трьох агентів одного еволюціонованого? Стаття каже: ні, за рівної ціни
MA-Evolve фіксує кількість викликів моделі й виявляє, що команда з планувальника, виконавця і критика дорівнює одному еволюціонованому виконавцю, але коштує в 1,8 раза дорожче на задачу.
Планувальник, виконавець, критик: трьохролева команда стала типовою формою «серйозного» агентного конвеєра. Червнева стаття перевіряє, чи окуповує вона зайві виклики моделі, і відповідає контрольованим «ні» на одній невеликій моделі та двох бенчмарках.
Коротко
«At Equal Inference Cost, Multi-Agent Structure Does Not Beat a Single Frozen Agent» (arXiv 2609.04217, подано 25 червня 2026 року) еволюціонує промпти трьохролевої команди та одиночного агента за однакового бюджету викликів моделі. На ALFWorld команда має 0,769, одиночний агент 0,754: різниця в дві задачі зі 134, яку автори не можуть відрізнити від випадковості (p = 0,80), за 1,79 раза більшої кількості викликів на задачу. Я прочитав статтю повністю. Нічого не запускав.
Що стверджує стаття
Автори будують MA-Evolve. Одна заморожена модель Qwen2.5-7B-Instruct грає всі ролі, тому жодна роль не має сильнішого «мозку». Змінюється лише промпт кожної ролі, і налаштовується він по одній ролі за раз. До еволюції звичайний агент розв’язує 0,657 зі 134 відкладених задач ALFWorld. Після еволюції лише промпту виконавця він розв’язує 0,754 (McNemar 20 до 7, p = 0,021). Цей промпт читабельний: відкрити закритий контейнер перш ніж брати з нього, брати перш ніж класти, використовувати точні шаблони дій, підтверджувати кроки охолодження, нагрівання та використання.
Повна команда дає 0,769. Відносно одиночного еволюціонованого агента це +0,015 (9 задач проти 7, p = 0,80). На WebShop, де 80 відкладених сесій і щільна оцінка, еволюція нічого не дає (0,245 проти 0,242), а команда виявляється нижче, 0,185, хоча p = 0,12 означає, що й це не доведено.
Чому команда тут нічого не додає
Стаття це вимірює. Еволюціоновані промпти планувальника і критика виявилися порожніми або майже порожніми. Коли вони спрацьовували, планувальник змінював дію виконавця у 14% випадків, критик у 41%. Отже, виграш команди над базою - це виграш виконавця плюс два зайві виклики на кожен крок. Автори також доводять, що фіксований бюджет викликів збіднює пошук: якщо ділити його на три ролі, кожній дістається третина спроб.
| Варіант | Успіх на відкладених задачах | Викликів на задачу | Вартість до одиночного |
|---|---|---|---|
| База без еволюції | 0.657 | - | - |
| Один еволюціонований виконавець | 0.754 | 18.0 | 1.00× |
| Повна команда (планувальник, виконавець, критик) | 0.769 | 32.2 | 1.79× |
| Лише виконавець (LOI:exec) | 0.731 | 16.7 | 0.93× |
Де докази тонкі
- Одна заморожена модель на 7 млрд параметрів. У більшої моделі або різних моделей на ролі може з’явитися місце для справжнього критика. Автори так і пишуть і не стверджують, що результат переноситься.
- Одна топологія й один оптимізатор. Дебати, ансамблі та спільний пошук промптів і структури поза межами статті.
- Один жадібний прогін на варіант, інтервали бутстрепом за задачами, а не повторні запуски. Два бенчмарки.
- Режим з обмеженням за кількістю прогонів, а не викликів, наведено лише для команди, бо запуски за ролями впали через помилку в планувальнику. Автори про це пишуть.
Обережний висновок: на невеликій моделі за фіксованого бюджету викликів додавайте ролі лише після того, як покажете, що кожна змінює дію. Стаття дає для цього лічильники: частку випадків, коли роль змінює вибір виконавця.
Джерела й обмеження
Факти взято з анотації, тексту й таблиць статті, прочитаних у PDF 6 жовтня 2026 року. Інтерпретація моя. Я не запускав код авторів і не відтворював жодної цифри.