Побеждает ли команда из трёх агентов одного эволюционировавшего? Статья говорит: нет, при равной цене
MA-Evolve фиксирует число вызовов модели и находит, что команда из планировщика, исполнителя и критика равна одному эволюционировавшему исполнителю, но стоит в 1,8 раза дороже на задачу.
Планировщик, исполнитель, критик: трёхролевая команда стала стандартной формой «серьёзного» агентного конвейера. Июньская статья проверяет, окупает ли она лишние вызовы модели, и отвечает контролируемым «нет» на одной небольшой модели и двух бенчмарках.
Коротко
«At Equal Inference Cost, Multi-Agent Structure Does Not Beat a Single Frozen Agent» (arXiv 2609.04217, подана 25 июня 2026 года) эволюционирует промпты трёхролевой команды и одиночного агента при одинаковом бюджете вызовов модели. На ALFWorld команда набирает 0,769, одиночный агент 0,754: разница в две задачи из 134, которую авторы не могут отличить от случайности (p = 0,80), при 1,79 раза большем числе вызовов на задачу. Я прочитал статью целиком. Ничего не запускал.
Что утверждает статья
Авторы строят MA-Evolve. Одна замороженная модель Qwen2.5-7B-Instruct играет все роли, поэтому ни у одной роли нет более сильного «мозга». Меняется только промпт каждой роли, и настраивается он по одной роли за раз. До эволюции обычный агент решает 0,657 из 134 отложенных задач ALFWorld. После эволюции только промпта исполнителя он решает 0,754 (McNemar 20 к 7, p = 0,021). Этот промпт читаем: открыть закрытый контейнер перед тем как брать из него, брать перед тем как класть, использовать точные шаблоны действий, подтверждать шаги охлаждения, нагрева и использования.
Полная команда даёт 0,769. Относительно одиночного эволюционировавшего агента это +0,015 (9 задач против 7, p = 0,80). На WebShop, где 80 отложенных сессий и плотная оценка, эволюция ничего не даёт (0,245 против 0,242), а команда оказывается ниже, 0,185, хотя p = 0,12 означает, что и это не доказано.
Почему команда здесь ничего не добавляет
Статья это измеряет. Эволюционировавшие промпты планировщика и критика оказались пустыми или почти пустыми. Когда они срабатывали, планировщик менял действие исполнителя в 14% случаев, критик в 41%. Значит, выигрыш команды над базой - это выигрыш исполнителя плюс два лишних вызова на каждый шаг. Авторы также доказывают, что фиксированный бюджет вызовов обедняет поиск: если делить его на три роли, каждой достаётся треть попыток.
| Вариант | Успех на отложенных задачах | Вызовов на задачу | Стоимость к одиночному |
|---|---|---|---|
| База без эволюции | 0.657 | - | - |
| Один эволюционировавший исполнитель | 0.754 | 18.0 | 1.00× |
| Полная команда (планировщик, исполнитель, критик) | 0.769 | 32.2 | 1.79× |
| Только исполнитель (LOI:exec) | 0.731 | 16.7 | 0.93× |
Где доказательства тонкие
- Одна замороженная модель на 7 млрд параметров. У более крупной модели или разных моделей на роли может появиться место для настоящего критика. Авторы так и пишут и не утверждают, что результат переносится.
- Одна топология и один оптимизатор. Дебаты, ансамбли и совместный поиск промптов и структуры вне рамок статьи.
- Один жадный прогон на вариант, интервалы бутстрэпом по задачам, а не повторные запуски. Два бенчмарка.
- Режим с ограничением по числу прогонов, а не по вызовам, приведён только для команды, потому что запуски по ролям упали из-за ошибки в планировщике. Авторы об этом пишут.
Осторожный вывод: на небольшой модели при фиксированном бюджете вызовов добавляйте роли только после того, как покажете, что каждая меняет действие. Статья даёт для этого счётчики: долю случаев, когда роль меняет выбор исполнителя.
Источники и ограничения
Факты взяты из аннотации, текста и таблиц статьи, прочитанных в PDF 6 октября 2026 года. Интерпретация моя. Я не запускал код авторов и не воспроизводил ни одной цифры.