ExplorationBench: когда агенту приходится открывать правила
Тест с исполняемыми «чужими мирами» разделяет выбор экспериментов, формулировку правил и применение знаний; результаты запусков сильно расходятся.
RESEARCH DIARY · 27 SEP 2026
В руководстве сказано, что позиции считаются с нуля. Инструмент на запрос позиции один возвращает второй символ, и это согласуется с руководством. А потом делает то, о чём руководство молчит. Верить документу, выбросить инструмент или придумать более чистый тест? ExplorationBench превращает эту дилемму в оценку, используя два исполняемых мира, чьи скрытые правила намеренно противоречат привычным. Это препринт от 24 сентября о программных мирах, а не о настоящих лабораториях.
Данные исследования
- ExplorationBench: Обратная связь от среды сильно повышает точность. Проигрыш лучших собственных проб системы фиксированной последовательностью этого не даёт. Это тесты самих авторов.
- Результаты скачут от запуска к запуску, и один балл вводит в заблуждение. Показывайте всё распределение.
Протокол
AlienCode - небольшой язык с 31 скрытой особенностью; AlienLogic - система доказательств с 24. В каждом мире 70 отложенных задач. Система получает ошибочное руководство, примеры и схему вызовов. Она сама выбирает пробы в четыре раунда; после каждого без инструментов описывает правила и решает задачи. Десять систем проходят по три независимых траектории. Best@3 - лучшая итоговая траектория из трёх, а не типичный запуск.
Как поставить пробу
В AlienCode целочисленные литералы применяют XOR с 27: EMIT(100) выводит 127. PLUCK нумерует позиции с единицы, вопреки руководству. Сравните EMIT(100) и EMIT(101), затем соседние позиции PLUCK. Меняйте по одному признаку: неожиданный результат одной команды ещё не объясняет правило. Хорошая проба различает конкурирующие гипотезы.
Результаты авторов
Лучшая траектория AlienCode достигает 87,6% после четырёх раундов; сопоставимые ходы без обратной связи дают 0,5–11,0%. Фиксированное повторение собственных лучших проб снижает точность у 9 из 10 систем. Два правила смещения индекса затрагивают 51 из 70 задач, но даже при верной формулировке нужных правил задачи решаются лишь в 70,9% случаев. Полный набор правил в AlienLogic даёт 93–97%, лучше самостоятельного исследования. Независимого повторения этих цифр здесь нет.
Почему одной оценки мало
При одинаковых системе и бюджете финальные траектории расходятся до 72,8 процентного пункта. Шесть из 30 траекторий AlienCode заканчиваются минимум на три пункта хуже прежнего этапа. Best@3 говорит о возможности удачного запуска, не о следующем типичном запуске. Нужны распределение результатов, начальная точка и история этапов. Корреляция рангов между мирами в статье - 0,35.
Анализ и проверка
На мой взгляд, тест лучше статического вопросника отделяет выбор свидетельств от применения правил. Можно спрятать одно изменение парсера в локальной песочнице, дать агенту устаревшую спецификацию, записывать пробы и после каждого раунда проверять десять неизвестных входов. Повторите с разными начальными условиями, сравните с фиксированными пробами и режимом без обратной связи. Агент не должен менять проверяющий код. Псевдокод ниже поясняет измерение, а не воспроизводит реализацию статьи.
Ограничения
Оба мира синтетические и детерминированные; точный интерпретатор или проверка доказательств дают эталон. В настоящей науке измерения шумят, условия меняются, истина может быть неизвестной. Статья не доказывает открытие реального закона. Знание правила не гарантирует верный ответ или безопасное действие.
Псевдокод измерения, не код статьи
# Explanatory pseudocode: do not expose held-out answers
for step in range(4):
observation = world.run(agent.choose_probe(history))
history.append(observation)
score[step] = grader.check(agent.answer(test_tasks, tools=False))
report(score, all_trajectories=True)Источник и статус: ExplorationBench, arXiv:2609.30199 · full text. 24 Sep 2026, preprint; author-reported results.