ExplorationBench: коли агент мусить відкрити правила
Тест у двох виконуваних чужих світах відокремлює вибір дослідів, формулювання правил та їх застосування, а результати запусків сильно різняться.
RESEARCH DIARY · 27 SEP 2026
У посібнику сказано, що позиції починаються з нуля. Інструмент на запит позиції один повертає другий символ, і це збігається з посібником. А потім робить те, про що посібник мовчить. Вірити документу, викинути інструмент чи придумати чистіший тест? ExplorationBench перетворює цю дилему на оцінку, використовуючи два виконувані світи, чиї приховані правила навмисно суперечать звичним. Це препринт від 24 вересня про програмні світи, а не про справжні лабораторії.
Результати дослідження
- ExplorationBench: Зворотний зв'язок від середовища сильно підвищує точність. Програвання найкращих власних проб системи фіксованою послідовністю цього не дає. Це тести самих авторів.
- Результати стрибають від запуску до запуску, і один бал вводить в оману. Показуйте весь розподіл.
Протокол
AlienCode - мала мова з 31 прихованою особливістю; AlienLogic - система доведень із 24. У кожному світі 70 відкладених задач. Система отримує хибний посібник, фіксовані приклади й схему виклику інструмента. Вона сама обирає проби протягом чотирьох раундів, а на контрольних точках без інструментів описує правила й розв’язує задачі. Десять систем проходять по три незалежні траєкторії у кожному світі. Best@3 - найкраща кінцева траєкторія з трьох, а не типовий запуск.
Дослід, що відрізняє гіпотези
В AlienCode цілі літерали проходять XOR із 27: EMIT(100) виводить 127. PLUCK рахує позиції з одиниці, всупереч посібнику. Порівняйте EMIT(100) та EMIT(101), а потім сусідні позиції PLUCK. Змінюйте по одному чиннику: один незвичний результат ще не пояснює правило. Проба має розрізняти альтернативні пояснення.
Результати авторів
Найкраща траєкторія AlienCode досягає 87,6% після чотирьох раундів; стільки ж кроків без зворотного зв’язку дають 0,5–11,0%. Фіксоване відтворення власних найкращих проб знижує точність у 9 з 10 систем. Два правила зсуву індексу входять у 51 із 70 задач, але навіть правильно названі потрібні правила приводять до розв’язку лише у 70,9% випадків. Повний набір правил для AlienLogic дає 93–97%, більше за самостійне дослідження. Це дані авторів, не незалежне відтворення.
Чому одного числа замало
За однакової системи й бюджету фінальні траєкторії відрізняються до 72,8 відсоткового пункта. Шість із 30 траєкторій AlienCode закінчуються щонайменше на три пункти нижче попередньої контрольної точки. Best@3 говорить про шанс вдалої спроби з трьох, а не про наступний типовий запуск. Показуйте розподіл, початкову оцінку й зміни після раундів. Кореляція рейтингів між світами у статті - 0,35.
Аналіз і практичний тест
На мій погляд, цей тест краще за статичну вікторину відділяє добір свідчень від застосування правил. У локальній пісочниці сховайте одну зміну парсера, дайте агенту застарілий опис, записуйте запити та оцінюйте десять невідомих входів після кожного раунду. Повторіть із різними стартовими умовами; порівняйте з фіксованими пробами й режимом без відповіді середовища. Не дозволяйте агенту міняти оцінювач. Код нижче пояснює вимірювання, а не реалізує метод статті.
Межі
Обидва світи синтетичні й детерміновані; інтерпретатор або перевірка доведень дає точну оцінку. У справжній науці вимірювання шумні, умови змінюються, а істина може бути невідома. Стаття не доводить відкриття реального закону. Знання правила не гарантує правильної відповіді або безпечної дії.
Псевдокод для пояснення, не код статті
# Explanatory pseudocode: do not expose held-out answers
for step in range(4):
observation = world.run(agent.choose_probe(history))
history.append(observation)
score[step] = grader.check(agent.answer(test_tasks, tools=False))
report(score, all_trajectories=True)Джерело і статус: ExplorationBench, arXiv:2609.30199 · full text. 24 Sep 2026, preprint; author-reported results.