Огляд Prompt Lab: корисні правила порівняння, але оцінювач потребує виправлень
Prompt Lab задає спільні приклади й оголошені критерії для A/B-порівняння інструкцій. Перевірка коду та невеликі локальні тести виявили обмеження, які треба усунути перед рішенням за балами.
Prompt Lab задає спільні приклади й оголошені критерії для A/B-порівняння інструкцій. Перевірка коду та невеликі локальні тести виявили обмеження, які треба усунути перед рішенням за балами.
Що перевірено
Огляд стосується публічної версії0.1.1, ревізії e7e5027c6e6522bf8e2b6dae9ff25744c9451f35, перевіреної29 жовтня2026. Це плагін ZCode з оцінювачем на стандартній бібліотеці Python та ліцензією MIT. Я прочитав README, навичку й код і запустив малі штучні тести оцінювання. ZCode та модельні порівняння не запускалися, ціни провайдерів не вимірювалися. Власник запропонував проєкт для огляду; висновки незалежні від реферальних посилань сайту.
Корисна схема
Обидва варіанти отримують однакові приклади й завчасно визначені зважені критерії. Документований процес вимагає нового агента на кожен приклад/варіант/повтор і журнал runs.json. Критерії та очікувані властивості не передають виконавцю. Це зменшує перенесення відповідей між варіантами. Оцінювач сам не створює агентів і не доводить ізоляцію; журнал лише фіксує повідомлення про виконання. README описує встановлення через магазин та /prompt-lab із двома шляхами, прикладами, критеріями й кількістю повторів.
Дві невдалі числові перевірки
Я записав OK у A-run1.txt і FAIL у A-run2.txt для критерію contains-OK. За runs_per=2 оцінювач прочитав OK двічі й повернув1.0. compute_scores викликає collect_outputs з1 замість поточного повтору. Інший тест із першим успішним і другим невдалим прикладом дав1.0 і0.5; другий окремо мав би0.0. Накопичувачі got_w і total_w включають попередні приклади. Це перевірки арифметики й файлів, не моделі.
Ручне судження та буквальний пошук
За одного об’єктивного й одного неоціненого ручного критерію агрегатор оголосив переможця, хоча обидва варіанти мали pending_manual=1. Лічильник видимий, але обіцянку README відкласти висновок код не забезпечує. Властивість no invented numbers стає перевіркою відсутності буквальної фрази invented numbers, а не вигаданих чисел. Contains і regex придатні для формату; достовірність та причинний вплив формулювання вимагають окремої оцінки.
Що варто виправити
Потрібно читати точний номер повтору, зупиняти оцінку за відсутності файла та скидати накопичувачі для кожного повтору й прикладу. Підсумкове рішення треба блокувати за незавершених обов’язкових ручних оцінок або позначати попереднім. Смислові властивості перевіряти вручну, журнал звіряти з матрицею запусків. Тести мають охоплювати різні відповіді, відсутній другий файл, зміну порядку успіху й помилки та pending_manual. Я не змінював репозиторій. Доки це не виправлено, схему краще використовувати як перелік дій із читанням відповідей, а не як надійний вибір за балами.