VERSE: מייעל שבודק את העריכות שלו לפני שהוא מגיש אותן

מה המאמר טוען

יש שני תפקידים. המבצע הוא מודל קפוא שמנסה משימות קוד בתוך הרנס. המייעל קורא מסלולים כושלים ועורך את ההרנס של המבצע במשך כמה סבבים. מערכות קודמות משאירות את המייעל קבוע. VERSE מאפשר לו לשנות את ההנחיות, המיומנויות, הכלים, ה-hooks וההערות של עצמו, בעוד שמשקלי שני המודלים נשארים קפואים.

המחקר הראשון הוא המעניין. עם מייעל Qwen3.8-Flash-Next ומבצע Qwen3.8-27B, הוספת התפתחות עצמית ל-Meta-Harness החמירה את התוצאה: אף סבב לא ניצח את ההרנס ההתחלתי באימות. לפי המחברים, המייעל כתב לתוך עצמו לקחים שלא נבדקו ולא יכול היה לדעת אילו מהם שגויים. כשנתנו לו כלי להרצת טיוטה על משימת אימון אחת, אותה מערכת הגיעה לדיוק של 41.05% במבחן, הגבוה בטבלה ההיא.

איך VERSE עובד

לפני הגשת עריכה, המייעל יכול להריץ מחדש כשל, לקצר מסלול כושל לכמה צעדים חשובים, ולהפריע לצעד חשוד כדי לראות אם התוצאה משתנה. בין סבבים הוא מנהל יומן: אילו משימות תוקנו, אילו נסוגו, ואילו תיקונים בוטלו אחר כך. במחקר שני עם חמישה מבצעים, המייעל המתפתח בעצמו בנה 51 רכיבים מארבעה סוגים: איתור סיבות כשל, אימות, ביקורת אימון וכללי זרימת עבודה כמו תזכורות תקציב.

סקיצה של הלולאה

# Illustration of verify-before-submit. Not the authors' code and not run.
def improve_harness(harness, failures, budget):
    for round_no in range(budget):
        cause = rank_causes(failures)            # attribution
        draft = edit(harness, cause)
        passed_before = [t for t in tasks if run(harness, t)]
        ok_target = run(draft, cause.task)       # replay the failure
        ok_old = all(run(draft, t) for t in passed_before[:5])  # regressions
        if ok_target and ok_old:
            return draft
    return harness

המספרים

סיכום המאמר מחזיק: VERSE עם התפתחות עצמית מנצח את קו הבסיס שלו בכל 16 ההשוואות בטבלה, ב-0.6 עד 10.3 נקודות. קריאה צמודה מוסיפה הסתייגות. מבין ארבעת המארחים, ההרנס הטוב ביותר בתוך ההתפלגות מגיע מ-VERSE בלי התפתחות עצמית בשלושה, והטוב ביותר מחוץ להתפלגות מגיע מהגרסה המתפתחת בעצמה בשניים. כלומר כלי האימות עושים את רוב העבודה בתוך ההתפלגות, והטיעון בעד התפתחות עצמית נשען בעיקר על המשימות החדשות והרב-לשוניות.

איפה הראיות דלות

כל שורה היא ריצת התפתחות אחת. שגיאות התקן הן הפיזור על פני שלוש הערכות מבחן של אותה ריצה, לא על פני ריצות בלתי תלויות. במבחן בתוך ההתפלגות יש 108 משימות, כך שמשימה אחת היא בערך 0.9 נקודות, וכמה פערים בטבלה הם שתיים או שלוש משימות. כל משימות האימון והאימות ב-Python, ומתוך 107 המשימות מחוץ להתפלגות 87 ב-Go, Java, Rust או TypeScript. המחברים מציינים גם שכלי האימות קבועים, כל פעולה נרשמת והמבצע רץ בלי רשת. זה תוחם את היקף השינוי העצמי אצלם, וזה החלק שמי שיישם בפועל יצטרך לבנות מחדש.

למי זה חשוב

לצוותים שמכווננים הרנס של סוכן ידנית או עם מייעל. הלקח המעשי שורד את ההסתייגויות: תנו לעורך אוטומטי דרך להריץ את השינוי ולבדוק שמשימות שכבר עברו ממשיכות לעבור, לפני שמשאירים אותו. המאמר מציין שהמייעל הקבוע בדק לעיתים קרובות רק משימות שההרנס הנוכחי נכשל בהן, וכך אי אפשר לגלות נסיגה.