GDPx: לקרוא את המכנה לפני שנים עשר האחוזים
המבחן החדש של SemiAnalysis מציג ציון נמוך. בחירת התחומים, הניקוד והמעטפת קובעת מה אפשר להסיק.
המבחן החדש של SemiAnalysis מציג ציון נמוך. בחירת התחומים, הניקוד והמעטפת קובעת מה אפשר להסיק.
מה פורסם היום
SemiAnalysis פרסמה את GDPx ב-2 בנובמבר. האתר הרשמי מציג 206 משימות, 14 שותפים ו-11 תחומים. בטבלה הכוללת הגלויה Claude Opus 5.5 עם 12.0, Gemini 4 Carbon עם 10.9 ו-GPT-6 Astra עם 9.6. אלו תוצאות שדווחו, לא מדידה ששחזרתי. קראתי הכרזה, טבלה ועמוד עקבות ציבוריים, בלי להריץ משימות או לבדוק את המאגר הפרטי.
תיק עבודה נבחר
התחומים הם תכנון שבבים, סייבר, ביולוגיה, פיננסים, משפט, מסחר כמותי, שיפור עצמי רקורסיבי, חומרה, מדע חומרים, alignment ותוכנה. ממשלה, נדלן וביטוח הושמטו במכוון. זו הנחת המחברים לגבי ביקוש עתידי. לדעתי הציון מתאר את התיק הנבחר, ואינו אומדן ישיר לחלק המשרות, שעות העבודה או הכלכלה שאפשר להחליף.
איך נבנה הממוצע
לכל תחום משקל שווה ולכל שותף בתוך תחום משקל שווה. משתמשים בניקוד בינארי וחלקי. המחברים מתארים pass@1 על פני שלושה ניסיונות. זה אינו הטוב משלושה, ונקודות חלקיות אינן ספירה של עבודות שהושלמו. לפני שאייחס משמעות יציבה לפער קטן, ארצה תוצאות משימה, קוד צבירה ואומדני אי ודאות.
המודל מגיע עם מעטפת
מגבלת הזמן הרגילה שמונה שעות, ולעיתים פחות. משתמשים במעטפות מקוריות כשיש, ואחרת ב-OpenCode. ההשוואה כוללת מערכות עבודה, בלי לשמור כל מעטפת קבועה. זה עשוי להתאים לקונה אך לא מבודד את תרומת מודל הבסיס. צוות צריך לתעד לקוח, כלים, זמן וסביבת משימה מתוכננת.
משמעות הסירוב
המחברים מייחסים חלק מהציונים למסווגי בטיחות ומציגים השוואה בלי סייבר, ביולוגיה ו-alignment. הייתי שומר את שתי ההשוואות בנפרד: הסרת תחומים משנה את העבודה הנמדדת. סירוב עשוי להפריע למחקר מורשה או לשמור גבול הכרחי במקום אחר. דירוג אינו אישור לבקשה אמיתית. לא אימתתי ניסוי סיבתי שמוכיח את הסבר המחברים.
עקבות ציבוריים
עמוד rollouts אומר שכל שותף פרסם עקבות של משימה אחת והשאר פרטיים נגד התאמה למבחן. דוגמה עוזרת להסביר כשל בלי לאמת עצמאית את כל הציון. QA אוטומטי וסקירה ידנית הם תהליך שהמחברים מתארים, לא אישור שלי לכל בודק פרטי. תוכנית לעדכון כל שלושה עד שישה חודשים מחייבת תיעוד מהדורה.
ההשוואה המקומית
לבחור עבודה מדומה מורשית ולשמור מודל, מעטפת, סביבה, מגבלות, ניסיונות חוזרים, תוצאה ועלות. להשוות תנאים או להסביר הבדלים. ה-JSON למטה הוא רשומה שלא הורצה, לא פלט GDPx. הייתי משתמש במבחן למציאת שאלות קשות ואחר כך בודק את העבודה המצומצמת הדרושה. אחוז בלי המכנה שלו אינו מדד יכולת אוניברסלי.
{"trial":"proposed_not_run","benchmark_edition":"PIN_ME","model":"PIN_ME","harness":"PIN_ME","domain_weights":"EXPLICIT","grading":"binary_or_partial","attempt_results":[],"cost":null}