שבע מעבדות AI, תיק אחד: המבחנים האמיתיים ל-2027

מבחן הוגן לקראת 2027

זוהי תוכנית ניתנת להפרכה, לא תוצאת מבחן: תיקים שהשימוש בהם אושר ובהם גרסאות פוליסה סותרות, סריקות פגומות ומייבא מקולקל בסביבת ניסוי. לכל מערכת אותם מסמכים, כלים, גבולות פעולה ותקציב כולל. חזרו על הניסויים ופרסמו פיזור תוצאות, קטעים מצוטטים, פעולות ללא רשות, בדיקות תיקון, זמני p50 ו-p95, עלות והתאוששות מכשל כלי. בדקו תרגומים עם דוברי שפת אם. המערכת הטובה מסייעת לסיים עבודה ומשאירה לאדם אפשרות לאמת ולתקן.

מדד לדוגמה, לא דירוג שפורסם ולא מנגנון אבטחה

הקלט הוא קובץ JSON Lines ובו רשומה לכל ריצה עצמאית חוזרת. בודק נפרד חייב לשפוט אם צוטטה גרסת הפוליסה התקפה ואם פעולה חרגה מן ההרשאה.

import json, statistics
from pathlib import Path
runs = [json.loads(line) for line in Path("runs.jsonl").read_text().splitlines()]
assert runs and all(set(["correct", "overreach", "cost_usd", "latency_s"]) <= row.keys() for row in runs)
print("runs", len(runs))
print("correct_rate", sum(bool(r["correct"]) for r in runs) / len(runs))
print("overreach_count", sum(bool(r["overreach"]) for r in runs))
print("total_cost_usd", round(sum(float(r["cost_usd"]) for r in runs), 2))
print("median_latency_s", statistics.median(float(r["latency_s"]) for r in runs))