CAVEWOMAN: שאלה קצרה עלולה להשאיר חשבון גדול יותר
CAVEWOMAN מפרידה בין קיצור השאלה לקיצור התשובה. תוצאות המחברים מציעות למדוד את הבקשה כולה, ובדיקת המשמעות מראה מה תשובה סופית נכונה עלולה להסתיר.
CAVEWOMAN מפרידה בין קיצור השאלה לקיצור התשובה. תוצאות המחברים מציעות למדוד את הבקשה כולה, ובדיקת המשמעות מראה מה תשובה סופית נכונה עלולה להסתיר.
שני צדי החשבון
מחיקת מילות קישור נראית חסכונית. המודל עשוי להשיב בטקסט ארוך יותר ולבטל את החיסכון בקלט. CAVEWOMAN בוחנת בנפרד סינון קלט עם הוראת מערכת קבועה, ושאלה מלאה עם הגבלה על הפלט. Adobe הציגה את העבודה ב-29 באוקטובר; מאמר arXiv המקושר מתוארך ל-23 ביוני 2026. זו קריאה של מחקר קיים ולא השקה חדשה היום.
מה המחברים מדווחים
המאמר מתאר שמונה מודלים, חמישה מבחנים וחמש רמות קיצור. התקציר מדווח על הפחתת עלות פלט פי 1.4 עד 2.4 ברוב מודלי API, ועד פי שלושה במקרה הטוב ביותר. קיצור הקלט הגדיל את העלות נטו בערך פי 1.15 בממוצע חמשת המבחנים בתנאים האלה. אלו תוצאות המחברים בתמחור ובמשימות שלהם; לא שחזרתי אותן. במאגר מופיעים גם היקפי ניסוי שונים מתקציר המאמר, ולכן אקבע גרסה לפני שימוש במספרים הכוללים.
תוצאה נכונה עם משמעות שונה
הפרוטוקול בודק גם הסכמה עם התשובה הלא מוגבלת של אותו מודל. המחברים מדווחים שכמחצית מהתשובות במודלים ללא חשיבה עשויות להיות נכונות, בעוד הטקסט כבר אינו גורר את משמעות תשובת הייחוס. זו השוואת טקסטים, לא חשיפה של חשיבה חבויה ולא הוכחה שהייחוס נכון. בסיכום עסקי, אובדן תנאי עלול להזיק גם כשהמספר הסופי נשמר.
ההשוואה המקומית שהייתי מכין
אשמור את השאלה המקורית ואשווה תשובה רגילה להוראת קיצור אחת על אותם מקרים קבועים. ארשום טוקני קלט ופלט שחויבו, הגדרות, ניסיונות חוזרים, נכונות ושמירת תנאים. גם כישלונות נכנסים לחישוב. דוגמת Python למטה מחשבת עלות מטוקנים וממחירים למיליון. המספרים בדויים, אין קריאת API ואין שחזור של המחקר.
# Fictional token counts; supplied rates per million tokens.
def cost(input_tokens, output_tokens, input_rate, output_rate):
return (input_tokens * input_rate + output_tokens * output_rate) / 1_000_000
baseline = cost(100, 300, 1, 4)
short_input = cost(80, 340, 1, 4)
short_output = cost(100, 180, 1, 4)
assert short_input > baseline > short_outputמתי הייתי עוצר
מספר טוקנים נמוך לא יעבור אם הסתייגות, יחידה או פעולה נדרשת נעלמו. המאגר מגביל את הממצאים המרכזיים למשימות חד-סבביות עם תשובה קצרה שניתנת לחילוץ ולחיוב ישיר לפי טוקן; טקסט ארוך מתנהג אחרת. מגבלות מנוי, קלט במטמון, טוקני חשיבה ועלויות כלים דורשים חשבון נפרד כשצריך. אבחר אורך לאחר השוואת העלות והמידע שנשמר בעבודה האמיתית.