TorchTPU: PyTorch טבעי על ה-TPU של גוגל, והמחיר של הסבה בשורה אחת
גוגל ומטא פתחו את TorchTPU בכנס PyTorch 2026: PyTorch על TPU עם eager ראשון, קימפול דרך Dynamo ואימות על 5,000 המודלים המורדים ביותר ב-Hugging Face. קראתי את הפוסטים של PyTorch ו-Google Cloud ואת המאגר - מה שוחרר, למה זה לא PyTorch/XLA, ואילו טענות נשארות של הספקים.
TorchTPU: PyTorch טבעי על ה-TPU של גוגל, והמחיר של הסבה בשורה אחת
ב-20 באוקטובר, בכנס PyTorch 2026, גוגל ומטא פתחו את קוד TorchTPU - מנוע PyTorch טבעי ליחידות ה-TPU של גוגל שבו ההסבה, במקרה הטוב, היא החלפת .to("cuda") ב-.to("tpu"). קראתי את הפוסט בבלוג PyTorch, את ההודעה של Google Cloud ואת המאגר ב-26 באוקטובר 2026. הארכיטקטורה מתועדת בפירוט חריג; טענות הביצועים הן של הספקים עצמם, ושתי החברות שמממנות את הגשר הן גם אלו עם הרווח הגדול ביותר מעולם שבו קוד של מודלים נע בחופשיות.
מה שוחרר
TorchTPU הוא מאמץ של גוגל שהחל באמצע 2025 יחד עם צוות PyTorch של מטא, ושוחרר כקוד פתוח בכנס PyTorch 2026 ב-20 באוקטובר, לפי בלוג PyTorch והפוסט של Google Cloud מאת מארק לומאייר וביל ג'יה. מדובר במנוע TPU שנכתב מאפס ולא בעוד שכבה מעל JAX: ביצוע eager הוא מדרגה ראשונה, torch.compile עובד דרך Torch Dynamo ולא Lazy Tensors, ואידיומים מבוזרים של PyTorch (DDP, FSDP, DTensor) מקבלים פעולות קולקטיביות של TPU ברמת Process Group. המאגר google-pytorch/torch_tpu החזיק 741 כוכבים כשקראתי אותו ב-26 באוקטובר ונושא את רישיון Apache 2.0 בקובץ LICENSE, החל על כל הקבצים - הגלאי של GitHub מסמן אותו כלא סטנדרטי רק בגלל שורת כותרת. הבלוג מפרט מה קיים היום: כ-450 פעולות Aten עם מעבר קדימה ואחורה לפעולות Core ATen של הארכיטקטורות המרכזיות, מצב eager בשם DeferAndFuse, וכתיבת ליבות מותאמות דרך JAX/Pallas או Helion DSL.
למה הניסיון הזה הוא לא PyTorch/XLA
החלק הכנע ביותר בהודעה הוא הניתוח של הניסיון הקודם. PyTorch/XLA, שהוצג ב-2020, קימפל דרך Lazy Tensors: לדברי מחברי TorchTPU הוא דרש עריכות פולשניות בקוד כדי לסמן אזורים ניתנים לקימפול, סבל מזמן קימפול חמור, לא היה לו מצב eager אמיתי והוא פגר אחרי הפרימיטיבים המבוזרים של PyTorch. זהו תיאור של הצוות החדש לעבודת הצוות הישן, ושני הצוותים יושבים בתוך גוגל - אבל הביקורת תואמת את מה שכל מי שנאבק בגרפי XLA זוכר, והיא מסבירה את שלושת עקרונות העיצוב שפורסמו. אזרחות PyTorch: בלי תלויות JAX בסביבת הריצה, מצב eager מוצק וקימפול מבוסס Dynamo עם יעדי ביצועים דומים לקימפול JAX. דגש על המשתמש: מודל צריך לרוץ מיד אחרי שינוי שורת ההתקן, עם הסתייגות המצוינת בפוסט עצמו שביצועי שיא עדיין דורשים עבודה על צורות וחלוקה, כי מודלים מכוונים לארכיטקטורת GPU. שיפור ה-state of the art: קימפול JIT למצב eager, ודינמיות חסומה כדי ש-XLA יפסיק לקמפל מחדש בכל שינוי צורה.
מה «האימות» מכסה
טענות התאימות מספיק ספציפיות כדי לבחון אותן. בפוסטים נאמר ש-TorchTPU מריץ מיידית את 5,000 המודלים המורדים ביותר ב-Hugging Face - המשפחות המוזכרות כוללות Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, ResNet, BERT ו-T5 - וש-Transformers v5 חושף זאת כ-device_map="tpu", עם Diffusers שרץ טבעי ו-CI לילי של חבילת Transformers על תשתית TPU. ההגשה רצה דרך vLLM ו-SGLang עם הסקה מרובת מארחים, האימון דרך TorchTitan, התזמור דרך Ray, ובנוסף TorchRec, llm-d ו-LiteRT. הטענה החזקה ביותר היא ש-TorchTPU כבר מריץ הסקה ואימון בייצור עבור חלק מהלקוחות הגדולים ביותר של Google Cloud. הלקוחות אינם מוזכרים בשמם, ולכן המשפט הזה נשאר טענת ספק ולא המלצה.
הכלכלה, עם ייחוס
רויטרס דיווחה בדצמבר 2025 שגוגל עובדת עם מטא על שחיקת יתרון התוכנה של אנבידיה, והמהדורה הזו היא איך שהדיווח הזה נראה כקוד. הציטוט של מטא בפוסט של גוגל, מפי ג'אנה ון גרונן, מנהלת ההנדסה של PyTorch, אומר שמטא «לא יכולה להיות מוגבלת לארכיטקטורת חומרה אחת» ומציג את TorchTPU כגמישות חומרה לעומסי LLM, פרסום והמלצות. ג'ף בודייה מ-Hugging Face מציג זאת כנייטרליות חומרה. המסגור של גוגל הוא בחירת הלקוח בין TPU, GPU ו-CPU תחת מודל תפעולי אחד - וכדאי לזכור שגוגל היא גם החברה שמשכירה את ה-TPU, כך שלגשר יש עמדת אגרה בגדה הרחוקה. החפיר של אנבידיה מעולם לא היה רק השבב; הוא ההנחה שקוד CUDA לא יכול לעבור. TorchTPU הוא מתקפה מתוקצבת ומהונדסת על ההנחה הזו. אם היא תצליח יוכרע על ידי הסבות, לא הודעות: ניתוח ה-post-mortem הציבורי הראשון של ריצת אימון אמיתית שהועברה מ-GPU ל-TPU יהיה שווה יותר מכל מה שפורסם השבוע.
מה שלא אימתתי
לא הרצתי עומס עבודה של PyTorch על TPU. כל טענת ביצועים כאן - תפוקה «תחרותית לתעשייה», סגירת הפער בין eager לקומפילציה, קימפול Dynamo שמשתווה ל-JAX - היא של הספק, וכך גם רשימת התאימות של 5,000 המודלים וטענת לקוחות הייצור. הביקורת על PyTorch/XLA מגיעה ממחברי TorchTPU עצמם. מספר הכוכבים והרישיון נקראו מהמאגר ב-26 באוקטובר 2026.