TorchTPU: нативний PyTorch на Google TPU і ціна перенесення в один рядок
Google і Meta відкрили TorchTPU на PyTorch Conference 2026: PyTorch на TPU з eager-режимом у першому ряду, torch.compile через Dynamo і валідацією на 5 000 найзавантажуваніших моделях Hugging Face. Я прочитав пости PyTorch і Google Cloud та репозиторій - що випущено, чим це не PyTorch/XLA і які заяви лишаються на совісті вендорів.
TorchTPU: нативний PyTorch на Google TPU і ціна перенесення в один рядок
20 жовтня на PyTorch Conference 2026 Google і Meta відкрили код TorchTPU - нативного бекенда PyTorch для Google TPU, де перенесення в найкращому разі зводиться до заміни .to("cuda") на .to("tpu"). Я прочитав пост у блозі PyTorch, анонс Google Cloud і репозиторій 26 жовтня 2026 року. Архітектура задокументована незвично детально; заяви про продуктивність належать вендорам, а дві компанії, що профінансували міст, найбільше виграють від світу, де код моделей вільно переміщується.
Що випущено
TorchTPU - це проєкт Google, розпочатий у середині 2025 року разом із командою PyTorch з Meta і відкритий 20 жовтня на PyTorch Conference 2026, за даними блогу PyTorch та поста Google Cloud за авторством Марка Ломеєра і Білла Цзя. Це бекенд TPU, написаний з нуля, а не чергова прокладка над JAX: eager-режим - першокласний, torch.compile працює через Torch Dynamo, а не Lazy Tensors, а розподілені ідіоми PyTorch (DDP, FSDP, DTensor) отримали TPU-колективи на рівні Process Group. Репозиторій google-pytorch/torch_tpu на момент читання 26 жовтня мав 741 зірку і містить Apache License 2.0 у файлі LICENSE, застосовану до всіх файлів - детектор GitHub позначає її як нестандартну лише через рядок-заголовок. Блог перелічує, що є сьогодні: близько 450 операцій Aten із прямим і зворотним проходом для Core ATen-операцій основних архітектур, eager-режим DeferAndFuse і створення власних ядер через JAX/Pallas або Helion DSL.
Чому це не PyTorch/XLA
Найчесніша частина анонса - розтин попередньої спроби. PyTorch/XLA, представлений 2020 року, компілював через Lazy Tensors: за словами авторів TorchTPU, він вимагав інвазивних правок вихідників для розмітки компільованих регіонів, страждав від тривалої компіляції, не мав справжнього eager-режиму й відставав від розподілених примітивів PyTorch. Це характеристика нової команди на адресу старої, і обидві сидять усередині Google - але критика збігається з тим, що пам'ятає кожен, хто воював із графами XLA, і пояснює три опубліковані принципи дизайну. PyTorch citizenship: жодних залежностей від JAX у рантаймі, твердий eager-режим і компіляція через Dynamo з цільовою продуктивністю на рівні JAX compile. Фокус на користувачі: модель має запускатися з коробки після заміни одного рядка з застереженням, прямо зазначеним у пості, що пікова продуктивність досі потребує роботи з формами й шардуванням, бо моделі заточені під архітектуру GPU. Покращення стану справ: JIT-компіляція для eager-режиму та bounded dynamism, щоб XLA перестав перекомпілювати за кожної зміни форми.
Що покриває «валідація»
Заяви про сумісність достатньо конкретні, щоб їх перевірити. У постах сказано, що TorchTPU запускає з коробки 5 000 найзавантажуваніших моделей Hugging Face - названі родини Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, ResNet, BERT і T5 - і що Transformers v5 відкриває це як device_map="tpu", з нативною роботою Diffusers і нічним CI набору Transformers на інфраструктурі TPU. Інференс іде через vLLM і SGLang із мультихостовим режимом, навчання - через TorchTitan, оркестрація - через Ray, плюс TorchRec, llm-d і LiteRT. Найсильніша заява: TorchTPU уже обслуговує продакшн-інференс і навчання для деяких із найбільших клієнтів Google Cloud. Клієнти не названі, тому це речення лишається заявою вендора, а не рекомендацією.
Економіка, з атрибуцією
Reuters повідомляло в грудні 2025 року, що Google працює з Meta над підривом програмної переваги Nvidia, і цей реліз - те, як такий репортаж виглядає в коді. Цитата Meta в пості Google від директорки з інжинірингу PyTorch Джани ван Грюнен каже, що Meta «не може бути обмежена однією апаратною архітектурою», і описує TorchTPU як апаратну гнучкість для LLM, реклами та рекомендаційних навантажень. Джефф Будьє з Hugging Face говорить про апаратну нейтральність. Фреймінг Google - вибір клієнта між TPU, GPU і CPU під єдиною операційною моделлю; варто пам'ятати, що Google - це ще й компанія, що здає TPU в оренду, тож у моста є пункт стягування плати на дальньому боці. Рів Nvidia - це ніколи не був лише чіп; це припущення, що CUDA-код не може переїхати. TorchTPU - профінансована, спроєктована атака на це припущення. Чи спрацює вона, вирішать міграції, а не анонси: перший публічний розбір реального навчального прогону, перенесеного з GPU на TPU, вартиме більше за все опубліковане цього тижня.
Що я не перевіряв
Я не запускав робоче навантаження PyTorch на TPU. Кожне твердження про продуктивність тут - «конкурентна галузі» пропускна здатність, закриття розриву між eager і compiled, відповідність Dynamo compile рівню JAX - належить вендору, як і список сумісності на 5 000 моделей і заява про продакшн-клієнтів. Критика PyTorch/XLA походить від самих авторів TorchTPU. Кількість зірок і ліцензію прочитано з репозиторію 26 жовтня 2026 року.