TorchTPU: нативный PyTorch на Google TPU и цена переноса в одну строку
Google и Meta открыли TorchTPU на PyTorch Conference 2026: PyTorch на TPU с eager-режимом в первом ряду, torch.compile через Dynamo и валидацией на 5 000 самых скачиваемых моделей Hugging Face. Я прочитал посты PyTorch и Google Cloud и репозиторий - что выпущено, чем это не PyTorch/XLA и какие заявления остаются на совести вендоров.
TorchTPU: нативный PyTorch на Google TPU и цена переноса в одну строку
20 октября на PyTorch Conference 2026 Google и Meta открыли исходный код TorchTPU - нативного бэкенда PyTorch для Google TPU, где перенос в лучшем случае сводится к замене .to("cuda") на .to("tpu"). Я прочитал пост в блоге PyTorch, анонс Google Cloud и репозиторий 26 октября 2026 года. Архитектура задокументирована необычно подробно; заявления о производительности принадлежат вендорам, а две компании, оплатившие мост, больше всех выигрывают от мира, где код моделей свободно перемещается.
Что выпущено
TorchTPU - это проект Google, начатый в середине 2025 года вместе с командой PyTorch из Meta и открытый 20 октября на PyTorch Conference 2026, по данным блога PyTorch и поста Google Cloud за авторством Марка Ломейера и Билла Цзя. Это бэкенд TPU, написанный с нуля, а не очередная прослойка над JAX: eager-режим - первоклассный, torch.compile работает через Torch Dynamo, а не Lazy Tensors, а распределенные идиомы PyTorch (DDP, FSDP, DTensor) получили TPU-коллективы на уровне Process Group. Репозиторий google-pytorch/torch_tpu на момент чтения 26 октября имел 741 звезду и содержит Apache License 2.0 в файле LICENSE, примененную ко всем файлам - детектор GitHub помечает её как нестандартную лишь из-за строки-заголовка. Блог перечисляет, что есть сегодня: около 450 операций Aten с прямым и обратным проходом для Core ATen-операций основных архитектур, eager-режим DeferAndFuse и авторинг собственных ядер через JAX/Pallas или Helion DSL.
Почему это не PyTorch/XLA
Самая честная часть анонса - вскрытие предыдущей попытки. PyTorch/XLA, представленный в 2020 году, компилировал через Lazy Tensors: по словам авторов TorchTPU, он требовал инвазивных правок исходников для разметки компилируемых регионов, страдал от долгой компиляции, не имел настоящего eager-режима и отставал от распределенных примитивов PyTorch. Это характеристика новой команды в адрес старой, и обе сидят внутри Google - но критика совпадает с тем, что помнит любой, кто воевал с графами XLA, и объясняет три опубликованных принципа дизайна. PyTorch citizenship: никаких зависимостей от JAX в рантайме, твердый eager-режим и компиляция через Dynamo с целевой производительностью на уровне JAX compile. Фокус на пользователе: модель должна запускаться из коробки после замены одной строки с оговоркой, прямо указанной в посте, что пиковая производительность по-прежнему требует работы с формами и шардированием, потому что модели заточены под архитектуру GPU. Улучшение состояния дел: JIT-компиляция для eager-режима и bounded dynamism, чтобы XLA перестал перекомпилировать при каждой смене формы.
Что покрывает «валидация»
Заявления о совместимости достаточно конкретны, чтобы их проверить. В постах сказано, что TorchTPU запускает из коробки 5 000 самых скачиваемых моделей Hugging Face - названы семейства Qwen, DeepSeek, Gemma, Llama, Mistral, Whisper, CLIP, ViT, ResNet, BERT и T5 - и что Transformers v5 открывает это как device_map="tpu", с нативной работой Diffusers и ночным CI набора Transformers на инфраструктуре TPU. Инференс идет через vLLM и SGLang с мультихостовым режимом, обучение - через TorchTitan, оркестрация - через Ray, плюс TorchRec, llm-d и LiteRT. Самое сильное заявление: TorchTPU уже обслуживает продакшн-инференс и обучение для некоторых из крупнейших клиентов Google Cloud. Клиенты не названы, поэтому это предложение остается заявлением вендора, а не рекомендацией.
Экономика, с атрибуцией
Reuters сообщало в декабре 2025 года, что Google работает с Meta над подрывом программного преимущества Nvidia, и этот релиз - то, как такой репортаж выглядит в коде. Цитата Meta в посте Google от директора по инжинирингу PyTorch Джаны ван Грюнен гласит, что Meta «не может быть ограничена одной аппаратной архитектурой», и описывает TorchTPU как аппаратную гибкость для LLM, рекламы и рекомендательных нагрузок. Джефф Будье из Hugging Face говорит об аппаратной нейтральности. Фрейминг Google - выбор клиента между TPU, GPU и CPU под единой операционной моделью; стоит помнить, что Google - это еще и компания, сдающая TPU в аренду, так что у моста есть пункт взимания платы на дальней стороне. Ров Nvidia - это никогда не был только чип; это предположение, что CUDA-код не может переехать. TorchTPU - профинансированная, спроектированная атака на это предположение. Сработает ли она, решат миграции, а не анонсы: первый публичный разбор реального обучающего прогона, перенесенного с GPU на TPU, будет стоить больше всего опубликованного на этой неделе.
Что я не проверял
Я не запускал рабочую нагрузку PyTorch на TPU. Каждое утверждение о производительности здесь - «конкурентная отрасли» пропускная способность, закрытие разрыва между eager и compiled, соответствие Dynamo compile уровню JAX - принадлежит вендору, как и список совместимости на 5 000 моделей и заявление о продакшн-клиентах. Критика PyTorch/XLA исходит от самих авторов TorchTPU. Число звезд и лицензия прочитаны из репозитория 26 октября 2026 года.