Текстовый энкодер был необязателен всё это время: Halcyon обходит предобученные T2I при в 275 раз меньших вычислениях

Что они на самом деле сделали

Статья Кешигеяна Чандрасегарана, Юэ Чжао, Армина В. Томаса, Эхсана Адели, Цзяцзюнь Ву, Хуана Карлоса Ньеблеса, Ли Фей-Фей и Майкла Поли была опубликована 15 октября 2026 года, в тот же день веса появились на Hugging Face. Установка намеренно проста: один decoder-only трансформер (архитектура Qwen3, случайная инициализация), который читает текстовые и графические токены как единую последовательность и обучается предсказанию следующего токена. Каждый компонент построен с нуля на GPIC, датасете из 100 миллионов пар изображение-текст в 256x256: токенизатор изображений (энкодер-декодер в стиле Cosmos с конечной скалярной квантизацией, отображающий каждое изображение в 1,024 токена из словаря в 64,000 кодов), текстовый токенизатор (байтовый BPE на 16,384 токена, обученный на подписях GPIC и OpenWebText) и сам генератор. Один общий словарь на 80,640 записей, одна эпоха, 97,632 шага с размером батча 1,024.

Именно дизайн сравнения делает результат читаемым. T2I-системы обычно сравнивают между собой, хотя они предобучены на разных данных, так что никто не может сказать, даёт ли победу архитектура или датасет. Команда вместо этого переподготовила два представительных late-fusion бейзлайна, LlamaGen (авторегрессионный, энкодер FLAN-T5-XL) и JiT-T2I (пиксельная диффузия, энкодер Qwen3-1.7B), на тех же 100 миллионах пар с официальным кодом авторов, покрыв 256 и 1,024 графических токена, с перцептивной функцией потерь и без. А когда они считают вычисления, они считают всё: языковую модель, токенизатор изображений и генератор. Этот выбор учёта тихое ядро статьи. "0.9B" генератор, обусловленный 1.22B FLAN-T5-XL, потребившим триллион текстовых токенов, это не система на 0.9B; привычка поля сообщать размер генератора и игнорировать стоимость обучения энкодера это то, что позволяло прятать разрывы в 18 и 275 раз.

Три абляции и есть результат

Заголовочные цифры ещё могли быть артефактом данных или настройки, поэтому убедительная часть это тройка контролируемых экспериментов, прямо спрашивающих: помогает ли языковое предобучение? Во-первых, замена замороженного энкодера с FLAN-T5-Base на FLAN-T5-XL внутри того же LlamaGen, в 13.5 раза больше вычислений языкового предобучения, улучшает gFD лишь с 66.7 до 63.3. Во-вторых, текстовое предобучение Halcyon-0.52B перед T2I-обучением, на 10, 20 или 50 процентов фиксированного бюджета, монотонно ухудшает gFD с 48.0 до 51.6, 52.8 и 65.1; текстовое предобучение поверх полной T2I-эпохи при полуторном бюджете тоже не помогает (49.2 против 48.0). В-третьих, инициализация с Qwen3-0.6B-Base, настоящей предобученной языковой модели с 36 триллионами текстовых токенов за плечами, не даёт выигрыша против идентичной архитектуры, обученной с нуля (47.8 против 46.6). Чему бы интернет-текст ни учил модель, мало что из этого переносится на отображение подписей в пиксели в этом режиме, а при фиксированном бюджете оно активно вытесняет пары, которые переносятся.

Есть и по-настоящему элегантный побочный результат. Classifier-free guidance требует безусловных примеров изображений, и стандартный рецепт получает их, выбрасывая подписи из 10 процентов обучающих примеров, то есть выбрасывая текстовое наблюдение. Halcyon вместо этого переносит эти подписи после токенов изображения, превращая каждый выброшенный пример в пример image-to-text. Модель учится подписывать изображения с нулевой добавочной стоимостью предобучения (NLL текста, обусловленного изображением, на 0.52B падает с 18.41 до 1.10), а качество T2I остаётся статистически неизменным во всех пяти размерах. Бесплатное капшионирование как побочный продукт изменения в бухгалтерии это тот тип трюка, который в итоге оказывается повсюду.

Мой вывод

Честный масштаб: это 256x256, одна эпоха, модели до 4B, измеренные в основном на собственном тестовом сплите GPIC. Никто не должен читать это как "фронтирным моделям изображений язык не нужен": вопрос, который здесь закрыт, уже и, думаю, полезнее. При фиксированном бюджете предобучения языковое предобучение не бесплатный обед, как полагало поле, и предположение в основном защищалось учётом, который никогда за него не выставлял счёт. Этот паттерн, когда компонент, который все включают по умолчанию, оказывается необязательным, стоит лишь посчитать его цену, встречается далеко за пределами генерации изображений. Это то же движение, которое исправило сравнение стоимости инференса у reasoning-моделей. Отмечу и мотивацию, она не чисто академическая: Radical Numerics строит мультимодальные биологические модели (их линейка Omnii охватывает двадцать с лишним модальностей), и "как распределять вычисления предобучения между модальностями" это их производственный вопрос, а T2I выбран потому, что у него есть публичные данные и бенчмарки. Это не обесценивает результат: бейзлайны переподготовлены на общих данных, что больше, чем предлагает большинство заявлений такого рода, но полезно знать, почему именно этот вопрос получил такой хороший ответ.