Текстовий енкодер був необов'язковим увесь цей час: Halcyon обходить попередньо навчені T2I при в 275 разів менших обчисленнях

Що вони насправді зробили

Стаття Кешігеяна Чандрасегарана, Юе Чжао, Арміна В. Томаса, Ехсана Аделі, Цзяцзюнь Ву, Хуана Карлоса Ньєблеса, Лі Фей-Фей і Майкла Полі була опублікована 15 жовтня 2026 року, того ж дня ваги зʼявилися на Hugging Face. Установка навмисно проста: один decoder-only трансформер (архітектура Qwen3, випадкова ініціалізація), який читає текстові та графічні токени як єдину послідовність і навчається передбаченню наступного токена. Кожен компонент побудований з нуля на GPIC, наборі даних зі 100 мільйонів пар зображення-текст у 256x256: токенізатор зображень (енкодер-декодер у стилі Cosmos зі скінченною скалярною квантизацією, що відображає кожне зображення в 1,024 токени зі словника на 64,000 кодів), текстовий токенізатор (байтовий BPE на 16,384 токени, навчений на підписах GPIC і OpenWebText) і сам генератор. Один спільний словник на 80,640 записів, одна епоха, 97,632 кроки з розміром батча 1,024.

Саме дизайн порівняння робить результат читабельним. T2I-системи зазвичай порівнюють між собою, хоча вони попередньо навчені на різних даних, тож ніхто не може сказати, чи дає перемогу архітектура, чи набір даних. Команда натомість перенавчила два представницькі late-fusion бейзлайни, LlamaGen (авторегресійний, енкодер FLAN-T5-XL) і JiT-T2I (піксельна дифузія, енкодер Qwen3-1.7B), на тих же 100 мільйонах пар з офіційним кодом авторів, покривши 256 і 1,024 графічних токени, з перцептивною функцією втрат і без. А коли вони рахують обчислення, вони рахують все: мовну модель, токенізатор зображень і генератор. Цей вибір обліку тихе ядро статті. "0.9B" генератор, зумовлений 1.22B FLAN-T5-XL, що спожив трильйон текстових токенів, це не система на 0.9B; звичка поля повідомляти розмір генератора і ігнорувати вартість навчання енкодера це те, що дозволяло ховати розриви в 18 і 275 разів.

Три абляції і є результат

Заголовні цифри ще могли бути артефактом даних або налаштування, тому переконлива частина це трійка контрольованих експериментів, що прямо запитують: чи допомагає мовне попереднє навчання? По-перше, заміна замороженого енкодера з FLAN-T5-Base на FLAN-T5-XL всередині того ж LlamaGen, у 13.5 раза більше обчислень мовного навчання, покращує gFD лише з 66.7 до 63.3. По-друге, текстове попереднє навчання Halcyon-0.52B перед T2I-навчанням, на 10, 20 чи 50 відсотків фіксованого бюджету, монотонно погіршує gFD з 48.0 до 51.6, 52.8 і 65.1; текстове навчання поверх повної T2I-епохи при півторакратному бюджеті теж не допомагає (49.2 проти 48.0). По-третє, ініціалізація з Qwen3-0.6B-Base, справжньої попередньо навченої мовної моделі з 36 трильйонами текстових токенів за плечима, не дає виграшу проти ідентичної архітектури, навченої з нуля (47.8 проти 46.6). Чого б інтернет-текст не навчав модель, мало що з цього переноситься на відображення підписів у пікселі в цьому режимі, а за фіксованого бюджету воно активно витісняє пари, які переносяться.

Є й воістину елегантний побічний результат. Classifier-free guidance потребує безумовних прикладів зображень, і стандартний рецепт отримує їх, викидаючи підписи з 10 відсотків навчальних прикладів, тобто викидаючи текстовий нагляд. Halcyon натомість переносить ці підписи після токенів зображення, перетворюючи кожен викинутий приклад на приклад image-to-text. Модель вчиться підписувати зображення з нульовою додатковою вартістю попереднього навчання (NLL тексту, зумовленого зображенням, на 0.52B падає з 18.41 до 1.10), а якість T2I лишається статистично незмінною в усіх пʼяти розмірах. Безкоштовне капціонування як побічний продукт зміни в бухгалтерії це той тип трюку, який зрештою опиняється всюди.

Мій висновок

Чесний масштаб: це 256x256, одна епоха, моделі до 4B, виміряні здебільшого на власному тестовому спліті GPIC. Ніхто не повинен читати це як "фронтирним моделям зображень мова не потрібна": питання, яке тут закрите, вужче і, гадаю, корисніше. За фіксованого бюджету попереднього навчання мовне попереднє навчання не безкоштовний обід, як вважало поле, і припущення здебільшого захищав облік, який ніколи за нього не виставляв рахунку. Цей патерн, коли компонент, який усі включають за замовчуванням, виявляється необовʼязковим, варто лише порахувати його ціну, трапляється далеко за межами генерації зображень. Це той самий рух, який виправив порівняння вартості інференсу в reasoning-моделей. Зазначу і мотивацію, вона не чисто академічна: Radical Numerics будує мультимодальні біологічні моделі (їхня лінійка Omnii охоплює двадцять із лишком модальностей), і "як розподіляти обчислення попереднього навчання між модальностями" це їхнє виробниче питання, а T2I обрано тому, що в нього є публічні дані та бенчмарки. Це не знецінює результат: бейзлайни перенавчені на спільних даних, що більше, ніж пропонує більшість заяв такого роду, але корисно знати, чому саме це питання отримало такий добрий обґрунтований відповідь.