L'encodeur de texte était optionnel depuis le début : Halcyon bat les T2I pré-entraînés avec 275 fois moins de calcul

Ce qu'ils ont réellement fait

L'article, de Keshigeyan Chandrasegaran, Yue Zhao, Armin W. Thomas, Ehsan Adeli, Jiajun Wu, Juan Carlos Niebles, Li Fei-Fei et Michael Poli, a été publié le 15 octobre 2026, avec les poids sur Hugging Face le même jour. Le montage est délibérément simple : un seul Transformer decoder-only (architecture Qwen3, initialisation aléatoire) qui lit les tokens de texte et d'image comme une seule séquence et s'entraîne à la prédiction du token suivant. Chaque composant est construit à partir de zéro sur GPIC, un jeu de données de 100 millions de paires image-texte en 256x256 : le tokeniseur d'images (un encodeur-décodeur de style Cosmos avec quantification scalaire finie, projetant chaque image en 1,024 tokens issus d'un livre de 64,000 codes), le tokeniseur de texte (un BPE au niveau octet de 16,384 tokens, entraîné sur les légendes GPIC et OpenWebText), et le générateur lui-même. Un vocabulaire commun de 80,640 entrées, une époque, 97,632 pas à taille de lot 1,024.

Le dessin de la comparaison est ce qui rend le résultat lisible. Les systèmes T2I sont habituellement comparés entre eux alors qu'ils sont pré-entraînés sur des données différentes, si bien que personne ne peut dire si une victoire vient de l'architecture ou du jeu de données. L'équipe a plutôt ré-entraîné les deux lignes de base late-fusion représentatives - LlamaGen (autorégressif, encodeur FLAN-T5-XL) et JiT-T2I (diffusion pixel, encodeur Qwen3-1.7B) - sur les mêmes 100 millions de paires avec le code officiel de leurs auteurs, couvrant 256 et 1,024 tokens d'image, avec et sans perte perceptuelle. Et quand ils comptent le calcul, ils comptent tout : modèle de langue, tokeniseur d'images et générateur. Ce choix comptable est le cœur silencieux de l'article. Un générateur "0.9B" conditionné par un FLAN-T5-XL de 1.22B ayant consommé mille milliards de tokens de texte n'est pas un système de 0.9B ; l'habitude du domaine de rapporter la taille du générateur en ignorant le coût d'entraînement de l'encodeur est ce qui permettait de cacher des écarts de 18 et 275 fois.

Les trois ablations sont le résultat

Les chiffres de titre pouvaient encore être un artefact de données ou de réglage, donc la partie convaincante est le trio d'expériences contrôlées demandant directement : le pré-entraînement linguistique aide-t-il ? D'abord, remplacer l'encodeur gelé de FLAN-T5-Base par FLAN-T5-XL dans le même montage LlamaGen - 13.5 fois plus de calcul de pré-entraînement linguistique - n'améliore le gFD que de 66.7 à 63.3. Ensuite, donner à Halcyon-0.52B une phase de pré-entraînement texte seul avant l'entraînement T2I, à 10, 20 ou 50 pour cent d'un budget fixe, dégrade monotone le gFD de 48.0 à 51.6, 52.8 et 65.1 ; exécuter le texte d'abord par-dessus une époque T2I complète à 1.5 fois le calcul total n'aide pas non plus (49.2 contre 48.0). Enfin, initialiser depuis Qwen3-0.6B-Base - un vrai modèle de langue pré-entraîné avec 36 mille milliards de tokens de texte derrière lui - ne donne aucun gain sur la même architecture entraînée à partir de zéro (47.8 contre 46.6). Quoi que le texte d'internet apprenne à un modèle, peu de chose se transfère vers la projection de légendes en pixels dans ce régime, et à budget fixe cela évince activement les paires qui se transfèrent.

Il y a aussi un résultat annexe vraiment élégant. Le guidage sans classifieur exige des exemples d'images inconditionnels, et la recette standard les obtient en supprimant les légendes de 10 pour cent des exemples d'entraînement - jetant la supervision textuelle. Halcyon déplace plutôt ces légendes après les tokens d'image, transformant chaque exemple abandonné en exemple image-vers-texte. Le modèle apprend le sous-titrage d'images à coût de pré-entraînement additionnel nul (la NLL du texte conditionné à l'image à 0.52B tombe de 18.41 à 1.10) tandis que la qualité T2I reste statistiquement inchangée sur les cinq tailles. Un sous-titrage gratuit comme sous-produit d'un changement de comptabilité est le genre d'astuce qui finit partout.

Ce que j'en retiens

La portée honnête : c'est du 256x256, une époque, des modèles jusqu'à 4B, mesurés surtout sur la propre partition de test de GPIC. Personne ne devrait y lire "les modèles d'image de pointe n'ont pas besoin de langue" - la question tranchée ici est plus étroite et, je pense, plus utile : à budget de pré-entraînement fixe, le pré-entraînement linguistique n'est pas le repas gratuit que le domaine supposait, et la supposition était surtout protégée par une comptabilité qui ne la facturait jamais. Ce schéma - un composant que tout le monde inclut par défaut se révèle optionnel dès qu'on compte son coût - apparaît bien au-delà de la génération d'images. C'est le même mouvement qui a corrigé la comparaison des coûts d'inférence des modèles de raisonnement. Je note aussi que la motivation n'est pas purement académique : Radical Numerics construit des modèles biologiques multimodaux (sa ligne Omnii couvre plus de vingt modalités), et "comment allouer le calcul de pré-entraînement entre modalités" est sa question de production, T2I ayant été choisi parce qu'il a des données et des benchmarks publics. Cela n'invalide pas le résultat - les lignes de base ont été ré-entraînées sur des données partagées, ce qui est plus que la plupart des affirmations de ce genre - mais il est utile de savoir pourquoi cette question précise a reçu une si bonne réponse.