NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation
Résumé du communiqué de presse
Les modèles de diffusion se dégradent parfois lorsqu’ils génèrent à une résolution bien inférieure à celle d’entraînement. NoiseShift relie ce problème à un décalage entre le niveau de bruit programmé et la corruption réellement perçue à basse résolution. Sans réentraîner le modèle ni modifier le calendrier d’échantillonnage, la méthode recalibre le conditionnement du bruit. Sur Stable Diffusion 3, Stable Diffusion 3.5 et Flux-Dev, les auteurs rapportent des gains réguliers sans surcoût d’inférence ; le FID de SD3 à 128 × 128 passe notamment de 203 à 171 sur LAION-COCO.
résumé
Text-to-image diffusion models often degrade when sampled at resolutions outside the final training resolution set. Prior work has largely emphasized higher resolution generation, enabling pretrained diffusion models to extrapolate beyond the resolutions seen during training. In this work, we instead target lower-resolution generation, performing inference at reduced resolution to significantly cut computational cost. We show that network conditioning of the noise level induces a train-test mismatch that directly degrades low-resolution generation: the same scheduled noise level can correspond to a different perceptual corruption level at lower resolutions, mis-calibrating the denoiser timestep and noise embedding. To this end, we propose NoiseShift, a training-free recalibration method that keeps the original noise sampling schedule unchanged and instead re-indexes the noise conditioning of the denoiser to restore local forward-reverse consistency. Using a lightweight coarse-to-fine calibration on a small set of image-text pairs, NoiseShift learns a resolution-specific mapping from scheduler noise to conditioning noise, reducing train-test mismatch and improving lower-resolution generation quality. When NoiseShift is applied to Stable Diffusion 3 (SD3), Stable Diffusion 3.5 (SD3.5), and Flux-Dev, generation quality at low resolutions improves consistently. Particularly, SD3 generation at 128x128 resolution gets an improved FID score from 203 to 171, and SD3.5 gets an improved FID score from 310 to 277 on LAION-COCO. Even Flux-Dev which already implements a complementary time-shifting strategy gets a modest boost from NoiseShift with an improved FID score from 120 to 113 at 64x64 resolution. More importantly, NoiseShift achieves such improvements with minimal implementation changes and no additional inference overhead.
citation
@article{henoiseshift,
title = {NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation},
author = {He, Ruozhen and Haji-Ali, Moayed and Yang, Ziyan and Ordonez, Vicente},
journal = {arXiv preprint arXiv:2510.02307},
url = {https://arxiv.org/abs/2510.02307},
}
questions, principales contributions et limites de cet article générées automatiquement
Questions auxquelles cet article aide à répondre
- Quel problème NoiseShift résout-il ? Il améliore la génération texte-image aux résolutions inférieures à celles de l’entraînement final.
- Pourquoi la qualité baisse-t-elle ? Un même bruit programmé correspond à une corruption perceptive différente à basse résolution, ce qui décale le pas de temps et l’encodage du bruit du débruiteur.
- Faut-il réentraîner le modèle ? Non ; NoiseShift conserve le calendrier et réindexe le conditionnement du bruit.
- Quels modèles sont testés ? Stable Diffusion 3, Stable Diffusion 3.5 et Flux-Dev, tous améliorés à basse résolution.
Principales contributions
- NoiseShift identifie un décalage de conditionnement dépendant de la résolution.
- Il apprend une correspondance propre à chaque résolution à partir d’un petit ensemble de calibration.
- Il conserve le calendrier original sans surcoût d’inférence annoncé.
- Les FID s’améliorent sur SD3, SD3.5 et Flux-Dev, dont SD3 de 203 à 171 à 128 × 128.
Limites et mises en garde
- L’étude couvre trois familles de diffusion ; d’autres architectures et domaines restent à tester.
- La robustesse dépend potentiellement de la composition du petit ensemble de calibration.
- Des évaluations utilisateur, de latence et d’utilité aval compléteraient les métriques d’image.
- Sa portée est ciblée, mais l’absence de réentraînement et de surcoût en fait une intervention pratique.
Comment interpréter ce résultat
NoiseShift est une correction ciblée et efficace d’un décalage concret à basse résolution, soutenue par des résultats cohérents sur plusieurs familles de modèles.