NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation
Resumen de prensa
Los modelos de difusión suelen entrenarse para ciertos tamaños de imagen, y generar directamente a resoluciones mucho menores puede deteriorar la calidad aunque reduzca el costo computacional. NoiseShift atribuye el problema a un desajuste entre el nivel de ruido programado y la corrupción que realmente se percibe a baja resolución. En lugar de reentrenar el modelo o cambiar el calendario de muestreo, recalibra la señal de condicionamiento de ruido mediante un pequeño procedimiento de grueso a fino. En Stable Diffusion 3, Stable Diffusion 3.5 y Flux-Dev, los autores reportan mejoras consistentes sin costo adicional de inferencia; por ejemplo, el FID de SD3 a 128 por 128 mejora de 203 a 171 en LAION-COCO.
resumen
Text-to-image diffusion models often degrade when sampled at resolutions outside the final training resolution set. Prior work has largely emphasized higher resolution generation, enabling pretrained diffusion models to extrapolate beyond the resolutions seen during training. In this work, we instead target lower-resolution generation, performing inference at reduced resolution to significantly cut computational cost. We show that network conditioning of the noise level induces a train-test mismatch that directly degrades low-resolution generation: the same scheduled noise level can correspond to a different perceptual corruption level at lower resolutions, mis-calibrating the denoiser timestep and noise embedding. To this end, we propose NoiseShift, a training-free recalibration method that keeps the original noise sampling schedule unchanged and instead re-indexes the noise conditioning of the denoiser to restore local forward-reverse consistency. Using a lightweight coarse-to-fine calibration on a small set of image-text pairs, NoiseShift learns a resolution-specific mapping from scheduler noise to conditioning noise, reducing train-test mismatch and improving lower-resolution generation quality. When NoiseShift is applied to Stable Diffusion 3 (SD3), Stable Diffusion 3.5 (SD3.5), and Flux-Dev, generation quality at low resolutions improves consistently. Particularly, SD3 generation at 128x128 resolution gets an improved FID score from 203 to 171, and SD3.5 gets an improved FID score from 310 to 277 on LAION-COCO. Even Flux-Dev which already implements a complementary time-shifting strategy gets a modest boost from NoiseShift with an improved FID score from 120 to 113 at 64x64 resolution. More importantly, NoiseShift achieves such improvements with minimal implementation changes and no additional inference overhead.
cita
@article{henoiseshift,
title = {NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation},
author = {He, Ruozhen and Haji-Ali, Moayed and Yang, Ziyan and Ordonez, Vicente},
journal = {arXiv preprint arXiv:2510.02307},
url = {https://arxiv.org/abs/2510.02307},
}
preguntas, contribuciones principales y limitaciones de este artículo generadas automáticamente
Preguntas que ayuda a responder este artículo
- ¿Qué problema resuelve NoiseShift? Mejora el muestreo de difusión texto-a-imagen a resoluciones inferiores a las usadas al final del entrenamiento, donde la calidad puede degradarse notablemente.
- ¿Por qué empeora la generación a baja resolución? El trabajo sostiene que un mismo nivel de ruido programado representa una corrupción perceptiva distinta a menor resolución y descalibra el paso temporal y la representación de ruido del denoiser.
- ¿NoiseShift reentrena el modelo de difusión? No; es un método sin entrenamiento que mantiene el calendario original y reasigna el condicionamiento de ruido del denoiser.
- ¿Qué modelos se evaluaron? Stable Diffusion 3, Stable Diffusion 3.5 y Flux-Dev, con mejoras consistentes a baja resolución.
Contribuciones principales
- NoiseShift identifica un desajuste de condicionamiento dependiente de la resolución como causa del deterioro de imágenes de difusión a baja resolución.
- El método aprende una correspondencia específica por resolución entre el ruido del calendario y el ruido de condicionamiento con un conjunto pequeño de calibración.
- Conserva el calendario de ruido original y no añade costo de inferencia reportado.
- Los resultados mejoran el FID de SD3, SD3.5 y Flux-Dev, incluido SD3 de 203 a 171 a 128 por 128 en LAION-COCO.
Limitaciones y advertencias
- La evaluación se centra en tres familias de difusión a baja resolución; queda por probar la recalibración en otras arquitecturas y dominios visuales.
- NoiseShift emplea un pequeño conjunto de calibración; trabajos futuros podrían estudiar cómo su composición afecta la robustez entre prompts y resoluciones.
- El artículo reporta métricas de calidad y ejemplos cualitativos; evaluaciones de producto podrían combinar calidad percibida, latencia y utilidad posterior.
- El alcance es deliberadamente específico, pero no requerir reentrenamiento ni añadir costo de inferencia lo convierte en una intervención práctica.
Cómo interpretar este resultado
NoiseShift debe interpretarse como una corrección específica y eficiente de un desajuste concreto en difusión a baja resolución, respaldada por resultados consistentes en varias familias de modelos.