NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation
Resumo do comunicado de imprensa
Modelos de difusão podem se degradar ao gerar em resoluções muito menores que as de treinamento. NoiseShift atribui isso a um desajuste entre o ruído programado e a corrupção percebida em baixa resolução. Sem retreinar o modelo nem alterar o cronograma de amostragem, recalibra o condicionamento de ruído. Em Stable Diffusion 3, Stable Diffusion 3.5 e Flux-Dev, os autores relatam melhorias sem custo adicional de inferência; o FID do SD3 em 128 × 128 passa de 203 para 171 no LAION-COCO.
resumo
Text-to-image diffusion models often degrade when sampled at resolutions outside the final training resolution set. Prior work has largely emphasized higher resolution generation, enabling pretrained diffusion models to extrapolate beyond the resolutions seen during training. In this work, we instead target lower-resolution generation, performing inference at reduced resolution to significantly cut computational cost. We show that network conditioning of the noise level induces a train-test mismatch that directly degrades low-resolution generation: the same scheduled noise level can correspond to a different perceptual corruption level at lower resolutions, mis-calibrating the denoiser timestep and noise embedding. To this end, we propose NoiseShift, a training-free recalibration method that keeps the original noise sampling schedule unchanged and instead re-indexes the noise conditioning of the denoiser to restore local forward-reverse consistency. Using a lightweight coarse-to-fine calibration on a small set of image-text pairs, NoiseShift learns a resolution-specific mapping from scheduler noise to conditioning noise, reducing train-test mismatch and improving lower-resolution generation quality. When NoiseShift is applied to Stable Diffusion 3 (SD3), Stable Diffusion 3.5 (SD3.5), and Flux-Dev, generation quality at low resolutions improves consistently. Particularly, SD3 generation at 128x128 resolution gets an improved FID score from 203 to 171, and SD3.5 gets an improved FID score from 310 to 277 on LAION-COCO. Even Flux-Dev which already implements a complementary time-shifting strategy gets a modest boost from NoiseShift with an improved FID score from 120 to 113 at 64x64 resolution. More importantly, NoiseShift achieves such improvements with minimal implementation changes and no additional inference overhead.
citação
@article{henoiseshift,
title = {NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation},
author = {He, Ruozhen and Haji-Ali, Moayed and Yang, Ziyan and Ordonez, Vicente},
journal = {arXiv preprint arXiv:2510.02307},
url = {https://arxiv.org/abs/2510.02307},
}
perguntas, principais contribuições e limitações deste artigo geradas automaticamente
Perguntas que este artigo ajuda a responder
- Que problema o NoiseShift resolve? Melhora a geração texto-imagem abaixo das resoluções finais de treinamento.
- Por que a qualidade cai? O mesmo ruído programado representa corrupção perceptiva diferente em baixa resolução e descalibra o denoiser.
- É preciso retreinar? Não; o método mantém o cronograma e reindexa o condicionamento de ruído.
- Quais modelos foram avaliados? Stable Diffusion 3, Stable Diffusion 3.5 e Flux-Dev.
Principais contribuições
- NoiseShift identifica um desajuste de condicionamento dependente da resolução.
- Aprende um mapeamento por resolução com um pequeno conjunto de calibração.
- Mantém o cronograma original sem overhead de inferência relatado.
- Melhora o FID em SD3, SD3.5 e Flux-Dev, incluindo SD3 de 203 para 171.
Limitações e ressalvas
- Três famílias são avaliadas; outras arquiteturas e domínios permanecem por testar.
- A composição do pequeno conjunto de calibração pode afetar a robustez.
- Avaliações de usuário, latência e utilidade downstream complementariam as métricas.
- O escopo é específico, mas não exigir retreinamento nem overhead torna a solução prática.
Como interpretar este resultado
NoiseShift é uma correção eficiente e direcionada para um desajuste concreto em baixa resolução, sustentada por resultados consistentes.