プレスリリース要約
拡散モデルは学習時より大幅に低い解像度で生成すると品質が落ちることがあります。NoiseShiftは、予定されたノイズ量と低解像度で知覚される破損量のずれを原因として示します。再学習やサンプリング日程の変更を行わず、ノイズ条件だけを再較正します。Stable Diffusion 3、Stable Diffusion 3.5、Flux-Devで追加の推論負荷なく改善し、LAION-COCOの128×128 SD3ではFIDが203から171になりました。
要旨
Text-to-image diffusion models often degrade when sampled at resolutions outside the final training resolution set. Prior work has largely emphasized higher resolution generation, enabling pretrained diffusion models to extrapolate beyond the resolutions seen during training. In this work, we instead target lower-resolution generation, performing inference at reduced resolution to significantly cut computational cost. We show that network conditioning of the noise level induces a train-test mismatch that directly degrades low-resolution generation: the same scheduled noise level can correspond to a different perceptual corruption level at lower resolutions, mis-calibrating the denoiser timestep and noise embedding. To this end, we propose NoiseShift, a training-free recalibration method that keeps the original noise sampling schedule unchanged and instead re-indexes the noise conditioning of the denoiser to restore local forward-reverse consistency. Using a lightweight coarse-to-fine calibration on a small set of image-text pairs, NoiseShift learns a resolution-specific mapping from scheduler noise to conditioning noise, reducing train-test mismatch and improving lower-resolution generation quality. When NoiseShift is applied to Stable Diffusion 3 (SD3), Stable Diffusion 3.5 (SD3.5), and Flux-Dev, generation quality at low resolutions improves consistently. Particularly, SD3 generation at 128x128 resolution gets an improved FID score from 203 to 171, and SD3.5 gets an improved FID score from 310 to 277 on LAION-COCO. Even Flux-Dev which already implements a complementary time-shifting strategy gets a modest boost from NoiseShift with an improved FID score from 120 to 113 at 64x64 resolution. More importantly, NoiseShift achieves such improvements with minimal implementation changes and no additional inference overhead.
引用
@article{henoiseshift,
title = {NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation},
author = {He, Ruozhen and Haji-Ali, Moayed and Yang, Ziyan and Ordonez, Vicente},
journal = {arXiv preprint arXiv:2510.02307},
url = {https://arxiv.org/abs/2510.02307},
}
この論文について自動生成された質問、主な貢献、および限界
この論文が答える助けとなる質問
- NoiseShiftは何を改善しますか？最終学習解像度より低い条件でのテキスト画像生成です。
- なぜ品質が低下しますか？同じ予定ノイズが低解像度では異なる知覚破損に対応し、デノイザの時間ステップとノイズ埋め込みがずれるためです。
- 再学習は必要ですか？不要で、元の日程を保ちノイズ条件を再インデックスします。
- どのモデルを評価しましたか？Stable Diffusion 3、Stable Diffusion 3.5、Flux-Devです。
主な貢献
- 解像度依存の条件ずれを特定します。
- 小さな較正集合から解像度別の写像を学習します。
- 元のノイズ日程を保ち、報告上の推論負荷を増やしません。
- SD3、SD3.5、Flux-DevのFIDを改善し、SD3では203から171になりました。
限界と注意点
- 3モデル系列が中心で、他の構造や領域は今後の対象です。
- 小さな較正集合の構成が頑健性に影響する可能性があります。
- 利用者評価、遅延、下流価値を測ると画像指標を補完できます。
- 対象は限定的ですが、再学習と追加負荷が不要な点は実用的です。
この結果の読み解き方
NoiseShiftは低解像度における具体的なずれを効率よく補正する方法で、複数モデル系列の一貫した結果に支えられています。