拡散モデルにおけるセルフアテンションガイダンスの紹介

ノイズから画像を合成する反復的なノイズ除去プロセスを用いる拡散モデルは、その印象的な画像生成能力で知られています。生成される画像の品質と多様性は、クラス分類子ガイダンスや分類子フリーガイダンスなどの様々なガイダンス方法によるものです。最近の研究では、クラスラベルなどのガイダンス技術がこれらのモデルによって生成される画像の品質向上に重要な役割を果たしていることが示されています。

しかし、拡散モデルとそのガイダンス方法は特定の外部条件下での限界に直面します。分類子フリーガイダンス（CFG）はトレーニングプロセスを複雑にし、クラス分類子ガイダンス（CG）は追加の分類子トレーニングを必要とします。これらの方法は、複雑な外部条件に依存することで、その可能性が限定され、条件付きの設定に縛られてしまいます。

これらの制約を克服するため、セルフアテンションガイダンス（SAG）と呼ばれる新しいアプローチが開発されました。SAGは、拡散モデルの中間サンプルから情報を活用して画像生成を向上させます。この記事では、SAGの仕組み、方法論、そして現在の先進的なフレームワークとの比較について掘り下げていきます。

セルフアテンションガイダンス（SAG）の詳細

1. 基礎とアーキテクチャ

• ノイズ除去拡散確率モデル（DDPM）: このモデルは、ノイズから画像を回復するために、ステップバイステップのノイズ除去プロセスを使用します。
• 分類子ガイダンスと分類子フリーガイダンス、GANの実装: これらの方法は、GANの多様性と忠実度のトレードオフを拡散モデルに統合します。分類子ガイダンスは追加の分類子を使用し、分類子フリーガイダンスはそれなしで動作します。
• 拡散ガイダンスの一般化: これらの方法は効果的ですが、追加の入力に大きく依存しており、その応用範囲を制限しています。

2. 画像品質向上の革新

• セルフアテンションマップの活用: SAGは、重要な情報を逆プロセスで捉え、事前訓練されたモデルでのリスクを最小限に抑えます。
• ブラーガイダンス技術: この技術はガウスブラーを利用して微細なディテールをフィルタリングし、より自然に画像生成プロセスを導きます。
• セルフアテンションメカニズムの統合: SAGは、セルフアテンションマップを使用して重要な領域を選択的にぼかし、画像品質を向上させます。

SAGの実験と成果

SAGのメソッドは、Nvidia GeForce RTX 3090 GPUを使用してIDDPM、ADM、安定した拡散フレームワークなど様々なフレームワークでテストされました。

• 無条件生成: SAGはFID、sFID、ISなどの指標を改善し、特定の条件なしで画像品質を向上させる能力を示しました。
• 条件付き生成: SAGは既存のフレームワークにシームレスに統合され、条件付き生成でも高品質な画像を生成しました。
• 安定した拡散との融合: 安定した拡散フレームワークと組み合わせた場合、SAGは画像品質を大幅に向上させ、テキストから画像への合成への応用可能性を示しました。

制約と今後の考察

SAGは画像品質を大幅に向上させますが、いくつかの複雑さと追加の計算コストを導入します。
ただし、メモリや時間消費は目立って増加しないため、操作上のオーバーヘッドは最小限。

結論

セルフアテンションガイダンスは、拡散モデル内の利用可能な内部情報を活用して高品質な画像を生成する革新的で汎用性の高いガイダンス方法です。この方法は、条件やトレーニングを必要としないアプローチで、様々な拡散モデルに適用可能です。生成された画像のアーティファクトを減らし、全体的な品質を向上させるための自己調整効果を強調します。