Stable Diffusionの顔固定完全ガイド

Stable Diffusionで顔固定をしたいとき、同じ顔にならない、Seed値を固定しても崩れる、ControlNetのReference Onlyやreference_onlyの使い方がよく分からない、IP-AdapterやLoRAとの違いがあいまい、という悩みが出やすいですよね。

とくに、気に入った人物画像ができたあとに、ポーズだけ変える、服装だけ変える、背景だけ変える、別モデルでも同じ顔に近づける、といった作業は、設定を少し間違えるだけで別人っぽくなります。PNG Infoで設定を再利用したり、プロンプトやネガティブプロンプトを整えたりしても、なぜか顔が安定しないこともあります。

この記事では、Stable Diffusionの顔固定について、初心者でも整理しやすいように、Seed値、ControlNet、Reference Only、Control Weight、Style Fidelity、Control Mode、IP-Adapter、LoRAの使い分けまでまとめます。顔を完全に保証する魔法の設定ではなく、参照画像に似せる精度をどう上げるかという現実的な視点で解説していきます。

AIで収入UPを実現可能！

Stable Diffusionの顔固定の基本

まずは、Stable Diffusionの顔固定で何ができて、何が苦手なのかを整理します。ここを飛ばして設定だけ触ると、同じ顔を固定するつもりが、服装や構図まで固まりすぎたり、逆に顔が毎回ズレたりしやすいです。

顔固定でできること

Stable Diffusionの顔固定でできることは、ざっくり言うと、気に入った人物の顔や雰囲気を保ちながら、別パターンの画像を作りやすくすることです。たとえば、最初に作った女性キャラクターの顔が気に入った場合に、同じような顔のまま、服装をワンピースからジャケットに変える、背景を室内からビーチに変える、正面向きから少し横向きに変える、といった使い方ができます。

ただし、ここで大切なのは、顔固定は本人確認レベルで同一人物を保証する機能ではないという点です。Stable Diffusionはプロンプト、Seed値、Checkpoint、LoRA、サンプラー、解像度、ControlNet、参照画像など、複数の条件から画像を再生成します。そのため、顔だけを完全にロックして、他の要素だけを自由に変えるのは意外と難しいです。

実用上は、顔の特徴をある程度そろえながら、目的に合わせて許容範囲を決めるという考え方が合っています。SNS用のオリジナルキャラクター、ブログ用の説明画像、同じモデル風のサンプル画像を作りたい場合なら、Reference OnlyやSeed値固定だけでも十分なことがあります。一方で、商用キャラクターとして長期運用したい、漫画の登場人物のように何十枚も同じ顔で出したい、という場合は、LoRAやIP-Adapter系も検討したほうが現実的です。

また、顔固定といっても、目的によって必要な設定は変わります。顔だけを近づけたいのか、髪型も固定したいのか、服装は変えたいのか、背景だけ変えたいのか、ポーズも変えたいのか。ここを分けて考えると、設定の失敗がかなり減りますよ。

同じ顔を保証しない理由

Stable Diffusionの顔固定で一番誤解されやすいのが、Reference OnlyやSeed値固定を使えば、必ず同じ顔になると思ってしまうことです。結論から言うと、Stable Diffusionの顔固定は、同じ顔に近づける手段であって、同じ顔を保証する仕組みではありません。

理由はシンプルで、Stable Diffusionは画像をコピーしているわけではなく、条件に沿って新しく画像を生成しているからです。参照画像を入れても、その画像の顔だけを切り出して貼り付けているわけではありません。顔、髪型、画風、色味、構図、背景の雰囲気などが混ざった情報として働くため、設定によっては顔以外の要素まで引っ張られます。

たとえば、参照画像が正面顔で、プロンプトに横顔やダイナミックなポーズを入れた場合、顔固定の力とプロンプトの指示がぶつかります。顔固定を強くすると正面顔に戻りやすくなり、プロンプトを強くすると顔が別人に寄りやすくなります。うん、ここがかなり悩ましいところです。

さらに、Checkpointモデルを変えると、モデルごとの顔の出方や画風の癖が変わります。アニメ系モデル、リアル系モデル、セミリアル系モデルでは、同じプロンプトや同じ参照画像を使っても、顔の骨格、目の形、肌の質感が変わりやすいです。そのため、別モデルでも完全に同じ顔を維持するというより、同じ人物に見える範囲まで近づけると考えたほうが安全です。

断定しすぎないほうがいい表現

同じ顔にできます、完全に固定できます、モデルを変えても同一人物になります、という表現はかなり強めです。実際には、参照画像に似せやすくなる、顔の一貫性を高めやすい、条件によっては近い顔を維持できる、くらいが正確です。

Seed値を固定する方法

Seed値の固定は、Stable Diffusionで顔固定を試すときの基本です。Seed値とは、画像生成時のランダム性を決める番号のようなものです。デフォルトではSeedがランダムになっているため、同じプロンプトを入れても毎回違う画像が出ます。そこでSeed値を固定すると、生成条件の一部がそろい、同じような構図や顔になりやすくなります。

ただし、Seed値固定は、AIに顔を覚えさせる機能ではありません。ここは大事です。Seed値を固定しても、プロンプトを大きく変えたり、モデルを変えたり、画像サイズを変えたり、サンプラーを変えたりすると、顔や構図は普通に変わります。つまり、Seed値は顔固定そのものというより、再現性を上げるための土台です。

基本手順は、まず気に入った画像を生成し、その画像の生成結果に表示されるSeed値を確認します。次に、Seed欄へその数値を入力し、同じプロンプトや近い設定で再生成します。そのうえで、表情やポーズに関するプロンプトだけを少し変えていきます。たとえば、smileをserious expressionに変える、standing poseをsitting poseに変える、arm upを追加する、といった感じです。

Seed値固定が向いているのは、小さな差分を作るときです。表情を少し変える、手の位置を少し変える、カメラ距離を少し変えるくらいなら、顔の雰囲気を保ちやすいです。

一方で、服装、背景、ポーズ、髪型、アングルを一気に変えると、Seed値だけでは安定しにくいです。その場合は、Reference OnlyやControlNet、必要に応じてLoRAを組み合わせたほうがいいかなと思います。

Seed値固定のコツ

最初から大きく変えず、ひとつの要素だけを変更してテストするのがおすすめです。顔が崩れたときに、どの変更が原因なのか分かりやすくなります。

PNG Infoで設定を再利用

過去に作った画像と同じ顔に近づけたい場合は、PNG Infoの活用がかなり便利です。AUTOMATIC1111系のStable Diffusion WebUIでは、生成したPNG画像にプロンプト、ネガティブプロンプト、Seed値、サンプラー、CFG Scale、画像サイズなどの生成情報が保存されることがあります。PNG Infoに画像を読み込むと、その設定を確認できるので、顔固定の再現作業がしやすくなります。

とくに便利なのが、PNG Infoからtxt2imgへ送る流れです。気に入った画像をPNG Infoに入れて、Send to txt2imgのようなボタンを使えば、当時の設定をかなりまとめて再利用できます。手入力でプロンプトやSeed値を移すよりミスが少ないので、顔固定の検証では積極的に使いたいところです。

ただし、PNG Infoにすべての情報が必ず残るわけではありません。画像をSNSや画像編集ソフトに通した場合、メタデータが消えることもあります。また、同じ設定を戻しても、使っていたCheckpoint、VAE、LoRA、拡張機能のバージョン、WebUIの環境が違うと、完全には同じ結果にならないことがあります。

そのため、私は気に入った顔が出たら、画像ファイルだけでなく、プロンプト、ネガティブプロンプト、Seed値、モデル名、LoRA名、ControlNet設定をメモとして残しておくのがいいと思っています。地味ですが、これが一番効きます。あとから顔固定を再現しようとしたとき、設定の記録があるかないかで作業時間がかなり変わりますよ。

PNG Infoの仕様はWebUIや保存形式によって扱いが変わる場合があります。正確な情報は公式サイトをご確認ください。

ControlNetの導入準備

Reference Onlyを使うには、基本的にControlNet拡張機能が必要です。ControlNetは、Stable Diffusionの画像生成をより細かく制御するための仕組みで、ポーズ、線画、深度、構図、参照画像などを使って生成結果を誘導できます。顔固定では、このControlNet内のReference系機能を使う流れになります。

導入の流れは、WebUIのExtensionsからControlNetを入れて、WebUIを再起動し、txt2imgやimg2imgにControlNetの項目が表示されるか確認する、という形です。環境によって画面表示や項目名が少し違う場合がありますが、考え方は同じです。

Reference Onlyについては、通常のCannyやDepthのように専用のControlNetモデルを選ぶ流れとは少し違います。ControlNet拡張は必要ですが、reference_only自体はPreprocessorとして使うものです。つまり、顔固定を試したいだけなら、まずはControlNetの画面でEnableをオンにし、参照画像を入れて、Preprocessorにreference_onlyを選ぶところから始めると分かりやすいです。

ただし、ControlNetはバージョンやWebUI環境によって表示が変わることがあります。古い環境だとReference系の項目が見つからないこともあります。その場合は、ControlNetの更新、WebUIの再起動、拡張機能の有効化、ブラウザの再読み込みを確認しましょう。

導入時の注意

拡張機能やモデルファイルを追加する場合は、配布元、ライセンス、利用規約を必ず確認してください。商用利用や実在人物の画像を扱う場合は、権利や肖像の問題も絡むため、最終的な判断は専門家にご相談ください。

reference_onlyの使い方

reference_onlyは、参照画像をもとに、顔や画風、雰囲気を近づけた画像を生成しやすくする機能です。Stable Diffusionの顔固定でよく使われる方法のひとつで、追加学習なしで始めやすいのがメリットです。

基本手順はシンプルです。まずtxt2imgを開き、ControlNetを展開します。Single Imageの欄に、顔を固定したい参照画像を入れます。次にEnableをオンにして、Preprocessorからreference_onlyを選びます。あとは通常どおり、プロンプト、ネガティブプロンプト、Checkpoint、画像サイズ、Seed値などを設定し、Generateします。

参照画像は、顔がはっきり写っているものを選ぶのがおすすめです。正面に近く、顔が小さすぎず、髪や目の特徴が見えやすい画像のほうが安定しやすいです。逆に、顔が影で隠れている、横顔すぎる、手や小物が顔にかかっている、複数人が写っている、といった画像は、顔固定の参照としては扱いにくいです。

reference_onlyを使うと、服装や背景を変えても、参照画像に似た顔へ寄せられることがあります。

ただし、顔だけでなく、髪型、色味、構図、画風まで一緒に引っ張られやすい点には注意が必要です。たとえば、元画像がロングヘアなら、ショートヘアを指定してもロング寄りに戻ることがあります。ここは顔固定の強さと自由度のトレードオフです。

まずは、元画像と同じCheckpoint、近いプロンプト、近い画像サイズで試すのが無難です。そこで顔が似るか確認してから、服装、背景、ポーズを一つずつ変えていくと、どこで崩れたのか判断しやすくなります。

ControlNetの詳しい導入や更新情報は、必要に応じてsd-webui-controlnetの公式リポジトリを確認してください。

Stable Diffusionの顔固定実践

ここからは、顔固定を実際に調整するときに見ておきたい項目を整理します。Reference Onlyは入れれば終わりではなく、Control Weight、Style Fidelity、Control Mode、モデル変更、服装変更とのバランスで結果が変わります。

Control Weightの調整

Control Weightは、ControlNetの影響度を調整する項目です。顔固定で使う場合は、参照画像の特徴をどのくらい強く生成結果へ反映させるかを決めるイメージです。数値を上げるほど参照画像に寄りやすくなり、下げるほどプロンプトやモデル側の自由度が出やすくなります。

ただし、Control Weightを上げれば上げるほど顔固定が必ず良くなるわけではありません。強くしすぎると、顔だけでなく、髪型、構図、服装、背景の雰囲気まで固定されすぎることがあります。逆に低すぎると、参照画像の影響が弱くなり、顔が別人っぽくなります。

最初は初期値付近から始めるのがおすすめです。そこから、顔が離れすぎるなら少し上げる、プロンプトが効かないなら少し下げる、という調整が分かりやすいです。顔を似せたい気持ちが強いと、つい数値を大きくしたくなりますが、服装やポーズを変えたい場合は、あえて強すぎない設定のほうが使いやすいこともあります。

Control Weightの調整では、画像を1枚だけ見て判断しないほうがいいです。同じ設定で数枚生成して、顔の安定感、服装の反映、背景の変化、ポーズの自由度をまとめて確認します。顔固定は単発の当たり画像より、安定して近い顔が出るかが大事です。

Style Fidelityの目安

Style Fidelityは、参照画像のスタイルや雰囲気をどのくらい忠実に反映するかに関わる項目です。Reference Onlyで顔固定を試すときは、この数値が結果に影響しやすいです。とくにBalancedモードで使う場合、Style Fidelityを上げるほど参照画像に寄りやすくなります。

顔を似せたいときはStyle Fidelityを上げたくなりますが、これも強ければ正解というものではありません。数値を高めると、顔や髪型の再現度は上がることがありますが、参照画像の構図や雰囲気も強く残りやすくなります。たとえば、元画像がバストアップなら、全身画像を作りたいのに上半身寄りになりやすい、元画像が白背景なら背景の変化が弱くなる、といったことがあります。

まずは中間から少し高めの範囲で試し、顔が離れるなら上げる、プロンプトが効きにくいなら下げる、という順番で見るといいです。顔固定だけを優先する画像なら高めでも問題ないことがあります。一方で、服装、背景、ポーズ、アングルを変えたいなら、少し控えめにしたほうが自然にまとまることも多いです。

Style Fidelityの見方で大事なのは、顔だけではなく、画像全体を見ることです。顔は似たけど服装が変わらない、背景が指定どおりにならない、表情が固い、アングルが固定される。この場合、顔固定が成功しているようで、制作目的としては使いづらいかもしれません。

Style Fidelityの考え方

顔を近づけるための数値として使いつつ、服装や背景を変えたいときは上げすぎないのがコツです。顔固定と自由度のバランスを見る項目だと考えると分かりやすいですよ。

Control Modeの選び方

Control Modeは、プロンプトとControlNetのどちらを優先するかを調整する項目です。主にBalanced、My prompt is more important、ControlNet is more importantのような選択肢があります。顔固定では、この選び方によって、参照画像への寄り方とプロンプトの効き方が変わります。

迷ったら、まずはBalancedから始めるのがおすすめです。Balancedは、プロンプトとControlNetの影響を比較的バランスよく使うモードです。Reference Onlyで顔固定を試す場合、最初の基準として扱いやすいです。

My prompt is more importantは、プロンプトを優先したいときに使います。服装、背景、ポーズ、表情、アングルなどをしっかり変えたい場合に向いています。ただし、プロンプトが強くなるぶん、参照画像の顔から離れやすくなることがあります。顔固定よりも変化を優先するモードという見方でいいです。

ControlNet is more importantは、参照画像の影響を強くしたいときに使います。顔や髪型をより近づけたい場合に試す価値があります。ただし、こちらは服装や背景の変更が効きにくくなることもあります。顔は似るけど、画像の自由度が下がることがあるので注意です。

実際には、Control Modeだけで決めるより、Control WeightやStyle Fidelityとセットで調整します。同じBalancedでも、Style Fidelityが高いと参照に寄りやすくなりますし、Control Weightが低ければプロンプト側の自由度が出やすくなります。

服装や背景だけ変えるコツ

Stable Diffusionの顔固定でよくある目的が、同じ顔のまま服装や背景だけを変えることです。これはReference Onlyと相性がいい作業ですが、設定を強くしすぎると、元画像の服装や背景まで残りやすくなります。

まず、服装や背景を変えたい場合は、プロンプトで変えたい部分を明確に書きます。たとえば、white blouseをblack jacketに変える、school classroomをbeachに変える、indoorをoutdoorに変える、といった感じです。顔を固定したいからといって、元画像の服装や背景に関係する単語を残したままにすると、変更がうまく反映されないことがあります。

次に、Reference Onlyの影響を強くしすぎないことも大切です。Control WeightやStyle Fidelityが高すぎると、顔は近づきますが、服装や背景も元画像に引っ張られます。服装だけ変えたいときは、顔の一致度を少し妥協して、プロンプトが効く余地を残すほうが使いやすいことがあります。

顔を守りながら服装だけ変えるなら、img2imgやInpaintも選択肢です。顔部分をなるべく触らず、服装部分だけをマスクして再生成すれば、顔の崩れを抑えながら差分を作りやすくなります。服装変更を詳しく整理したい場合は、Stable Diffusionで服装だけ変える手順とコツも参考になります。

ポーズも同時に変えたい場合は、ControlNetのOpenPose系と組み合わせる方法もあります。ただし、ポーズ、服装、背景、顔を全部同時に変えると失敗原因が分かりにくくなります。最初は背景だけ、次に服装だけ、最後にポーズ、というように段階的に変えるのがおすすめです。ポーズ変更を先に整理したい場合は、Stable Diffusionでポーズだけ変える基本方法で考え方を確認しておくと進めやすいです。

別モデルで顔が崩れる原因

別のCheckpointモデルに変えると、同じ参照画像や同じSeed値を使っても顔が崩れることがあります。これは自然なことです。Checkpointごとに、得意な顔立ち、目の描き方、肌の質感、髪の表現、アニメ寄りかリアル寄りかといった癖があるためです。

たとえば、アニメ系モデルで作った顔をリアル系モデルにそのまま持っていこうとすると、目のサイズ、鼻の形、輪郭、肌の質感が大きく変わります。逆に、リアル系モデルで作った人物をアニメ系モデルに移すと、顔の情報がデフォルメされ、別キャラっぽくなることがあります。

Reference Onlyを使えば、別モデルでも顔の特徴をある程度引き継げる場合があります。ただし、これはモデルをまたいでも同じ顔を保証するという意味ではありません。むしろ、モデル変更は顔が変わりやすい大きな要因です。別モデルで顔固定したい場合は、元画像と同じモデルで基準を作り、そこから少しずつ移行するほうが安定します。

具体的には、まず同じモデルでReference Onlyの効き具合を確認します。次に、別モデルへ切り替え、プロンプトを変えずに生成します。その結果を見て、顔が離れるならStyle FidelityやControl Weightを少し上げる、顔は近いけど服装が変わらないなら少し下げる、という順番で調整します。

また、LoRAを使っている場合は、モデルとの相性も見ます。同じLoRAでも、Checkpointによって効き方が変わります。ウェイトを強くすると顔は近づいても、服装や表情が固定されすぎることがあります。こういうときは、LoRAのウェイトを少し下げ、Reference Onlyやプロンプトで補うほうが自然にまとまることもあります。

IP-AdapterやLoRAとの違い

顔固定を調べていると、Reference Onlyだけでなく、IP-Adapter、IP-Adapter FaceID、LoRA、DreamBoothなどの言葉も出てきます。最初は混乱しますよね。ざっくり言うと、Reference Onlyは手軽さ重視、IP-Adapterは画像参照の活用、LoRAはキャラクター性の安定化に向いた方法です。

Reference Onlyは、参照画像を1枚入れて始めやすいのが強みです。追加学習がいらないので、まず顔固定を試すにはかなり便利です。ただし、同じ顔を大量に安定生成したい場合や、表情、ポーズ、構図を大きく変えたい場合は、顔がズレることがあります。

IP-Adapterは、画像の特徴を使って生成を誘導する方法です。とくにFaceID系は顔の一貫性を高める目的で使われることがあります。Reference Onlyより顔寄せに向くケースもありますが、環境構築や設定がやや複雑になりやすく、使うWebUIやワークフローによって手順が変わります。

LoRAは、特定のキャラクターや絵柄、服装、人物の特徴を追加学習させる方法です。同じ顔を長期的に使いたい場合や、複数枚の参考画像がある場合は、LoRAのほうが安定しやすいことがあります。一方で、学習用画像の準備、タグ付け、学習設定、権利確認などが必要になるため、Reference Onlyより手間はかかります。

顔固定の目的別に考えると、1枚の画像から軽く似せたいならReference Only、顔の一貫性をもう少し上げたいならIP-Adapter系、同じキャラクターを継続運用したいならLoRA、という分け方が分かりやすいです。

キャラ固定全体の考え方を広く整理したい場合は、Stable Diffusionのキャラ固定で服装やポーズ変更もあわせて見ると、Seed値、Reference Only、ControlNet、LoRAの関係がつかみやすいです。

IP-AdapterやDreamBoothなどの手法は、研究・実装・ツール側の更新が早い分野です。正確な情報は公式サイトをご確認ください。利用規約、ライセンス、実在人物の画像利用、商用利用の可否については、最終的な判断は専門家にご相談ください。

Stable Diffusionの顔固定まとめ

Stable Diffusionの顔固定は、ひとつの設定で完璧に解決するものではありません。Seed値を固定すれば再現性は上がりますが、顔を学習するわけではありません。Reference Onlyを使えば参照画像に似せやすくなりますが、同じ顔を保証するものではありません。IP-AdapterやLoRAを使えば安定性を上げられる場合がありますが、そのぶん設定や準備は増えます。

まず初心者のうちは、気に入った画像の設定をPNG Infoで確認し、Seed値を固定し、同じモデルと近いプロンプトで再生成するところから始めるのがおすすめです。そのうえで、ControlNetのreference_onlyに参照画像を入れ、Control Weight、Style Fidelity、Control Modeを少しずつ調整します。

服装や背景を変えたい場合は、顔固定を強くしすぎないことが大切です。顔に寄せすぎると、元画像の服装や構図まで残りやすくなります。逆に自由度を上げすぎると顔が別人になります。つまり、Stable Diffusionの顔固定は、顔の一致度と画像の自由度のバランスを探す作業です。

最終的には、成功した設定を記録して、自分の環境に合うパターンを作るのが一番強いです。モデル名、Seed値、プロンプト、ネガティブプロンプト、Reference Onlyの設定、Control Weight、Style Fidelity、Control Mode、LoRAの有無をメモしておくと、次回からかなり楽になります。

Stable Diffusionの顔固定は、最初はかなり試行錯誤が必要です。でも、原因を切り分けながら進めると、だんだん安定した設定が見えてきます。あなたの目的が、1枚の差分作成なのか、同じキャラの量産なのかを決めて、無理なく使い分けていきましょう。