StableDiffusionを使ったラフ画から絵の生成方法

ヘッダーやサムネを作る時、素晴らしい立ち絵に合わせた良いものを作りたい！

でもフリー素材じゃ物足りない。ということもありますよね。

そういった時にラフ画から良い背景を作成する方法について紹介したいと思います。

結果

この記事を読むと

ラフ画から絵の生成方法の詳細が分かります。

※記事内に広告が含まれています。

使用Tool

Tool：CLIP STUDIO PAINT

※イラストを描くツールは自身のPCやスマホに合わせたもので大丈夫です。

スマホであれば、アイビスペイントなどが無料で使えるのでおススメです。

実際に背景を作成して完了というわけではなく、そこに立ち絵や文字を追加しますので、何かしらのお絵描きソフトやToolは持っておくと便利です。

注意事項

1.完成形とラフ画の縦横比（アスペクト比）を一致させる

後から縦横比を変えてしまうと、うまく元の絵の構図が反映されないことがあります。

そのため、下書きを描く段階(CLIP STUDIO PAINTで新規作成した段階)で、最終的な絵のサイズで作っておくことをお勧めします。

2.構図に必要な要素は全て書き込む

細かいエフェクトなどは不要ですが、大きな空白があるとそこを勝手に埋められてしまい、意図しない図になってしまうことがあります。

3.配色や色味は合わせておく

おそらくラフ画の段階で色味も考えていると思いますが、何も彩色しないと色味が自動で決まります。

特にキャラの髪の色や服の色など、作り手がこだわりたいポイントについては確実に彩色しておくようにしましょう。

今回はimg2imgで行うため、txt2imgで作成するよりも配色の変更が難しいです。

逆に言えば、ラフ画でもきちんと彩色を決めておけば、完成形の絵にもしっかりとその色味が反映されます。

【検証】実際にラフ画から描いてみた

今回はX(旧Twitter)のヘッダーを作成してみたいと思います。

Xのヘッダーサイズは1500×500ピクセルなので、CLIP STUDIO PAINTでもそのサイズで新規作成します。

作成出来たら自身の描きたいラフ画を描いていきます。

今回は、「湖畔に浮かぶ赤井神社」というコンセプトで作成していきます。

３分程度で下記のようなスケッチを描きます。

(下手とか下手とか下手とかのクレームは受け付けませんｗ)

イメージは緑が山や草原、青が湖、茶色が島でその上に神社と鳥居があるイメージです。

命令は下記のようにしました。

プロンプト

(best quality, masterpiece:1.2),
( no human:1.3),
shrine,
Shrine and red torii gate standing on an island in the lake,
The walls of the shrine are red, the roof is black, Black wooden door, and a golden shimenawa is worn on the door,
The lake is surrounded by mountains and meadows, where you can feel the budding of spring

ネガティブプロンプト

human, low quality, blurry, flat color, flat shading, retro style, poor quality

各設定は下記の通り設定しました。

設定	値
Sampling method	DPM++ 2M Karras
Ｗidth	1500
Height	500
Sampling Steps	50
CFG Scale	8.5
Denoising Strength	0.75

出力結果

ラフ絵を太目の筆で描いたため、ラフ画自体の見た目が水彩画っぽく見えます。

そのため、出来上がった絵も水彩画のような色彩になりました。

2～3分で描いたラフ絵から作ったとしては大分良いのではないでしょうか？

反省点

成功した点

1.湖畔の色彩がきれいに再現された

　あえて、色を水色ではなく少し紫に近づけたことで、神社と相まって神秘的な雰囲気にすることが出来ました。

２.風景画＋プロンプトで「No human」としたことで、余計な人やキャラクターが出てこなかった。

　結果的に作成数のほとんどで風景画のみで生成出来た。

3.春先などをプロンプトに組み込んだおかげで、全体的に明るい春先のイメージの絵が生成出来た。

　モノや形状などの登場物のみしか記載しないと、何か殺風景な寂しい絵になることが多いです。

　そういった時は、季節や情景を追加することで良い絵になることが多いです。

失敗した点

1.どこからの視点かを記載していなかった

視点を指定していないため、緑で描いた部分が俯瞰して周りの山を描くのか、森の中から覗いている形なのかをうまく指定できなかった。

2.神社の指定が足りていなかった。

学習モデルは海外のものが多いため、日本特有の建造物の作成は苦手です。

そのため、本来は神社と鳥居を分けて作成したかったのですが、合わさったような形のものが多く出てきてしまいました。

3.はっきりした絵が一枚も出てこなかった。

今回は思いがけず水彩画っぽい画像で満足できましたが、場合によってはもっとはっきりした絵が良いという場合もあるでしょう。

その場合はプロンプトで「はっきりした絵」、ネガティブプロンプトで「水彩画」「ぼやっとした絵」などを追加する必要があると思います。

もしくは筆ではなく、もう少し詳細にラフ画を描けば変わります。

まとめ

今回はラフ画から簡単に絵を作成する方法について紹介しました。

改めて3行でまとめると…

サムネやヘッダーを作成するうえで背景を作るのは意外と手間ですよね。

かと言って自分で描くスキルもないし…

そんな時にラフ画を描いて、AIで生成すれば時間の節約になりますし、できた絵を元に絵師さんに頼むと自分の構想とのズレを少なくできます。

是非ラフ画から素敵な絵をたくさん描いてみてください！

StableDiffusionにお勧めのグラボ

ここまでの記事を読んでStableDiffusionを始めてみたいと思ったけど、どれを買ったか良いか分からない人向けに私の使っているグラボを紹介します。

私が使用しているグラボはNVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GBになります。

StableDiffusionで絵を生成するときは、PCのCPUやメモリよりもグラボの性能が重要です。

StableDiffusionではVRAMが12GB以上であることが推奨されていますが、普通のゲーム用のグラボでは8GBのものが多いです。

経験上、一回のプロンプトで一発で望みの絵が出ることは少なく、10枚ぐらい出力してそこから近づけていく作業をします。

しかしVRAMが低いと1枚を生成する時間が長くなってしまいます(完全にVRAM依存ではないですが)

1枚の生成する時間が長いと、最終的なゴールまでの時間も多くかかってしまうので、推奨要領である12GBのグラボを買うことをお勧めします。

VRAMが低い＝一度に計算できる数が少ない＝生成速度が遅い

そのため解像度の高い絵を生成するのに時間がかかるだけでなく、生成できない可能性もあります(2GBや4GBなど)

Controlnet等、拡張機能を複数使用する場合やLora等の学習を行う場合は、より顕著にVRAMの差が出ます。

そのため単純にAIで出力してみたい。というだけでなく、その一歩先で色々やってみたい方は是非12GB以上を購入してみてください。

ちょっと試すだけなら、下記のような無料AI画像生成サービスを使うのも良いです。