今回は以前紹介した機能などを使用して、花畑の背景画を作成していきます。
Controlnetは人物を対象にした機能が多く、背景などを思い通りに作成するのは困難です。
そこで今回もStableDiffusionだけで描くのではなく、CLIPStudioを組み合わせて描いていきます。
CLIPStudioを使った簡単だけど実践的な背景の描き方についての紹介になります。
結果
・StableDiffusionで作成した絵を自分で改修することで、より良い絵にすることが可能
・ペイントソフトを使うことで簡単に改修可能
この記事を読むと
AI絵にラフ画追加して、絵を生成する方法が理解できます。
※記事内に広告が含まれています。
作成する方法(順番)を考える
絵を作るときは、きちんと目的と描く道筋(方法)を決めてから行います。
決めていないとうまく出力されない時に、迷って無駄に時間をかけてしまいかねないからです。
今回は描く絵の目的を「黄色い花畑」「IRIAMやXのサムネやヘッダーなどで使える素材」とします。
ただしこれだけでは漠然としすぎているため、少し目標となる絵の具体案を増やしていきます。
サイズ
サムネやヘッダーで使える画像⇒サイズについてはIRIAMに合わせて480×1125pxとしました。
Xのヘッダーサイズは500×1500とより横長の長方形のため、Stable Diffusionでは不利と判断したためです。
これはStable Diffusionの学習モデルは、正方形で学習されていることが多いことに関係しています。
描く絵の構図
「黄色い花畑」だけでは足りないので、もう少し追加していきます。
「満点の青空」「春先の風景」「菜の花畑」の3つのイメージを追加して考えていきます。
作成する順番
概要が決まったので、実際にどのように描いていくかを決めます。
初めにラフ画を描いて、それをStable Diffusionできちんとした絵にする方法もあります。
しかしそれを行ってしまうと構図が固定されてしまい、自分が描いた絵から大きく変わることはありません。
そこで今回は初めにStableDiffusionで、何枚か描いてその中の気に入ったものをCLIPStudioで修正して絵の完成を目指します。
描く道筋(方法)
- txt2imgで元になる画像を描画
- 良い構図を何枚か選定
- CLIPStudioを使用して、絵を修正(ラフレベル)
- Stable Diffusionで修正したラフ画を参考に再出力
- 気に入るまで繰り返す
txt2imgで元になる画像を描画
実際に最初の絵を決めるために絵を出力していきます。
今回は黄色い花を菜の花としたいので下記のようなプロンプトで作成していきます。
プロンプト
(best quality, masterpiece:1.2),( no human:1.3),canola flower,
field, outdoors, sky, scenery, day, cloud, flower field, blue sky, flower, nature, tree, yellow flower
ネガティブプロンプト
human, low quality, blurry, flat color, flat shading, retro style, poor quality
風景の時など人を映したくない時には、humanをプロンプトとネガティブプロンプト両方に入れることをお勧めします。
またネガティブプロンプトに人に関することを入れたままにすると(missing fingers等)、それを受け取って人が描かれることがあるので注意が必要です。
出力結果
綺麗に出力された画像の中から下記画像について、変更していきたいと思います。
良い絵なのですが、木の葉も黄色になっており春先と言うよりは夏なので、そこを改修していきます。
せっかくなので、春らしく木を桜にしていきたいと思います。
他の画像
CLIPStudioでの修正
一枚目の画像をCLIPStudioで変更していきます。
CLIPStudioの新規作成で、作成した画像と同じサイズのキャンパスを用意します。
そしてそこに先ほど作成した画像を貼り付けます。
今回は桜の木に変更したいので、木の枝と花を白く塗りつぶしていきます。
消しゴムで消してしまうと塗り忘れが起きた時などに、そこが変な画像になるので上書きで塗りつぶしていきます。
また色味に違和感が出にくくするため、白か黒で塗りつぶすと良いです。
また筆などで厚塗りしてしまうと、ぼかし部分が少なくなってしまうのでスプレーで点を打つように修正していきます。
厚塗りして元絵が消えてしまうと、修正ではなく変更になってしまう可能性があります。
また繋ぎ目部分も違和感が出ることがるので、スプレー等色の境をぼかしてくれるツールを使用すると良いです。
修正が完了したら筆で茶色の枝と、スプレーで桜の花を描いていきます。
今回は舞い散る花びらも表現したかったので、濃いめのピンクで点を打っています。
スプレーで点を打つときは、ペンよりマウスでクリックした方がやりやすいです。
画像認識の際に用いられる特徴抽出は、色の境を規準にして形や物体を把握することが多いため、背景色が淡い色の時は濃い目の色で表現するとうまくいきやすいです。
実際に出来上がったラフ画は下記になります。
なんとなくのイメージは掴めます…よね?
img2imgで再出力
実際に作成したラフ画をStableDiffusionにかけて再度出力していきます。
初めに出力した時と違い、「桜が舞い散る情景」が追加されていますので、下記のようにプロンプトにも桜を追加していきます。
追加するプロンプト
(best quality, masterpiece:1.2),( no human:1.3),canola flower, cherry blossoms, Falling cherry blossom petals,
field, outdoors, sky, no humans, scenery, day, cloud, flower field, blue sky, flower, nature, tree, yellow flower
追加するネガティブプロンプト
human, low quality, blurry, flat color, flat shading, retro style, poor quality
実際に出力された結果が下記になります。
桜の花弁が良い感じに表現出来ました。
春先の長閑な様子と、一歩早い夏の暑さを感じられるような絵になったのではないでしょうか?
1枚絵目の方が春先、2枚目の方が夏に向かっている画像のように感じられます。
空の青さの加減や白み加減だけでなく、桜の花の描き方がそう見せるのでしょう。
逆に季節感を出したい時はこの辺を意識して作成すると良さそうです。
まとめ
StableDiffusionで作成した絵を修正して絵を完成させる方法について紹介しました。
改めて3行でまとめると…
・StableDiffusionで作成した絵を自分で改修することで、より良い絵にすることが可能
・ペイントソフトを使うことで簡単に改修可能
Stable Diffusionを使用していると、StableDiffusionだけで完結させようとしてしまいがちです。
ですが、CLIPStudioを使うことでより簡単に自分の思い描く絵にするこが出来ます。
今回行った桜の木の修正などは、Windowsに元から入っているペイントソフトでも代用可能です。
人物では難しいかもしれませんが、背景などでは有効な方法なので是非活用して素晴らしい絵をたくさん描いてみてください!
StableDiffusionにお勧めのグラボ
ここまでの記事を読んでStableDiffusionを始めてみたいと思ったけど、どれを買ったか良いか分からない人向けに私の使っているグラボを紹介します。
私が使用しているグラボはNVIDIA GeForce RTX3060 搭載 グラフィックボード GDDR6 12GBになります。
StableDiffusionで絵を生成するときは、PCのCPUやメモリよりもグラボの性能が重要です。
StableDiffusionではVRAMが12GB以上であることが推奨されていますが、普通のゲーム用のグラボでは8GBのものが多いです。
経験上、一回のプロンプトで一発で望みの絵が出ることは少なく、10枚ぐらい出力してそこから近づけていく作業をします。
しかしVRAMが低いと1枚を生成する時間が長くなってしまいます(完全にVRAM依存ではないですが)
1枚の生成する時間が長いと、最終的なゴールまでの時間も多くかかってしまうので、推奨要領である12GBのグラボを買うことをお勧めします。
VRAMが低い=一度に計算できる数が少ない=生成速度が遅い
そのため解像度の高い絵を生成するのに時間がかかるだけでなく、生成できない可能性もあります(2GBや4GBなど)
Controlnet等、拡張機能を複数使用する場合やLora等の学習を行う場合は、より顕著にVRAMの差が出ます。
そのため単純にAIで出力してみたい。というだけでなく、その一歩先で色々やってみたい方は是非12GB以上を購入してみてください。
ちょっと試すだけなら、下記のような無料AI画像生成サービスを使うのも良いです。
コメント