雑コラをAIでリアルにする！
先日公開したアニメ絵の実写版を作る記事はおかげさまで好評でした！
アニメ絵生成の第二弾に行く前に、アニメ絵実写版生成でも威力を発揮する「雑コラ」をAIでリアルにする手法について今回は説明します。
実はAIアートグランプリの時も「雑コラ」と言われたりしていたのでしたw
渚の妖精ぎばさちゃん対キモノアゲハ／koizoom1／漫画@gibasachan
— Dr.(Shirai)Hakase #AI神絵師本 #技術書典14 (@o_ob) March 12, 2023
雑コラに見えるけど
すごい技術
登場人物より多いモデル
これはゆるキャラの未来きたな…#AIArtGp pic.twitter.com/5A4wMUJsND
AIといえばラーメン(？)ですが、こんな画像も作れちゃいます！ラーメンの中にいる秘書さん！
絵面としては結構インパクトがありますが、実は作るのは全然難しくありません！
という訳でやり方をば。使っているモデルは全てBRAです。
どうやって作るのか？
まずは元絵
ちなみに元の絵はこれです。
BRAV4で作った秘書さんと、Stable Diffusion 1.5で作ったラーメン。
コラージュを作る
これらを切り貼りして作った画像の切り取り枠にも気を使ってないような雑なコラージュにします。
コラージュの段階では雑も良いところなんですが、AIのチカラでリアリティがアップするんですよ！
image2imageでリアリティを
アニメ絵の実写化の記事で書いたimage2imageがここでも力を発揮しています。
image2imageについては前回の記事を参考にしてください。
基本はアニメ絵から実写への変換の時と同じです。
低い強度(0.4〜0.6)でimage2imageを行う
プロンプトに画像に出てほしい要素を入れる
プロンプトはシンプルでOK
かなりシンプルなプロンプトで実現できます。
jacket tie girl bottomless smiling eating ramen in giant ramen 32K 8K hdr uhd masterpiece best quality professional highly detailed
太字部分が画像に出てほしい要素を書いているところ。ジャケット、ネクタイ、女の子、デカいラーメン。
太字じゃないところはクオリティ用のものでコピぺで付けるお約束のようなものです。
で、こうやって作ったのが再掲載ですがこちらのラーメン秘書さん！
これをプロンプトのみ実現しようとすると結構大変で、生成しまくってその中に良いのがあれば……といういわゆる「ガチャ」をかなりやる必要があるんですよね。
image2imageを使ってもガチャがなくなる訳じゃないんですが、プロンプトのみに比べると1/10以下になります！
こんなこともできます！
そして、雑コラからのimage2imageを使うことでこんなことができるように！
プロンプトのみではほぼ無理な本来とは違うサイズ感の表現が容易になるのです！
顔が変わることへの対策
実は雑コラをimage2imageすると低いプロンプト強度であっても、大抵顔が変わってしまいます！
ネタ画像系なら多少顔が変わっても気にならないですが、いわゆる「うちの子」を出したい時に別人になると微妙ですよね。
例えばこちらの仕事中の女性2人。
ここでimage2imageでウェディングドレス姿になってもらうと……。
そんな時もやはりコラージュで解決ですよ！
新しい画像に元の顔をコラージュします。この時顔を丁寧に切り抜くのではなく顔より少し大きめに切り取ります。
このコラージュは四角く切り取っていて流石に手を抜きすぎなんですが、あえてこれでやってみましょう！
inpaintingを使う
ここで使うのがinpaintingという機能です。このinpaintingがどういう機能かというと「指定した範囲だけを書き換える」というものなのです。
各サービスでの使い方です。
mage.spaceの場合はimage2imageの時と同じ画面に行き、「Custom」のボタンを押します。
Customボタンを押して画像の上で指を動かすと、オレンジ色に塗られます。初期設定だとものすごく太いのでこれを「brush size」のスライダーで細くしましょう！
コラージュした境目をなぞります。微妙にタッチしているところとズレたところが塗られるので注意！
このときに顔は触らないようにしてください。触ると書き換え範囲になってしまい、顔が変わってしまいます。
輪郭に触れても輪郭がちょっと変わってしまったりするんですよ。なので、顔よりも少し大きく切り取る必要があるんです！
そして書き換えですが、この際のプロンプト強度は実際に出力して値を変えながら試すようにしてください。状況によって低い方が良いこともあれば高い方が良いこともあるからです。
そうすると……。
顔が元通りになりました！境目はまだ不自然ですが、これは四角ではなくより丁寧に切り取ったり、境目を再度inpaintingすることで調整します！
Memeplexでもimage2imageの時と同じく、「絵の編集」から行きます。Memeplexでの絵の編集は正方形のものに限られるところに注意してください。
ブラシのサイズはファイル選択の下にあるスライダーで行います。
後は何色でも構わないので境目を塗ります。
この後に押すボタンが前回と異なります。下にある「インペインティングとして送信」を押しましょう。また、下の方にある小さいボタンを触っちゃうとリセットされてしまうので押さないように。
コラージュを活用することで現実にありえない画像を作ったりがしやすくなります。
この辺りの手法を使うと芸能人や知り合いを水着姿にしたりとか、さらにはピリオドの向こうに行った姿にしたりも簡単にできますが、訴えられないよう非実在の人でやるように！
応用編
これを応用して「潰れた顔を復元する」というのをやってみます！
現実離れした写真や大人数写真、顔が小さく写った写真では、顔が潰れるということがよくあるんですよね。
先ほどの例に出したもののけ秘書も、実は最初に作った時は顔が潰れていたりしました！
そこで、顔部分だけを拡大してimage2imageします。
ついでに顔に入れ墨を入れます！
後は先ほどと同じくコラージュをします。
そして、境目を消す！
最初の状態より良くなってますよね！手もまだおかしかったりしますがこれも同じように直して行けます。
最後に
AI画像生成では呪文(プロンプト)に注目が集まりますが、image2image、inpaintingともに絶大な威力を発揮するのが理解してもらえたのではないかと思います。
image2imageは「盗作」的な文脈で語られがちなのですが、適切に使って呪文では超えられない壁をぜひ超えてください！