LoRAとは
前回はモデルの1つであるCheckpointについていろいろお話した。今回はStable Diffusionが扱えるモデルの中で次によく使われるLoRAについてがお題となる。
連載の第一回では、自前で撮影した実在モデルの写真を学習させた専用のCheckpointを作り、そちらで生成した作例をいくつか掲載した。
これはCheckpoint自体に学習結果を保存する形式で一般的にはファインチューニングと呼ばれている。このキーワード自体は、LLM(大規模言語モデル)でもよく耳にするので、覚えのある人もいらっしゃるのではないだろうか。
対してLoRA = Low-Rank Adaptionは、その学習結果をCheckpointへは入れず別のファイルに保存し、使用する時にはCheckpointと組み合わせる。
利点はファイルサイズがコンパクトで付けたり外したりが容易なこと。欠点としてはファインチューニングより精度が劣ることがある。
生成AI画像においてLoRAは、固有人物や固有キャラ、場所や物、コスプレも含む衣装などを追加学習し別ファイルにでき、複数を同時に使うことも可能。用途は様々だ。
Stable DiffusionのウェブインターフェースAUTOMATIC1111の場合、呪文（プロンプト）を眺めていると<lora:xxxx:0.5>と言う記述があったりするが、これはxxxxという名のLoRAを読み込み、重み(効果)を0.5としている。重みは大きいほど効き、LoRAの種類にによっては負の値も取れる。
加えて、LoRAの学習の仕方によってはトリガー、つまりそのワードがあった時に限り機能させることもできる。
例えばトリガーを「1girl」や「woman」にすると、美女系のプロンプトではもれなく機能する(普通絶対入れるので)。もし「hanako」とすれば、これを呪文に書かない限り機能しない……といったことが可能になる。
生成AI画像において非常に有効な手段であるLoRAだが、ネット上には特定人物だったりアニメや映画のキャラクターなどを生成するためのLoRAが多く存在している。学習自体の是非は別にしても、こうしたものでは生成結果が直接的に権利侵害となる可能性もあるためここではご紹介しない。LoRAに関しては使い方を間違うと厄介なので要注意。
逆に本人許諾の元、リリースされたのが上原亜衣さんのAI_ueharaだ。他にもタレントが自らLoRAをリリースしているのをパラパラ見かける。更にバーチャルヒューマンのLoRA、Riaも登場。現在は混沌としているが、いずれ固有人物やキャラクター系はこうした形態に落ち着くのではないだろうか。
面白系も含めたLoRA 6選
上記の様な特徴を持つLoRA。今回はその中から場所✕2、衣装、特殊効果✕2、面白系、計6つのLoRAをご紹介したい。「え！？こんなこともできるの」と、LoRAに対する見方が変わるかも知れない。
1つ目は場所系。生成AI画像では、パリや東京などメジャーな場所は呪文に書くとそれっぽいのが出るものの、マイナーな場所はまず出ない。このLoRAはTaketomijima(竹富島)用だ。
トリガーはtaketomiで島内中心部の景色、nishisambashi, oceanで西桟橋、beachでコンドイビーチが出る。また確率は低いらしいが、cow, ground vehicleで水牛車が召喚されるとのこと。
個人的には行ったこと無いのだが、そんな場所の写真が撮れると言うのも生成AI画像の楽しいところではないだろうか。(あくまでも雰囲気。絵にあるものが実在するかは別問題だ。）
2番目も同じ場所系だが撮影スタジオ。扉の写真もこれを使っているが、照明など機材が並び、それらしい絵となる。
ただセッティングがメチャクチャなので、あくまでも雰囲気。作例も照明などが後ろにあるので、ここでは撮れない。記念撮影だろうか？(笑)トリガーは、photostudio, shooting light, indoors, cable, light, cyclorama, white cyclorama,となっている。
3番目は衣装系。今回は着物だが、コスプレ系のLoRAも山盛りある。着物はLoRA無しでも出るには出るがバリエーションが少なく、LoRAを使った方がよりらしくなる。
トリガーはwearing kimono_clothesとholding umbrella。これからも分かるように日傘も出せるのだが、どうも持つ指がうまく出なかったので作例では無しにした。
4番目はHowTo系と言うべきだろうか。スマホやコンデジの内蔵フラッシュでポンっと使った様な絵になる。日中シンクロにも対応しているので屋外で影が出る時、消すことも出来る。トリガーはflashlight。
ただこれを呪文に入れると、写真上にフラッシュライトそのものの絵が出てしまうこともあるので(笑)、合わせてNegative Promptへも入れた方が無難。他のトリガーにして欲しかった。
调色工具 RGB color tool / <lora:R2W_R:0.0> (つまりOFF)
调色工具 RGB color tool / <lora:R2W_R:1.5> (赤強調)
5番目の调色工具 RGB color toolは、筆者が前から欲しかった調整用LoRAの一つだ。1回目に絵を詳細に(もしくは滑らかに)するflat2をご紹介したが、同じく被写体や背景などでなく絵柄全体が対象となり、名前の通り、RGB、つまり少し赤くしたり青くしたり緑にしたりすることができる。
もちろん後からPhotoshopなどで修正すればいいのだが、なるべく生成時に完結させたい場合用だろうか。作例の様に、夕日系は少し赤を足すと更に雰囲気が出ることもある。また他とは違いトリガーは無く、上記のように重みを指定し効きをコントロールする。
最後はDVDパッケージっぽい絵を作るGravure DVD cover。トリガーはdvd cover。文字もメチャクチャなので完全にお遊びだが、ガチャってると面白い。
ただ掲載したようなそれらしいレイアウトにはなかなかならず、どちらかの幅が狭かったり、普通の横位置に画像や文字が乗ったりする。それも含めて楽しめるLoRAだ。NSFW(R18)仕様なので要注意。
今回の締めのグラビア
前回、リアル系で話題のepiCRealismをご紹介した。いい絵は出るのだが、最大の問題は西洋系美女なので、アジア系美女が出にくいこと。そこをクリアしたepiCRealismベースの minaduki_mix がリリースされたので、今回扉の写真も含め全面的に使用している。作者は yayoi_mix_v20 も作られた AiCreatorS1881 氏。これまでの経験を元にしているので安定度も抜群。
そして使ったLoRAは上記のTaketomijima(竹富島)。トリガーにbeachと書くとコンドイビーチが出るようになっている。コンドイビーチは行ったことないので正しいかどうかは不明だが、ビーチならこんな感じだろう的な絵となった。
実際のロケでも南国へ行けば必ず撮影するビーチ。筆者はカメラマンとして沖縄はもちろん、グアムやサイパン、あっちこっちのビーチへ行ったものの、撮れる絵は大して変わらない上に、背景がボケるので余計に何処だか分からない。ワイキキビーチのように特徴があるところは別として、ビーチでのグラビアは何処で撮っても変わらない(笑)。
変わるとすれば国内か国外かでタレントやスタッフのテンションが違うこと、晴れる確率程度だろうか。個人的にはイミグレを通らない沖縄がベスト。ご飯も美味しい(南国は往々にしてご飯がイマイチ)。
そうそうビーチで思い出したのが、グアムやサイパンの岩場もある狭いビーチ。もともと小さい島なので、同日複数の撮影隊が入っていると被ることがよくある。そのビーチに最適な時間帯も決まっているので尚更だ。こんな時、優先順位は早く来たもの順。新前カメラマンも大御所カメラマンも関係無い…と言うのが業界の掟だったりする。
次回は、生成AI面白そうなので、そろそろ触ってみたいかな！？人向けにいろいろなアプリケーションをご紹介する予定だ。