今回公開するモデルは、プロンプトから画像を生成するEvo-Ukiyoeと、古典籍の挿絵をカラー化するEvo-Nishikieモデルです。これらのモデルが、歴史や文化を学ぶための新たなコンテンツ作成に利用され、浮世絵に関する興味を増すことにつながり、日本や世界の人々が浮世絵や日本文化に興味を持つきっかけを生み出すことを期待しています。 概要 Sakana AIは、日本の美を学んだAIとして、浮世絵風画像生成モデルEvo-Ukiyoeと、浮世絵カラー化モデルEvo-Nishikieを公開します。Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデルEvo-SDXL-JPを基盤とし、浮世絵画像を大規模に学習することで、日本語に対応し、かつ浮世絵の特徴を学んだ画像生成モデルができました。 このリリースの要点は以下の通りです。 Evo-Ukiyoeは、日本語のプロンプトを入力
マスク指定が見やすいように、元画像に説明用の色を付けています。 実際に試す際には色を付ける必要はありません。 奥にあるモノから生成するのが基本ですので、本来はまず背景を用意するのが推奨です。 実際、きららジャンプ では先に背景を生成していました。 シンプルな背景を好まれる方も多いでしょうし、今回はとりあえずグラデーションを置いておきつつ、あとから背景を差し替えてみます（色化けが発生しました）。 高速な安定版として Forge を使用 しています。 モデルは ebara_pony_2.1 です。 Download/Model/ebara_pony.bat でダウンロードできます。 背景のみ WAI-REALMIX を利用しています。 forge は Hyper-SD <lora:Hyper-SDXL-8steps-lora:1> を使って、CFGスケール を 1.0 にすると大幅に高速化しま
０：ControlNetとは ControlNet(コントロールネット)とは画像などを下地にしてポーズや構図、画像の雰囲気を抽出し、画像の生成時に参照する仕組みです。この時利用する仕組みのことをプリプロセッサ(preprocessor)といいます。 下の画像は人間を棒人間のような線で抽出するopenposeの例です。このようにポーズをまねたりすることができます。 コントロールネットopenposeの例１：コントロールネットの導入 まずは、SDWebUIから「拡張機能」を選択して「URLからインストール」を選択してください。「拡張機能のリポジトリのURL」に以下のURLをコピー＆ペーストしてください。あとはインストールを押すだけです。 https://github.com/Mikubill/sd-webui-controlnet インストールが完了したら「インストール済み」タブに戻って「適用
TOPコラム海外最新IT事情1枚の写真からTiktokトレンドダンスを躍らせる動画生成AI「DisCo」。Microsoft含む研究者らが開発【研究紹介】 1枚の写真からTiktokトレンドダンスを躍らせる動画生成AI「DisCo」。Microsoft含む研究者らが開発【研究紹介】 2023年7月28日 シンガポールの南洋理工大学とMicrosoft Azure AIに所属する研究者らが発表した論文「DISCO: Disentangled Control for Referring Human Dance Generation in Real World」は、1枚の静止画から人物が踊るリアルなビデオを生成する手法を提案した研究報告である。この手法は、TikTokの動画でトレーニングされており、画像内の人物を動かしてTiktok風のダンスを自動生成することができる。 「DisCo」と呼ぶこの
【イラストAI】ノイズやテクスチャを使って描き込み量をめちゃくちゃに増やそう！4/4【テクスチャ法/カムカム法】 イラストのディテールを大幅に引き上げる、StableDiffusion向けの特殊なテクニックをご紹介します。（全4回） 前回までのあらすじ（第一回はこちら） 第二回で紹介した『ノイズ法』という特殊な方法では、描き込み量を大幅に増やすことができました。 今回は応用編。ノイズの代わりにテクスチャを使って、液体や記号など特定の物を大量にかつランダムに描き出す『テクスチャ法』、通称『カムカム法』をご紹介します。 ノイズ法と共有できる知識がギュッと詰まっているので、ぜひ両方覚えていってください。 『テクスチャ法』とは「たくさん描いて欲しいのに、少ししか描いてくれない」 という表現はありませんか？ 例えばちょっとホラーな絵が見たいなと思っても、StableDiffusionくんはあまり"血
ローカル環境を作ったときに使ってみたかった機能にCharTurnerLoRA（同一キャラを複数視点で出力するLoRA）があったので早速使ってみたものの、出力が安定していなかったのでControlNetを併用する方法を考えてみた。 さらにランダム要素を加えてキャラクターデザインをいろいろさせてみよう計画に成功したのでnoteにまとめてみる。 下準備：CharTurnerとControlNetとwildcardsを用意する拡張機能の準備CharTurner LoRA版とTI版があるのでお好みのほうをDL! 解説はLoRA版で https://civitai.com/models/7252/charturnerbeta-lora-experimental ControlNet https://github.com/Mikubill/sd-webui-controlnet wildcards でん
V97 minor update Back_Blocker : Adds a mesh that blocks the back of the open pose's head. This is helpful if the character is rotating. Auto bright : Automatically adjusts the brightness of the line based on the distance from the camera. This can be helpful when used in conjunction with MimicMotion. You'll need to adjust the range of brightness in the Material tab accordingly. AnimdateDiff_tools _
画像から姿勢・セグメントを抽出し出力画像に反映させるcontrolnetには、姿勢・セグメント認識処理の種類が複数あるため、各Preprocessorの特徴を知ると用途に応じて適切に使い分けることができるようになります。 ControlNet ver1.1に伴い大幅な加筆修正を行いました。 Preprocessorが20以上増加したため、ページが大変長くなってしました。 ここではt2i用モデルのみ実演しています。i2i用のInpaint系はノータッチです。 ご了承ください なお、v1.1用モデルはこちらからダウンロードしてください。 fp16,safetensors版で問題ありません（723MBくらいのやつ) モデル配置場所はこちらです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く