3週間目ともなると、いろいろ
意図したものが作れるようになってはきたかも
少年少女ポートレートシリーズ
「StableDiffusionは『ミニ四駆』である」という説を唱えたいと思います
まず、StableDiffusionを動かすためにMacにインストールする作業は、まさにミニ四駆のボディを手に入れて組み立てるようなものです。ボディを手に入れて、組み立てて、さあ走らせる準備が整ったわけです。
次に、ミニ四駆においてエンジンが車の性能を決定づけるように、StableDiffusionにおけるModelがその役割を果たします。どのModelを選ぶかによって、生成される画像のスタイルやクオリティが大きく変わるのです。例えば、実写系のModelを選べば、西洋人の描写が得意なものやアジアンテイストに強いものがあり、アニメ系のModelではSFチックな世界観を得意とするものがあります。この選択が、まるでミニ四駆のモーターやギアを選ぶかのような楽しさを生み出すのです。
そして、LoraやVAEといった追加の設定やツールは、ミニ四駆におけるカスタムパーツのような存在です。タイヤや得意分野のあるギアやエアロパーツなどになります。これらを使うことで、生成AIの性能をさらに向上させたり、得意な分野を拡張することができます。たとえば、特定のキャラクターのポーズをうまく生成したい場合や、色彩表現をよりリアルにしたい場合、あえて古いコミックタッチにしたり、中世のドレスに強い描写性を向上させたり。また日本語でプロンプトを作るのが楽になる自動通訳プラグイン的なものもあります。これらのツールを使えば、まさに自分だけのカスタムミニ四駆を作り上げるように、オリジナルの生成AIを作り上げることができるのです。
この辺はcivitaiというパーツ紹介&配布(DL)サイトを見てください。
このように、StableDiffusionのカスタマイズや調整のプロセスは、「技術系の男の子」がミニ四駆のカスタマイズに夢中になるのと同じような感覚をもたらしてくれます。自分の手で何かを組み立てて、性能を引き出し、走らせる楽しさがここにはあります。新しいModelを試してみたり、LoraやVAEを使って性能をチューニングするたびに、その興奮が蘇るのです。ワクワクするし、たくさん集めて取っ替え引っ替え試したくなります。
さらに、これからControlNetなどの新しい技術を導入することで、カスタマイズの幅がさらに広がるんです。手の修正とか、顔の入れ替えとか、基本出来てる絵は満足してるんだが、一部不満のある場合の修正などに使うテクニックだったりします。ミニ四駆が進化し続けるように、新しいパーツやエンジンを入れ替えてみたりして、楽しんでいるのです。
反面、取っ替え引っ替え試すのは時間がかかるし、(特にModelは)HDDの容量食うしと、マシンの準備というか余裕が必要でありました。(私もMacの内蔵データをかなり、外部に移動させ場所を作りました。)5-60GBくらい使っちゃうとみておいた方がいいんじゃないでしょうか。マシンパワー(グラフィック性能・メモリー)についてはまたあるに越したことはないですが、専門の解説してる(達人・先人の)サイトを見てください。
まだ、自分は試す段階にないので触れませんが、勉強し始めてはいますが、StableDiffusionの先に、StableDiffusionXL、PONY、(ミニ四駆例えでいうと)別のボディにあたる<Flux.1>があるとのことです。どんどん深みにハマる可能性はありますね(笑)。
◆著作物 Copyright◆
#長文