ついに、Adobe Photoshopに画像生成AI機能が標準で搭載されました。今のところPhotoshopのベータ版に搭載されたという段階ですが、Adobe Fireflyという画像生成AIの一部機能がプラグインなど必要なく使えるようになりました。その機能が
もともとAdobeはAdobe Senseiと呼ぶAI技術に力を入れていますが、最近話題のMidjourneyやStable Diffusionのような画像生成AIに対抗するものとして、先日Adobe Fireflyをベータ版としてリリースしていました。そして今回、Photoshopベータ版にAdobe Fireflyの機能が搭載されたわけです。
この記事では、クレイ&フェルト作家はっとりみどりさんの羊毛フェルト作品をもとに、Photoshopベータ版の
なお、Photoshopのベータ版はAdobe Creative CloudなどPhotoshopの契約ユーザーであれば、誰でもダウンロードして試すことができます。また、
「裏側」の写真は学習データが少ない? なかなか後ろを向いてくれないテレビ
ハリネズミ兄弟がテレビを見ている画像をAIで加工してみましょう。まず、テレビを薄型テレビに変えてみたいと思います。
![図](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/1.jpg)
選択ツールでテレビのまわりをざっくり選び、コンテキストタスクバーに表示される
Adobe Fireflyはまだ英語にしか対応していないので、翻訳ツールを使いつつ
なお、コンテキストタスクバーは今回のPhotoshopベータ版で搭載された、次に行う作業にあわせて内容が変わるツールバーです。
![図2](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/2.jpg)
見事にテレビが生成されました。まわりとのなじみもバッチリで違和感はありません。しかし、テレビの角度はいい感じですが、これではハリネズミ兄弟は画面を見ることができません。
![図3](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/3.jpg)
テレビを後ろ向きにしたくていろんな言葉を入れてみましたが、なかなかうまくいきません。学習データとしている写真に写ったテレビも、前を向いたものが多いことも影響しているのかもしれません。
ただ、生成にかかる時間はほかの画像生成AIツールと比べても速いほうだと思います。1枚の作品を作るのではなく、小さいサイズでひとつの要素を生成しているだけという影響もありそうです。
最終的に、
![図4](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/4.jpg)
Adobeの説明によると、
プロンプト不要でいらないものを消せるけど、別な要素が生成されるケースも
画像上の余計なものを消してしまうのは得意です。範囲を選択したあと
![図5](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/5.jpg)
しかしプロンプトなしで選択範囲に
![図10](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/10.jpg)
AIはありがちなそれっぽいものを作るのが得意
続けて、壁に絵を飾るのも得意そうだと予想して試してみました。シンプルなプロンプトでもいい感じに生成してくれました。
![図6](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/6.jpg)
やかんの生成でなぜか苦戦する
次に、ストーブの上に乗ったやかんを別なものに変えようとしてみました。しかし、なぜか鉄瓶のようなものばかり生成されます。
![図7](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/7.jpg)
プロンプトをただの
![図8](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/8.jpg)
カラフルという言葉を追加してみたところ、現実の商品ではありえないような、やかんになってしまいました。
![図9](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/9.jpg)
なお、画像の一部分を生成した画像で差し替えることは、ほかの画像生成AIでもできます。一般的に
生成する要素のテイストは元画像と合わせてくれる
今度は、クマのキャラクターくまっこの写真をベースに加工していきます。
![図11](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/11.jpg)
「Miniature Trees
![図12](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/12.jpg)
ここまで説明していませんでしたが、
![図13](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/13.jpg)
このバリエーションは後から採用するものを選び直せます。同じ選択範囲に同じプロンプトでさらに別バージョンを生成したり、プロンプトを変えたバージョンを生成することも可能です。
なんとなくの思いつきで
![図14](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/14.jpg)
単純なプロンプトでは、テイストが合わない画像が生成されることも
この画像の世界観に合わせた雲を生成しようとしたのですが、単純なプロンプトではうまく生成できませんでした。
![図15](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/15.jpg)
プロンプトを
![図16](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/16.jpg)
次に、岩を生成することにしました。翻訳ツールに頼らずに、岩は
![図17](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/17.jpg)
翻訳ツールに頼って
![図18](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/18.jpg)
靴も履かせられたら面白いよなと試してみると、結構いい感じに生成してくれました。くまっこの足がズボンをはいてるようになってしまっていますが、靴のテイストや角度などはほとんど違和感なく生成できているのに驚きました。
![図19](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/19.jpg)
この靴の合成は、たまたま丁度いい角度の靴の写真がない限り、コラージュで行うのは難しい作業なはずです。
キャンバスサイズを大きくして背景をでっちあげる
キャンバスサイズを大きくして、空白の部分を
![図20](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/20.jpg)
2本の木の欠けていた部分もいい感じに生成できました。
![図21](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/21.jpg)
自転車をバイクに変えてみよう
別の画像を使ってみます。くまっこが自転車に乗った画像をもとに
![図22](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/22.jpg)
自転車をバイクに変えてみます。プロンプトは
![図23](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/23.jpg)
いくつか生成させてみましたが、ハンドルをうまく握ったものが生成されないのが残念です。
![図24](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/24.jpg)
そこで、くまっこの手の部分をもっと囲むように選択範囲を広げてみました。
![図25](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/25.jpg)
選択範囲を広げたのがよかったようで、バイクのハンドルを握っているような画像が生成されました。なお、プロンプトは思いつきで
![図26](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/26.jpg)
選択範囲をちょっと変えただけですが、ほかの2つのバリエーションもちゃんとハンドルを握っていました。なお、後ろに座っているコリスの顔より下の部分はなにやら変なことになってしまっています。
![図27](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/27.jpg)
コリスの顔より下のところを選択し、プロンプト
![図28](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/28.jpg)
背景をAI生成させたけど元画像の影響が強すぎる
今度は、AI画像生成で背景を変更しましょう。これまで
![図29](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/29.jpg)
自転車はかなり複雑な形状ですが、今のPhotoshopなら
そして、
![図30](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/30.jpg)
建物や石畳を生成するようにいろいろなプロンプトを試しましたが、元の画像の緑一色の背景の影響が強いようで、とにかく緑多めの背景が生成されてしまいます。
![図31](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/31-2.jpg)
「gray cobblestone pavement
![図32](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/32.jpg)
そもそも元画像の背景が緑一色で立体感がなかったので、うまく立体感、遠近感をもたせた画像を生成してくれなかったんだと推測します。立体感のある背景をいったんコラージュするとか、簡単な絵を描いてベースにするという手もあるのかもしれません。ともかく今回の実験はこの辺にしておきます。
![図33](https://gihyo.jp/assets/images/article/2023/05/try-photoshop-generative-fill/33.jpg)
「ジェネレーティブ塗りつぶし」は非破壊で編集できるのが便利
今回Photoshopベータ版に搭載された
画像生成AIのPhotoshopプラグインとしてAlpaca、Stablility
なお今回、作品の使用許可をいただいた、はっとりみどりさんの羊毛フェルト作品の数々はInstagram