2024年7月21日、Sakana AIは浮世絵風画像生成モデル「Evo-Ukiyoe」と浮世絵カラー化モデル「Evo-Nishikie」を発表しました。
これらのモデルは、浮世絵を学習データとして利用しており、プロンプトから浮世絵風画像を生成したり、単色の浮世絵を多色にカラー化することができます。
新しいコンテンツ制作や教育現場での活用が期待されており、日本や世界中の人々が浮世絵や日本文化に触れるきっかけとなることが期待されています。
Evo-Ukiyoe/Nishikieの概要
Sakana AIが公開した「Evo-Ukiyoe」と「Evo-Nishikie」は、AIを活用して浮世絵を再現・拡張する画期的なモデルです。
「Evo-Ukiyoe」は、日本語プロンプトから浮世絵風の画像を生成するモデルであり、「Evo-Nishikie」は単色摺の浮世絵を多色摺にカラー化するモデルです。
これらのモデルは、立命館大学アート・リサーチセンターのデータセットを使用して開発されました。
研究および教育を目的に、HuggingFaceでデモが公開されており、実際に体験することができます（「Evo-Ukiyoe」、「Evo-Nishikie」）。
Evo-Ukiyoe/Nishikieの創作物
Evo-Ukiyoe
「Evo-Ukiyoe」は、日本語プロンプトを入力することで、浮世絵風の画像を生成します。たとえば、「着物を着た女性」や「富士山を背景にした風景」など、伝統的な浮世絵の題材に沿った高品質な画像が作成されます。
プロンプトに桜や富士山、着物などの浮世絵でよく取り上げられる要素を含めることで、よりリアルな浮世絵風画像が生成されます。逆に、プロンプトに現代的な要素（パソコンやハンバーガーなど）を含めると、生成はされるものの、浮世絵らしさが損なわれることがあります。
メンフィスの商工会議所は、データセンターについて歓迎しているものの、同地域の環境保護団体である「ProtectAquifer」と「YOUNG GIFT & GREEN」は共同で、同施設に対する環境上の影響を懸念した声明を発表しています。
Evo-Nishikie
「Evo-Nishikie」は、単色摺の浮世絵を多色摺の錦絵に変換します。プロンプトに元となる画像と、生成したい色を指定すれば、カラー化することができます。
Evo-Ukiyoe/Nishikieの開発手法
Evo-Ukiyoe
「Evo-Ukiyoe」は、日本語対応の画像生成モデル「Evo-SDXL-JP」を微調整することで、浮世絵の特徴を学習しました。
このモデルは、立命館大学アート・リサーチセンターが提供する24,038枚の浮世絵デジタル画像を学習データセットとして使用しました。学習過程では、生成後の浮世絵の内容を説明するキャプション（画像タイトル）を生成し、これを人手で修正することで精度を高めました。
Evo-Nishikie
「Evo-Nishikie」は、Evo-Ukiyoeをベースモデルとして、単色の浮世絵をカラー化するために開発されました。
浮世絵画像には虫食いやシミ、劣化などが含まれるため、ノイズ処理をした画像を用意した上で、Evo-Ukiyoeをベースモデルとして「Evo-Nishikie」のモデルを構築しています。
Evo-Ukiyoe/Nishikieについて一言
画像生成AIを使いこなすためにプロンプトに習熟するというアプローチもありますが限界があります。やはり「（自分の中に）ないものは出ない」ということで、精度高く出力するためには、データセットから見直す必要があることを示唆する好事例だと思います。
浮世絵は日本文化の象徴であり、「Evo-Ukiyoe」「Evo-Nishikie」はグローバルにその価値を伝えるのに非常に有用かと思いますが、漫画やその他の創作物に応用することでより日本文化の発信力を強化することに寄与するでしょう。
出典：日本の美を学んだAI：浮世絵風画像生成モデルEvo-Ukiyoeと浮世絵カラー化モデルEvo-Nishikieを公開
