Stability AIは2023年11月15日、商用利用可能な日本語画像言語特徴抽出モデル「Japanese Stable CLIP」をリリースした。

• 最高性能の、日本語画像言語特徴抽出モデル「Japanese Stable CLIP」をリリースしました -Stability AI Japan

🚀 新リリース🚀

Stability AI が商用利用可能な日本語特化の最先端画像言語特徴抽出モデル「Japanese Stable CLIP」を公開しました！
このモデルはゼロショット画像分類や画像検索を大幅に向上し、日本語に特化したマルチモーダルタスクに対応可能です。
詳細とデモはこちらから👉… pic.twitter.com/7vbpu07SLu

— Stability AI 日本公式 (@StabilityAI_JP) November 15, 2023

「Japanese Stable CLIP」は、日本らしい画像や日本語に特化した画像言語特徴抽出モデル。任意の日本語テキストから画像を検索する画像検索や、その逆であるテキスト検索が可能。また「Japanese Stable CLIP」をモデルの一部として利用することで、日本語テキストと画像に特化したマルチモーダルなタスクへの拡張が可能となる。

「Japanese Stable CLIP」の学習には、言語画像事前トレーニングSigLIPの手法を用いており、オープンソースの日本語対応CLIPモデルの中で、最も高い性能評価スコアを達成しているという。

「Japanese Stable CLIP」はHugging Faceにて公開されている。また、「⁠Japanese Stable CLIP」を使って入力画像から職業を判断するテキスト分類のデモがGoogle Colab上で公開中。