Microsoftは2024年4月18日、生成AI/大規模言語モデル（LLM）で長文のプロンプトを効率的に処理できるオープンソースのフレームワーク「SAMMO」を発表した。

• SAMMO: A general-purpose framework for prompt optimization -Microsoft Research Blog

GPT-4などの新世代の言語モデルでは、長い入力テキストを処理する機能が向上している。このため、より長文でリッチな文脈と詳細な指示を言語モデルに入力することが可能となった。しかし、この文脈を新しいタスクに適応させるための迅速なエンジニアリングが必要とされている。

長文のプロンプトを処理する一般的な手法としてRAG（検索拡張生成）がある。RAGは特定の入力例に基づいて、必要とされる情報をプロンプトに動的に組み込むが、例となるretriever（RAGが検索して得た情報）とプロンプトのテキスト自体はそのままの形で残っており、これがプロンプトの最適化を阻んでいた。

これに対処するために開発されたのがSAMMO（Structure-Aware Multi-objective Metaprompt Optimization）フレームワークである。SAMMOは、RAGのようにさまざまな種類の構造情報を組み合わせたプロンプト最適化を合理的に行う新しいオープンソースツール。プロンプトの最適化のためにコンポーネント全体を削除したり、別のコンポーネントに置き換えたりするなど、構造的な変更を加えることができる。

SAMMOの考え方は、プロンプトを単なる静的なテキスト入力としてではなく動的でプログラム可能なエンティティ（メタプロンプト）として扱う点にある。SAMMOはこれらのメタプロンプトを関数グラフとして表し、従来のプログラムのコンパイル中に発生する最適化プロセスと同様に、個々のコンポーネントと下部構造を変更してパフォーマンスを最適化できる。

同社のテストによると、SAMMOを使うことにより、プロンプト解釈の正確性が数十パーセント～数倍に上がったという。

SAMMOは以下のGitHubリポジトリにてオープンソースとして公開されている。

A library for prompt engineering and optimization (SAMMO = Structure-aware Multi-Objective Metaprompt Optimization) -GitHub

URL：https://github.com/microsoft/sammo