Sakana AIは2024年8月13日、大規模言語モデル (LLM) を複数組み合わせてアイデアの生成、必要なコードの記述、実験の実行/結果の要約、視覚化、レビューまで、論文作成のライフサイクル全体を自動化するAI駆動型の論文作成システム
Introducing The AI Scientist: The world’s first AI system for automating scientific research and open-ended discovery!https://
— Sakana AI (@SakanaAILabs) August 13, 2024t. co/ 8wVqIXVpZJ
From ideation, writing code, running experiments and summarizing results, to writing entire papers and conducting peer-review, The AI… pic.twitter. com/ SJuat9a2Uw
The AI Scientistは、まずテンプレートで与えたアイデアをブレインストーミングし、新しい研究方向かどうかの評価を行う。これに既存のトピックから
次にアイデアとテンプレートを元に提案された実験を実行し、結果を視覚化するためのプロットを取得/作成する。各プロットの内容を元に保存された図と実験メモから、論文の執筆に必要なすべての情報を用意する。
そしてThe AI ScientistはLaTeXで作成した議事録スタイル、進捗状況を簡潔かつ情報量豊富にまとめる。また論文検索サービスSemantic Scholarを使用して、引用する関連論文を自動的に見つけ、これらを元に論文を完成させる。
さらに、LLMを利用した自動レビューアーを使って論文をレビュー。生成されたレビューは、作成プロセスの改善に使用したり、論文改良のフィードバックとして使用できる。この継続的なフィードバックループにより研究成果を反復的に改善していくことができる。
なお現在のところ、The AI Scientistで作成した論文には使用したLLMに由来する正確性のゆらぎや、自動生成のコードがタイムアウトするケース、また論文の意図せぬ盗用や意図的な悪用など、改善すべき問題があることもSakana AIは認めている。これらを将来的には解消していくことで、科学技術の発展上で最も困難な部分をAIにまかせて、人間は創造性とイノベーションを最も発揮できる立場に立つことができるようになるという。
The AI Scientistの詳細は、同社の作成した論文を参照。また、The AI Scientistオープンソースコードと完全な実験結果はGitHubリポジトリで公開されている。