01
要点
- Karpathy の「Autoresearch」アイデアを適用して、LLM エージェントが単一ファイルの修変から評価、コミットやリートに留まることで ML 研究を自律的に駆動した実験を報告。
- 42 回の実験実施を通じて平均ランクを 54% 削減し、温度パラメータ設定の見直しとハイパーパラメータ最適化が主要な成果となった点が示された。
- 探索空間の明確定義が効果的であった一方、「未知の未知」への挑戦は失敗につながり、自律性の限界やコンテナ環境下での制限が必要であると結論付けられた。
重要性
LLM エージェントを用いた自律的な機械学習研究の具体的な実践手法とその限界(初期段階での成功、高度な探索での失敗)を示しており、次世代 AI 開発のパラダイム転換に重要な示唆を与える。