01
Reddit - The heart of the internet
分類と出典
www.reddit.com
要点
- ローカル環境で LLaMA 1B モデルを継続学習させた結果、質問への応答能力を完全に喪失し、固定パターン「Yes <Script> Yes」しか出力しないという問題が報告された。
- ユーザーは既存の回答能力を維持しつつも学習が進むよう、継続学習の実装方法やパラメータ設定について調査したものの解決策に至っていなかった。
- 900 万文字程度の単純なテキストデータを使用して高速に学習できた一方で、言語理解と推理能力的衰脱という課題が浮き彫りになった事例である。
重要性
継続的トレーニングにおける LLM の能力維持や、過剰適合・死の静寂現象の具体的な実証事例を示しており、ローカル AI 開発者の学習材料として価値がある。