GitHub - shreyansh26/cartridges: A re-implementation of the paper "Cartridges: Lightweight and general-purpose long context representations via self-study" · GitHubCartridges は、長文コンテキストを学習可能な KV キャッシュに圧縮し、全文脈プレフィルコストを回避する技術の再現です。

• Cartridges は、長文コンテキストを学習可能な KV キャッシュに圧縮し、全文脈プレフィルコストを回避する技術の再現です。
• このリポジトリでは、単一の GPU で実装され、VLLM サーバーとローカル HuggingFace を使い、大規模文脈を効率的に処理します。
• ベースモデルの重みは固定され、KV テンソルのみを最適化することで、圧縮されたメモリによる高精度な回答が可能になります。

長文コンテキスト処理のボトルネックを解決する新しい KV キャッシュ圧縮手法の、実用的な学習・推論コードによる検証と公開です。