Vllm

• Nemotron 3 Super モデルで vLLM (NVFP4) と llama.cpp (gguf) の実行性能を比較した調査報告。
• vLLM は約 55% を得ているのに対し、llama.cpp は標準パラメータ設定では 40% 程度と大幅に低いスコアを記録している。
• 複数モデルや異なるクランテーション形式で検証したが、生成パラメータ自体への違いを見つけるまでに至っていない状況がまとめられている。

LLVM の NVFP4 形式が llama.cpp よりも大幅に良い性能を示すかどうかを確認するコミュニティの議論であり、推論エンジン間の最適化差異を理解する上で重要である。

• Google Cloud が Qwen 3.5 27B モデルを B200 GPU で 1M トークン/秒まで推論速度アップした
• GPU ユーティライゼーション向上に MTP-1 が決定打となり TP=8 は効率が低下した
• Inference Gateway の実装により約 35% オーバーヘッド発生するとの調査結果

最新世代 GPU 上で高頻度推論の実用化戦略と、モデル規模や並列構成が性能に与える影響の詳細なベンチマーク