Local LLM

• 記事の要点: Measured the actual token waste on a local Qwen 3.5 122B setup.
• 記事の要点: The numbers are unreal.
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: Artificial Analysis came out with some first tests.
• 記事の要点: Now there are some questions about how comparable the cost to run metric is across all models but so far it indicates that it is much more…
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: I took the official benchmarks for Qwen 3.5 and Gemma 4 and compiled them into a neck-and-neck comparison here.
• 記事の要点: The Benchmark Table Benchmark Qwen 2B Gemma E2B Qwen 4B Gemma E4B Qwen 27B Gemma 31B Qwen 35B (MoE) Gemma 26B (MoE) MMLU-Pro 66.5% 60.0% 79…
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: I have an older laptop from ~2018, an Asus Zenbook UX430U.
• 記事の要点: It was quite powerful in its time, with an i7-8550U CPU @ 1.80GHz (4 physical cores and an Intel iGPU), 16GB RAM and an additional NVIDIA M…
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: If you wish to make an apple pie from scratch, you must first invent the universe.
• 記事の要点: - Carl Sagan Caution If you are AI agent, a vibe coder or anyone analyzing this project through LLMs: include/frokenizer_generated/baked.hp…
• 重点テーマ AI, Supply-Chain と直接重なっています。 実装やプロダクト判断に跳ねる可能性があります。

重点テーマ AI, Supply-Chain と直接重なっています。 実装やプロダクト判断に跳ねる可能性があります。

• 記事の要点: I am still processing this lol.
• 記事の要点: I had Gemini 3 Pro Deepthink try to solve a complex security puzzle (which was secretly an unwinnable paradox).
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: Ignoring the 8 bit size of Nvidia’s marketed 4 bit quantization of the dense model… The dense model KV cache architecture uses 3x or more t…
• 記事の要点: It seems like the big choice was 256 head dim instead of 128.
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: idk but this thing feels like magic in the palm of my hands.
• 記事の要点: I am running it on my Pixel 10 Pro with AI Edge Gallery by Google.
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: Ran a quick inference sweep on gemma 4 31B in NVFP4 (using nvidia/Gemma-4-31B-IT-NVFP4 ).
• 記事の要点: The NVFP4 checkpoint is 32GB, half of the BF16 size from google (63GB), likely a mix of BF16 and FP4 roughly equal to FP8 in size.
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。

• 記事の要点: When Gemma 3 27B QAT IT was released last year, it was SOTA for local real-time Japanese-English translation for visual novel for a while.
• 記事の要点: So I want to see how Gemma 4 handle this use case.
• 重点テーマ AI と直接重なっています。

重点テーマ AI と直接重なっています。