KNOWLEDGE BASE

คู่มือ Local LLM: Hardware, Model, Quant และ Serving

คู่มือภาษาไทยสำหรับเลือก local LLM, hardware, model, quantization, KV cache, serving และ performance.

Quantization: ลดอะไร และควรเลือกอย่างไรคู่มือเลือก quantization ฝั่ง weights และ KV cache สำหรับ local LLM โดยเริ่มจาก runtime, memory budget และความเสี่ยงต่อคุณภาพ.ทำไม tok/s ของ LLM มักติด Memory Bandwidthอธิบายเหตุผลที่ decode tok/s ของ LLM มักถูกจำกัดด้วย memory bandwidth พร้อมวิธีอ่านผล calculator อย่างมีขอบเขต.เลือก Hardware สำหรับ Local LLM จากงาน ไม่ใช่แค่ชื่อ GPUเลือก hardware สำหรับ local LLM ระหว่าง NVIDIA, AMD และ Mac รวมถึง consumer, workstation และ datacenter GPU จาก workload และ memory budget.Serving Framework: เลือกตามรูปแบบการให้บริการเลือก serving framework สำหรับ local LLM ด้วย decision tree: vLLM, SGLang, llama.cpp, MLX, Ollama และ TensorRT-LLM ใช้เมื่อไร.เลือก Local LLM ตามงาน: ภาษาไทย, chatbot, agent, coding และ workflowวิธีเลือก local LLM สำหรับภาษาไทย chatbot agent coding และ structured workflow โดย profile ตามงาน ไม่จัดอันดับแบบไม่มี benchmark.Speculative Decoding และ Attention Backend: เร็วขึ้นเมื่อเงื่อนไขตรงอธิบาย speculative decoding, acceptance rate และ attention backend สำหรับ local LLM พร้อมเงื่อนไขที่ทำให้เร็วขึ้นหรือช้าลง.