LOCAL LLM FIELD GUIDES
เลือก Local LLM อย่างมีหลักฐาน
เลือก hardware, model, quantization, KV cache, serving framework และ performance path สำหรับ local LLM
START HERE
เลือกจากคำถามที่กำลังแก้
เลือก Hardware สำหรับ Local LLM จากงาน ไม่ใช่แค่ชื่อ GPUคู่มือเลือกฮาร์ดแวร์สำหรับ Local LLM สรุปจุดเด่นและข้อจำกัดระหว่าง Apple Silicon Mac, NVIDIA CUDA และ AMD ROCm วิเคราะห์ VRAM, Memory Bandwidth, สเปก และราคาตลาดในไทยเพื่อการลงทุนที่คุ้มค่าเลือก Local LLM ตามงาน: ภาษาไทย, chatbot, agent, coding และ workflowคู่มือเลือกโมเดล Local LLM ให้เหมาะกับประเภทงาน: ภาษาไทย, Chatbot สนทนา, AI Agent เรียกใช้ Tool, งานเขียนโปรแกรม Coding และงานข้อมูลโครงสร้าง JSON พร้อมวิธีประเมินคุณภาพอย่างมีหลักฐานQuantization: ลด VRAM ตรงไหน และแลกคุณภาพอย่างไรคู่มือเจาะลึกการเลือก 4-bit และ 8-bit Quantization ทั้งฝั่ง Weights และ KV Cache สรุปเทคนิค QAT, MXFP4, AWQ, GPTQ และ GGUF พร้อมวิธีคำนวณ VRAM ประเมินคุณภาพ และความเสี่ยงหลอนในงานจริงทำไม tok/s ของ LLM มักติด Memory Bandwidthเจาะลึก Roofline Model สำหรับ Local LLM: ทำไม Decode ถึงติด Memory Bandwidth ทำไม Prefill ถึงติด Compute (FLOPS) พร้อมวิธีแยกแยะ TTFT, TPOT, ITL และวิธีอ่านผล VRAM Calculator อย่างมืออาชีพServing Framework: เลือกจาก workload, hardware และไฟล์โมเดลเปรียบเทียบ Serving Framework ยอดนิยม: vLLM, SGLang, llama.cpp, MLX-LM และ Ollama สรุปจุดเด่น ข้อจำกัด ฮาร์ดแวร์ และรูปแบบไฟล์ Safetensors หรือ GGUF เพื่อเลือกใช้งานได้อย่างถูกต้องSpeculative Decoding และ Attention Backend: เร็วขึ้นเมื่อเงื่อนไขตรงคู่มือเจาะลึก Speculative Decoding, Multi-Token Prediction (MTP) และ Attention Backends เช่น FlashAttention, FlashInfer เพื่อเร่งความเร็ว Local LLM โดยเข้าใจเงื่อนไขที่ทำให้ระบบเร็วขึ้นหรือช้าลงEXL3 คือรหัส trellis ของ ExLlamaV3 ที่ตั้งค่าเฉลี่ยบิตต่อน้ำหนักEXL3 เป็นฟอร์แมตน้ำหนักของ ExLlamaV3 ที่ย่อมาจาก QTIP ใช้ trellis หลังการหมุน Hadamard และตั้งค่าเฉลี่ยบิตต่อน้ำหนักได้ คู่มือนี้อธิบาย codebook mul1, ธง hq, และแพ็ก 2.9 bpw ของ DeepSeek บน 2 DGX SparkTensorFold คือเซิร์ฟเวอร์ Zig ที่เสิร์ฟโมเดลบน Metal และ CUDATensorFold เสิร์ฟโมเดลจากไบนารี Zig บน Apple Silicon และ NVIDIA โดยอ่าน checkpoint และรันเคอร์เนลเอง คู่มือนี้อธิบายสัญญา exact decoding ตารางโมเดลของรีลีส และสูตร DeepSeek ที่ใช้ fork บน 2 DGX Spark