https://learn.tanhdev.com/tags/vllm/Recent content in VLLM on Learn by TanhdevHugoen-usMon, 01 Jun 2026 10:00:00 +0700https://learn.tanhdev.com/series/slm-playbook/executive-summary/Wed, 20 May 2026 21:05:00 +0700https://learn.tanhdev.com/series/slm-playbook/executive-summary/Tổng quan về lý do tại sao các doanh nghiệp đang chuyển dịch sang tự host Mô hình ngôn ngữ nhỏ (SLM) để tối ưu chi phí, bảo mật và hiệu năng.https://learn.tanhdev.com/series/slm-playbook/part-1-slm-hybrid-architecture/Thu, 21 May 2026 08:00:00 +0700https://learn.tanhdev.com/series/slm-playbook/part-1-slm-hybrid-architecture/Phân tích kinh tế TCO khi tự host mô hình nhỏ (SLM). Tìm hiểu công thức VRAM và thiết lập Hybrid Routing Gateway kết hợp sức mạnh SLM với Frontier LLM.https://learn.tanhdev.com/series/slm-playbook/part-6-vllm-deployment-evals/Tue, 26 May 2026 08:00:00 +0700https://learn.tanhdev.com/series/slm-playbook/part-6-vllm-deployment-evals/Cẩm nang vận hành SLM trên vLLM. So sánh các định dạng lượng tử hóa AWQ, GPTQ, GGUF và thiết lập cấu hình Dynamic LoRA tiết kiệm RAM GPU hiệu quả.https://learn.tanhdev.com/series/ai-data-engineering-pipeline/part-8-inference-optimization-vllm/Sun, 17 May 2026 12:00:00 +0700https://learn.tanhdev.com/series/ai-data-engineering-pipeline/part-8-inference-optimization-vllm/Vượt qua giới hạn VRAM và tối ưu chi phí Server khi triển khai LLM 70B với vLLM, PagedAttention và Quantization FP8/AWQ.https://learn.tanhdev.com/posts/slm-fine-tune-vs-prompt-engineering/Mon, 01 Jun 2026 10:00:00 +0700https://learn.tanhdev.com/posts/slm-fine-tune-vs-prompt-engineering/Cẩm nang ra đòn dứt khoát cho đám kỹ sư AI (AI engineers): lúc nào thì đè ra mài dũa (fine-tune LoRA/QLoRA), lúc nào thì băm vằm prompt (prompt-engineer), và lúc nào thì RAG mới là chân ái.