Tối Ưu Hóa Inference & Triển Khai vLLM Trên Production

1. Nút Cổ Chai Của LLM: Tại Sao GPU Vẫn Thất Nghiệp? Sau khi thiết kế xong toàn bộ kiến trúc Agent ở 7 phần trước, đến lúc bạn đưa hệ thống lên Production (chạy thực tế). Mọi start-up đều sớm nhận ra một sự thật cay đắng: Kẻ thù của LLM không phải là Sức mạnh tính toán (Compute), mà là Băng thông bộ nhớ (Memory Bandwidth). Để chạy mô hình Llama-3 70B (chuẩn FP16), bạn cần khoảng 140GB VRAM chỉ để chứa mô hình. Nhưng khi có 100 User cùng gửi prompt, hệ thống phải sinh ra một vùng nhớ tạm gọi là KV Cache để giữ lại bối cảnh của 100 cuộc hội thoại đó. Ngay lập tức, KV Cache phình to ra và ăn cạn bộ nhớ VRAM còn lại. Hệ thống báo lỗi Out-Of-Memory (OOM) và sụp đổ, mặc dù sức mạnh xử lý của GPU lúc đó chỉ mới xài hết 30%. Làm sao để “nhồi” nhiều User hơn vào GPU mà không bị tràn RAM? ...

17 tháng 5, 2026 · 5 phút · Tuan Anh
So sánh kiến trúc AWS EKS vs ECS — tanhdev.com

AWS EKS vs ECS: Kiến trúc, Chi phí & Thực tế Sử dụng (2026)

🇬🇧 Read the English version of this article on tanhdev.com TL;DR: EKS cung cấp cho bạn toàn bộ sức mạnh của Kubernetes, khả năng di động và hệ sinh thái CNCF. ECS mang lại sự đơn giản thuần túy của AWS với chi phí control plane bằng $0. Hãy chọn EKS nếu bạn cần GitOps, ArgoCD, Dapr, hoặc muốn không bị khóa chặt vào một cloud (multi-cloud). Chọn ECS nếu bạn muốn đưa sản phẩm ra thị trường nhanh nhất trên AWS với gánh nặng vận hành tối thiểu. ...

26 tháng 6, 2026 · 19 phút · Tuan Anh

Zero DevOps E-commerce với Cloudflare Workers & Turborepo

🇬🇧 Read the English version of this article on tanhdev.com Bạn đã mệt mỏi với việc duy trì các cụm Kubernetes đắt đỏ, tinh chỉnh Auto-scaling groups trên AWS, hay chắp vá các pipeline CI/CD phức tạp chỉ để giữ cho một cửa hàng thương mại điện tử hoạt động? Chào mừng đến với kỷ nguyên Zero DevOps. Trong bài viết này, chúng ta sẽ mổ xẻ Aura Store — một nền tảng thương mại điện tử Cloudflare Workers cấp production được xây dựng hoàn toàn trên hạ tầng Edge, vận hành bởi một Turborepo Monorepo. Tất cả những gì bạn thấy dưới đây đều được trích xuất trực tiếp từ codebase đang chạy thực tế. ...

17 tháng 6, 2026 · 8 phút · Tuan Anh

Phần 8: Cập Nhật Bản Đồ Không Gián Đoạn (Zero-Downtime) & Kubernetes Đa Vùng (Multi-Region)

Ngồi đẻ ra một cái thuật toán chạy nhanh như gió mới chỉ đi được nửa quãng đường. Phép thử lửa thực sự (true test) của một Kỹ sư Principal nằm ở chỗ: làm sao vác nguyên một cái Hệ thống Định tuyến có trạng thái (stateful Routing Engine) to tổ chảng đắp lên Cloud mà không làm rớt mạng (downtime) lấy một giây nào mỗi lúc có đợt cập nhật bản đồ hay sập cơ sở hạ tầng. ...

15 tháng 6, 2026 · 9 phút · Tuan Anh

Triển khai Agentic AI Swarm trên Production

🇬🇧 Read the English version of this article on tanhdev.com Kỷ nguyên của các chatbot AI hội thoại thông thường đã chấm dứt. Bước vào năm 2026, ngành công nghiệp đang dịch chuyển mạnh mẽ sang Agentic AI — các hệ thống tự trị (autonomous systems) có khả năng tự lập kế hoạch, thực thi và lặp lại các luồng công việc nhiều bước mà không cần sự giám sát liên tục của con người. ...

17 tháng 5, 2026 · 8 phút · Vesviet

Kiến trúc Full-Stack Edge với Astro và Đặt WordPress sau CDN Cloudflare

🇬🇧 Read the English version of this article on tanhdev.com Việc chạy một trang web nội dung trên một con VPS truyền thống hoặc một host Node.js quản lý sẵn vẫn rất ổn cho đến khi nó hết ổn. Bạn phải trả tiền cho khối lượng tính toán (compute) nằm chơi xơi nước 95% thời gian, bạn phải tự quản lý việc gia hạn SSL, nơm nớp lo sợ lỗi cold start, và đứng nhìn điểm Lighthouse tụt dốc không phanh chỉ vì origin server của bạn nằm ở Singapore trong khi độc giả lại ở Frankfurt. ...

24 tháng 4, 2026 · 19 phút · Tuan Anh

Tech Radar, 18/04/2026: Argo CD Biến GitOps Thành Một Kỷ Luật Vòng Đời Toàn Diện

🇬🇧 Read the English version of this article on tanhdev.com Các chủ đề được lựa chọn cho luồng pipeline số 32 đều xoay quanh GitOps, nhưng chúng không đơn thuần chỉ lặp lại một câu chuyện cũ kỹ. Sau khi trích xuất và phân tích toàn bộ tài liệu gốc, một hình thái rõ ràng đã xuất hiện: GitOps vào năm 2026 không còn chỉ là việc đồng bộ (sync) các file cấu hình (manifests) từ Git sang Kubernetes. Nó đang trở thành một kỷ luật vòng đời (lifecycle discipline) chuẩn mực cho vận hành nền tảng, với sự an toàn khi xóa tài nguyên (deletion safety), các nguyên tắc tái đồng bộ (reconciliation semantics) mạnh mẽ hơn, các ranh giới quản trị rõ ràng, và những sự đánh đổi kiến trúc ngày càng sâu sắc giữa mô hình Control Plane tập trung và phi tập trung. ...

18 tháng 4, 2026 · 14 phút · Tuan Anh

Điều phối 21 Microservices với Kubernetes & ArgoCD

🇬🇧 Read the English version of this article on tanhdev.com Viết ra được 21 microservices bằng Go với kiến trúc chuẩn mực mới chỉ là một nửa cuộc chiến. Nếu quy trình deploy (triển khai) của bạn vẫn phụ thuộc vào một kỹ sư gõ lệnh kubectl apply từ laptop cá nhân của anh ta vào một chiều thứ Sáu, bạn chưa hề xây dựng một nền tảng enterprise — bạn vừa chế tạo ra một quả bom nổ chậm. ...

12 tháng 4, 2026 · 9 phút · Tuan Anh