LLMOps

★ BÀI VIẾT NỔI BẬT // TECH RADAR
Flagship Masterclass 44 phút đọc 30/09/2026

Tech Radar: Kiến Trúc Engine vLLM v1 & Tối Ưu Hóa Phân Tán Bộ Nhớ Đệm KV Trong Production: PagedAttention v3, Dynamic Chunked Prefill & RoCEv2 Zero-Copy Offloading

Phân tích chuyên sâu kiến trúc vLLM v1: Lõi C++ độc lập, ring buffer lock-free, PagedAttention v3, dynamic chunked prefill, phân tầng bộ nhớ đệm KV qua mạng RoCEv2 400Gbps và benchmark thực nghiệm trên cụm 8x GPU NVIDIA H100/H200.

vLLM v1 KV Cache Optimization PagedAttention v3
Đọc bài viết →
TECH RADAR
12 phút đọc 26/09/2026

Tech Radar: Kiến Trúc Phân Tách Prefill-Decode (PD Disaggregation): Giải Phóng Băng Thông Bộ Nhớ & Tăng Tốc Suy Luận LLM Bằng Truyền Tải KV RoCEv2

Phân tích kiến trúc chuyên sâu về Phân Tách Prefill-Decode (PD Disaggregation) trong phục vụ LLM: Tách rời tài nguyên tính toán và băng thông bộ nhớ, truyền tải KV cache zero-copy qua mạng RoCEv2 400Gbps, kết hợp DeepSeek-V3 MLA và …

Disaggregated Serving Prefill-Decode RoCEv2
Chi tiết →