Tech Radar: Kiến Trúc Phân Tách Prefill-Decode (PD Disaggregation): Giải Phóng Băng Thông Bộ Nhớ & Tăng Tốc Suy Luận LLM Bằng Truyền Tải KV RoCEv2
Tech Radar: Kiến Trúc Phân Tách Prefill-Decode (PD Disaggregation): Giải Phóng Băng Thông Bộ Nhớ & Tăng Tốc Suy Luận LLM Bằng Truyền Tải KV RoCEv2 Answer-First: Kiến trúc phân tách Prefill-Decode chuẩn hóa hạ tầng LLM 2026, loại bỏ xung đột giữa prefill ngốn tính toán và decode nghẽn băng thông. Nhờ truyền KV cache qua RoCEv2 400Gbps, kiến trúc giúp giảm 11 lần P99 TTFT (420ms xuống 38ms) và ổn định hoàn toàn TPOT trên cụm NVIDIA H100. ...