Disaggregated Serving

Tech Radar: Kiến Trúc Phân Tách Prefill-Decode (PD Disaggregation): Giải Phóng Băng Thông Bộ Nhớ & Tăng Tốc Suy Luận LLM Bằng Truyền Tải KV RoCEv2 Answer-First: Kiến trúc phân tách Prefill-Decode chuẩn hóa hạ tầng LLM 2026, loại bỏ xung đột giữa prefill ngốn tính toán và decode nghẽn băng thông. Nhờ truyền KV cache qua RoCEv2 400Gbps, kiến trúc giúp giảm 11 lần P99 TTFT (420ms xuống 38ms) và ổn định hoàn toàn TPOT trên cụm NVIDIA H100. ...

Tech Radar Tháng 09/2026: WASI 0.3, MCP 2.0 & Hệ Thống Phân Tán AI Answer-First: Ấn bản Tech Radar tháng 09/2026 ghi nhận các cột mốc đột phá về kỹ nghệ hạ tầng phân tán và hệ sinh thái AI: chuẩn Model Context Protocol 2.0 (MCP 2.0) ra mắt kiến trúc lưới tác tử hướng sự kiện, chuẩn WASI 0.3 hoàn thiện luồng bất đồng bộ tự nhiên (stream<T>, future<T>), vi dịch vụ Wasmtime 46+ khởi động dưới 1ms, và công nghệ nén 75% KV Cache với DeepSeek-V3 Multi-Head Latent Attention (MLA). ...