Observability

← Chương trước: Phần 3: Secure Tool Calling & Guardrails | Mục lục Series | Chương tiếp theo: Phần 5: Đánh Giá AI Agent (Agent Evals) → Answer-first: AgentOps cho AI Agent yêu cầu hệ thống Observability chuyên biệt: ghi nhận vết suy luận phân tán (Trajectory Tracing), giám sát chi phí token theo từng bước, thiết lập đường dẫn thử nghiệm Sandbox với Signadot, và cảnh báo sớm các hành vi lặp vô hạn hoặc suy thoái chất lượng suy luận. ...

← Chương trước: Phần 3 — Data Layer: Chuyển đổi từ Aurora sang TiDB (2026) | Mục lục Series | Chương tiếp theo: Phần 5 — Mở rộng Quy mô cho Lưu lượng Chiến dịch Tỷ Yên (2026) → Answer-first: Đội ngũ SRE của PayPay duy trì độ tin cậy 99.99% qua thực hành Chaos Engineering chủ động tiêm lỗi vào staging/production, thiết lập ngân sách lỗi (Error Budget) và xây dựng hệ thống quan sát OpenTelemetry toàn diện. ...

← Chương trước: Bài 4: Tầng Dữ liệu — Từ MySQL Sharding đến TiDB NewSQL | Mục lục Series Answer-first: Hệ thống Distributed Tracing của Shopee thu nạp hàng triệu trace mỗi giây qua OpenTelemetry và lưu trữ trên cơ sở dữ liệu cột ClickHouse. Nhờ tốc độ nén và quét dữ liệu vượt trội của ClickHouse, kỹ sư có thể truy vấn vết lỗi và độ trễ end-to-end chỉ trong vài chục mili-giây. ...

← Chương trước: Phần 4: AgentOps & Production Observability | Mục lục Series | Chương tiếp theo: Phần 6: Kiến Trúc Human-in-the-Loop (HITL) → Answer-first: Agent Evals thiết lập khung đo lường đa chiều bao gồm độ hoàn thành mục tiêu (Pass@k), độ chính xác gọi Tool, và hiệu suất số bước thực thi. Kết hợp LLM-as-a-Judge có rubric phân cấp và kiểm tra tự động xác định giúp đánh giá chính xác độ tin cậy của Agent trước khi phát hành. ...

← Chương trước: Part 4: Đơn Giản Hóa CI/CD & Atomic Deployments | Mục lục Series | Chương tiếp theo: Part 6: Lộ Trình Chuyển Đổi (Migration Playbook) – Hợp Nhất → Answer-first: Observability trong Modular Monolith tận dụng in-process tracing và profiling bộ nhớ giúp giảm thiểu 80% chi phí so với distributed tracing. Bài viết hướng dẫn cấu hình OpenTelemetry chuẩn hóa để theo dõi hiệu năng từng module mà không làm tăng độ trễ mạng. ...

← Chương trước: Phần 5: Production Security & OWASP MCP Top 10 | Mục lục Series | Chương tiếp theo: Phần 7: Enterprise Scaling & Governance → Answer-first: Thiết lập khả năng quan sát (observability) cho MCP Server yêu cầu tích hợp OpenTelemetry (OTel) với đầy đủ Structured Logging, Metrics hành vi agent và Distributed Tracing. Bài viết hướng dẫn cấu hình truy vết ngữ cảnh (Context Propagation), chuẩn hóa semantic conventions và đẩy audit logs vào hệ thống SIEM tập trung. ...

🇬🇧 Read the English version on tanhdev.com ← Chương trước: Băm Nhất Quán (Consistent Hashing) — Node Ảo, Phương Sai Tải & Vòng CRC32 Trong Go | Mục lục Series | Chương tiếp theo: Bảo Mật & Giới Hạn Tốc Độ API (Rate Limiting) — Token Bucket, Leaky Bucket & Redis Lua → Answer-first: Khả năng quan sát (Observability) và profiling trong Go sử dụng các endpoint runtime/pprof chuyên sâu. So sánh Heap Profile diff định vị chính xác rò rỉ bộ nhớ (memory leaks), bắt bệnh rò rỉ goroutine qua stack dump, và phân tích Flame Graph giúp tối ưu hóa điểm nghẽn CPU trên Production với overhead tối thiểu. ...

← Chương trước: Phần 8: Tối Ưu Hóa Inference & Triển Khai vLLM | Mục lục Series | Chương tiếp theo: Phần 10: Production Evals & CI/CD Cho AI Data Pipeline → Answer-first: Hệ thống Agentic Observability tích hợp OpenTelemetry, Langfuse và Data Lineage để theo dõi từng mắt xích suy luận của AI. Việc ghi nhận chi tiết vết thực thi giúp kỹ sư nhanh chóng phát hiện lỗi logic, tối ưu chi phí token và ngăn chặn vòng lặp bất thường. ...

Production-grade Kubernetes Operator and eBPF kernel observability guide using Kubebuilder v4 and cilium/ebpf. Features C eBPF kernel probes (sys_execve, tcp_connect), zero-copy BPF ringbuffers (BPF_MAP_TYPE_RINGBUF), CRD controllers with status subresources, and deployment without privileged mode.

🇬🇧 Read the English version of this article on tanhdev.com Answer-first: Rò rỉ Goroutine xảy ra khi goroutine bị block vĩnh viễn trên unbuffered channel, context thiếu hủy, hoặc HTTP body chưa đóng, dẫn đến giữ heap memory và gây sự cố Kubernetes OOM (exit code 137). Chẩn đoán bằng pprof goroutine profile, chặn đứng qua goleak trong CI và áp dụng Go 1.26 goroutine leak detection. Một pod Kubernetes đột ngột khởi động lại với mã thoát (exit code) 137. Biểu đồ giám sát bộ nhớ (memory metrics dashboard) hiển thị một mô hình bậc thang tăng dần đều đặn kéo dài suốt ba ngày. Không có bất kỳ log panic nào trong stdout, không có lỗi database, và không có mức tăng đột biến CPU bất thường nào. Chỉ là một cái chết êm đềm và từ từ do lỗi OOM (Out Of Memory). ...

🇬🇧 Read the English version of this article on tanhdev.com Trong 24 giờ qua, các diễn biến kỹ thuật hội tụ vào hai trọng tâm: Tích hợp sâu AI vào quy trình điều phối vận hành (operational control) và thắt chặt an ninh tại tầng hạ tầng mạng biên (perimeter infrastructure). Xu hướng ứng dụng AI đang chuyển dịch từ “công cụ hỗ trợ thụ động” sang “hệ thống điều phối chủ động” (AI as an orchestrator), từ việc phân tích dữ liệu quyết định đến tự động hóa giám sát (observability) trong môi trường Kubernetes. Đồng thời, các cảnh báo an ninh khẩn cấp tại tầng biên nhắc nhở doanh nghiệp về tầm quan trọng của việc duy trì tính bảo mật cho hạ tầng cốt lõi. ...