Observability

Prerequisite: Trước khi bàn về việc giám sát (Monitoring), bạn cần hiểu rõ kiến trúc vận hành của AI trong Enterprise. Vui lòng đọc lại Kiến Trúc Hệ Thống AI-Native Toàn Diện. Chúng ta đã trải qua một chặng đường dài: Thiết kế Topology (Phần 1), xây dựng Memory (Phần 2), và dựng khiên bảo vệ Guardrails (Phần 3). Bây giờ, Agent của bạn đã sẵn sàng lên Production. Nhưng đây mới là lúc cơn ác mộng thực sự bắt đầu: Làm sao bạn debug một hệ thống mà kết quả trả về mỗi lần một khác (Non-deterministic)? ...

1. Vấn Đề “Hộp Đen” & Sự Bất Lực Của APM Truyền Thống Trong hệ thống phần mềm truyền thống (Web/App), bạn có thể dùng các công cụ APM (Application Performance Monitoring) như Datadog hay New Relic để theo dõi. Nếu hệ thống trả về mã HTTP 200 OK, bạn biết mọi thứ đang hoạt động tốt. Nếu trả về HTTP 500, bạn mở Log ra xem dòng code nào bị lỗi. ...

Điều kiện tiên quyết: Đây là Phần 10 của Khóa Học System Design. Mấy chương trước cắm đầu cắm cổ dựng giàn giáo cất nóc (architecture) — tới chương này tao sẽ chỉ cho mày cách banh mắt chui tọt vô ruột ngó ngoáy một cái hệ thống đang quẫy đạp sống nhăn và rà bắt mạch tận gốc ba cái bệnh hoạn ệch ạch (performance issues) chốn production. Answer-first: Đồ nghề mỏ hàn pprof (profiler) đúc liền xương tủy của Go dâng tận răng ngón nghề nhấp nháp nếm CPU (CPU sampling), mổ bụng săm soi đống mỡ phân lô (heap allocation analysis), lật nệm soi vết xếp chồng goroutine (goroutine stack inspection), và chỉ điểm ổ kẹt ngẽn (blocking profiler) — bưng bít sẵn sàng phơi ra như mấy cái cổng HTTP endpoints nhởn nhơ móc từ ba cái ổ dịch vụ production đang chạy ro ro mà cực kỳ héo hao tí tẹo tài nguyên (minimal overhead). Trò vác 2 bức hình chụp đống rác RAM (heap) ra cân đo đong đếm so lệch (Heap diff) là chiêu độc trị dứt điểm nhanh gọn lẹ lòi mặt chuột ổ rò rỉ RAM (memory leaks). ...

🇬🇧 Read the English version of this article on tanhdev.com Một pod Kubernetes đột ngột khởi động lại với mã thoát (exit code) 137. Biểu đồ giám sát bộ nhớ (memory metrics dashboard) hiển thị một mô hình bậc thang tăng dần đều đặn kéo dài suốt ba ngày. Không có bất kỳ log panic nào trong stdout, không có lỗi database, và không có mức tăng đột biến CPU bất thường nào. Chỉ là một cái chết êm đềm và từ từ do lỗi OOM (Out Of Memory). ...

🇬🇧 Read the English version of this article on tanhdev.com Trong vỏn vẹn 24 giờ qua, mớ tín hiệu đang chĩa mũi dùi lòi rành rành về một cú nhồi tích hợp sâu hoắm của đám AI lọt thỏm vô trong cái control vận hành (operational control) kẹp theo cái sự nhai đi nhai lại cốt tử về vụ xách giáp bọc lót an ninh cho bãi hạ tầng biên (perimeter infrastructure). ...