Architecture

1. Sự Thoái Trào Của RAG Tĩnh (Static RAG) Trong 5 phần trước, chúng ta đã xây dựng một cỗ máy RAG hoàn hảo: dữ liệu thời gian thực (CDC), bảo mật tuyệt đối, và phân quyền chặt chẽ. Nhưng dù hoàn hảo đến đâu, RAG truyền thống vẫn mắc một điểm yếu chí mạng: Nó chỉ biết “Đọc” và “Nói”, không biết “Làm”. Nếu bạn yêu cầu một hệ thống RAG: “Hãy kiểm tra xem server có đang bị quá tải không, nếu có hãy tự động khởi động thêm 2 server nữa”, nó sẽ hoàn toàn bất lực. RAG là một đường ống tĩnh (Static Pipeline) chạy theo đường một chiều. ...

1. Cú Lừa Của Context Window & Lời Nguyền “Cá Vàng” Nhiều Giám đốc công nghệ (CTO) năm 2024 từng tin rằng: Khi các mô hình như Gemini 1.5 Pro hay Claude 3 ra mắt với Context Window 1-2 triệu tokens, bài toán “trí nhớ” của AI đã được giải quyết. Họ nhồi toàn bộ lịch sử chat, hàng chục file PDF vào mỗi câu prompt và hy vọng AI sẽ tự hiểu bối cảnh. ...

1. Nút Cổ Chai Của LLM: Tại Sao GPU Vẫn Thất Nghiệp? Sau khi thiết kế xong toàn bộ kiến trúc Agent ở 7 phần trước, đến lúc bạn đưa hệ thống lên Production (chạy thực tế). Mọi start-up đều sớm nhận ra một sự thật cay đắng: Kẻ thù của LLM không phải là Sức mạnh tính toán (Compute), mà là Băng thông bộ nhớ (Memory Bandwidth). Để chạy mô hình Llama-3 70B (chuẩn FP16), bạn cần khoảng 140GB VRAM chỉ để chứa mô hình. Nhưng khi có 100 User cùng gửi prompt, hệ thống phải sinh ra một vùng nhớ tạm gọi là KV Cache để giữ lại bối cảnh của 100 cuộc hội thoại đó. Ngay lập tức, KV Cache phình to ra và ăn cạn bộ nhớ VRAM còn lại. Hệ thống báo lỗi Out-Of-Memory (OOM) và sụp đổ, mặc dù sức mạnh xử lý của GPU lúc đó chỉ mới xài hết 30%. Làm sao để “nhồi” nhiều User hơn vào GPU mà không bị tràn RAM? ...

Hỏi khí không phải, sao cứ hễ trời ụp cơn mưa, giá xe vọt gấp đôi, hay tới nóc gấp 3? Chả phải có khứa nào ngồi gác chân bóp gõ đổi giá đằng sau cái màn hình đâu. Rặt là 1 cỗ máy xào luồng thời gian thực (Stream Processing engine) khủng khiếp lẩn khuất đang cạp 1 cái thuật toán Giá Bão (surge pricing algorithm) đó. Vô cái xó này, ta lôi “mổ não” cái dàn kiến trúc của 1 cái cục rặn giá nảy số (dynamic pricing system) nháy mắt tròng. Ta sẽ bới tuốt từ trò xẻ nát bản đồ địa lý bằng cái kéo H3 (H3 library) của Uber, tới cái mâm rúc data mài dũa trên lưng Kafka với Flink. Thừa thắng, ta nghía coi 1 hồi cớ sự sao mà Banh Giãn Cái Đống Hầm Database Kẹp Nháp Tải Bão (Scaling your Database to handle Surge traffic) lại là cái luật thép hòng chống sập cái xưởng (crashing) của bạn lúc ăn đạn traffic. ...

Trong kỹ thuật phần mềm, các lỗi giao diện người dùng (UI) có thể làm người dùng khó chịu, nhưng những sai lệch tài chính sẽ giết chết doanh nghiệp và kéo theo những vụ kiện tụng. Việc xây dựng một kiến trúc microservices tài chính vững chắc cho Fintech hoặc Core Banking (Ngân hàng Lõi) là một trong những thử thách kiến trúc khó nhằn nhất mà bạn từng đối mặt. ...

Ngóc mọc lướt Khi ứng dụng của bạn vươn mình chạm ngõ ngóc mọc hàng triệu người dùng, một vọc lướt cỗ máy database ngóc mọc đơn độc (single database instance) lướt sớm muộn rọc vọc mọc cũng sẽ tự mình phình ngóc mọc lướt thành cái bọc cổ chai lướt rọc to ngóc mọc tướng nhất trong trọn ngóc mọc vọc bộ kiến trúc. Hòng rọc vọc đục để lướt vọc mọc giải quyết ngóc vọc mọc, việc vọc lướt rọc ngóc mọc mở rộng quy mô database MySQL (MySQL database scaling) rọc vọc mọc lướt lọt ngóc mọc thành vọc lướt rọc ngóc mọc điều rọc vọc bắt lướt mọc buộc (mandatory). Bạn vọc lướt rọc ngóc mọc phải vọc Bung Rộng DB mọc lướt cho Microservices (Scale DB for Microservices) vọc lướt sài mọc ngóc rọc các kỹ lướt mọc ngóc rọc thuật Horizontal Scaling (Bung Rộng Ngang). ...

Trong lĩnh vực giao vận dặm cuối (last-mile delivery) và mảng hậu cần (logistics), tính toán lộ trình không chỉ đơn giản bó hẹp ở việc vạch một đường chạy ngắn nhất đi từ điểm A đến điểm B. Tại khoảnh khắc hệ thống phải vất vả sắp xếp gánh hàng ngàn bác tài và lệnh giao cùng lúc, số phép tính phải trả sẽ phình to khủng khiếp theo cấp số nhân (exponentially). ...

Vào lúc nửa đêm ngày 11 tháng 11, khoảng 1,5 tỷ người trên khắp châu Á đồng loạt mở một ứng dụng duy nhất và bắt đầu chạm vào “Mua ngay”. Trong 60 giây đầu tiên, Alipay xử lý nhiều giao dịch hơn một ngân hàng lớn ở phương Tây xử lý trong cả một ngày. Đỉnh điểm của Ngày Lễ Độc Thân (Singles’ Day) năm 2023 — 583.000 giao dịch thanh toán mỗi giây (TPS) — không chỉ là một tiêu đề báo. Đó là sản phẩm của mười bốn năm tiến hóa kiến trúc đã định nghĩa lại ý nghĩa của từ “sẵn sàng cho production” đối với một nền tảng tài chính. ...

Thế hệ đầu tiên của giao diện chat tích hợp AI đi theo một mô típ đơn giản: người dùng gõ tin nhắn, LLM tạo văn bản (text), UI hiển thị văn bản đó. Thế hệ thứ hai bổ sung tool calls (lệnh gọi công cụ) — LLM có thể gọi các hàm (functions) và hiển thị kết quả dưới dạng văn bản. Thế hệ thứ ba — Generative UI (UI Sinh Tự Động) — tiến xa hơn thế: LLM không chỉ tạo ra các câu trả lời bằng văn bản mà còn tạo ra các thành phần UI tương tác (interactive UI components) được render (kết xuất) trực tiếp trong trình duyệt, mang đến những trải nghiệm không giống như đang trò chuyện với một khung văn bản mà giống như đang sử dụng một ứng dụng thông minh, phản hồi siêu nhạy. ...

Đại đa số các phương án triển khai RAG (Retrieval-Augmented Generation) đều mang bộ mặt giống nhau: băm tài liệu thành từng mảng nhỏ (chunk), nhồi embedding vào thành vector, quăng vào một cái cơ sở dữ liệu vector (vector database), lôi kéo trích xuất lại thông qua tương quan cosine (cosine similarity), và dồn ép cụm top-K chunk đấy vào cái context LLM. Cú đánh này rất mượt cho mấy dạng câu hỏi đáp Q&A quanh một trang văn bản cỏn con. Nhưng nó lại nát bét 1 cách rập khuôn (systematically) hễ chạm tay vào đống kho tri thức doanh nghiệp cỡ bự, nơi mà mẩu đáp án cho 1 câu hỏi ứ chịu bám dính vào độc 1 cái chunk tài liệu rời rạc, mà vắt cựa dính nhằng nhịt vào những mối dây mơ rễ má liên hệ (relationships) kết chéo chằng chịt hàng tá thực thể (entities) xuyên nhau. ...