RAG

Trong Phần 1: The Paradigm Shift - Kiến Trúc Agentic & Sức Mạnh Điều Phối Của Golang, chúng ta đã thiết lập bộ não điều phối (Orchestration Engine) bằng Golang và Eino. Tuy nhiên, một bộ não thông minh đến đâu cũng sẽ trở nên vô dụng nếu nó được tiếp nạp thông tin sai lệch, thiếu cấu trúc hoặc bị cắt vụn. Trong bài toán e-commerce, dữ liệu catalog sản phẩm thay đổi liên tục từng giây: giá cả biến động, tồn kho cập nhật, sản phẩm mới được thêm vào. Đồng thời, việc chia nhỏ (chunking) dữ liệu sản phẩm để đưa vào Vector Database (Qdrant) hoàn toàn khác biệt so với việc chia nhỏ một tài liệu PDF hay một bài báo. ...

Prerequisite: Để nắm vững các khái niệm nền tảng về Memory Architecture trong hệ thống AI, vui lòng xem lại Kiến Trúc Hệ Thống AI-Native Toàn Diện. Sau khi đã giải quyết bài toán giao tiếp giữa các Agent ở Phần 1, chúng ta phải đối mặt với “kẻ thù” lớn nhất của LLM: Giới hạn Context Window. Một Orchestrator giỏi đến mấy cũng vô dụng nếu các Worker Agent quên mất yêu cầu ban đầu của User chỉ sau vài lượt (turns) chạy tool. ...

Ba khứa kỹ sư lọt chung 1 team đang hục hặc đập chung 1 món: 1 con bot (customer support assistant) trả lời khách hàng theo cái giọng điệu nịnh nọt riêng của công ty, nhai lại ba cái thuật ngữ lấy từ cuốn bí kíp tài liệu (product documentation). Một ông gào lên “viết cụ nó 1 cái prompt xịn là xong”. Ông khác thì cự “phải mang ra mài dũa (fine-tune) lại cái mô hình”. Ông cuối phán “mù à, bài này rặt mùi RAG rồi”. ...

Đại đa số các phương án triển khai RAG (Retrieval-Augmented Generation) đều mang bộ mặt giống nhau: băm tài liệu thành từng mảng nhỏ (chunk), nhồi embedding vào thành vector, quăng vào một cái cơ sở dữ liệu vector (vector database), lôi kéo trích xuất lại thông qua tương quan cosine (cosine similarity), và dồn ép cụm top-K chunk đấy vào cái context LLM. Cú đánh này rất mượt cho mấy dạng câu hỏi đáp Q&A quanh một trang văn bản cỏn con. Nhưng nó lại nát bét 1 cách rập khuôn (systematically) hễ chạm tay vào đống kho tri thức doanh nghiệp cỡ bự, nơi mà mẩu đáp án cho 1 câu hỏi ứ chịu bám dính vào độc 1 cái chunk tài liệu rời rạc, mà vắt cựa dính nhằng nhịt vào những mối dây mơ rễ má liên hệ (relationships) kết chéo chằng chịt hàng tá thực thể (entities) xuyên nhau. ...