Axolotl

Trong kỷ nguyên của LLMs/SLMs, câu slogan kinh điển của ngành dữ liệu: “Garbage In, Garbage Out” chưa bao giờ đúng hơn thế. Khi thực hiện huấn luyện tinh chỉnh có giám sát (Supervised Fine-Tuning - SFT) cho các mô hình ngôn ngữ nhỏ (SLMs), chất lượng và cấu trúc dữ liệu đóng vai trò quyết định 90% hiệu năng thực chiến của mô hình sau khi train. Việc nhồi nhét hàng triệu dòng dữ liệu hội thoại thu thập thô (raw web scrape hoặc synthetic data cấp thấp) chỉ khiến mô hình bị ngộ độc, quá khớp (overfitting) với các câu trả lời rập khuôn và tiêu tốn hàng nghìn giờ GPU vô ích. ...

Huấn luyện tinh chỉnh toàn phần (Full Parameter Fine-Tuning) một mô hình ngôn ngữ lớn là một đặc quyền xa xỉ. Đối với một mô hình nhỏ như Llama 3 8B, việc cập nhật toàn bộ tham số ở định dạng 16-bit vẫn đòi hỏi cụm phần cứng khổng lồ vượt xa khả năng của các nhà phát triển hoặc startup vừa và nhỏ. Để giải quyết bài toán tài nguyên, các kỹ thuật PEFT (Parameter-Efficient Fine-Tuning) ra đời, nổi bật nhất là LoRA và QLoRA. Chúng cho phép huấn luyện các mô hình hàng tỷ tham số trên duy nhất một chiếc GPU phổ thông (như RTX 3090, 4090 hoặc A10G) mà không làm suy giảm chất lượng đầu ra. ...