Phần 2: Kỹ Nghệ Dữ Liệu Cho SFT: NEFTune & SemDeDup
← Chương trước: Phần 1: Kiến Trúc Hybrid AI & Tự Host vLLM | Mục lục Series | Chương tiếp theo: Phần 3: Thực Chiến Fine-Tuning QLoRA: Axolotl & Unsloth → Answer-first: Kỹ nghệ dữ liệu Supervised Fine-Tuning (SFT) nâng cao chất lượng mô hình nhờ hai kỹ thuật cốt lõi: tiêm nhiễu ngẫu nhiên NEFTune vào vector nhúng để chống học vẹt (overfitting), và lọc trùng lặp ngữ nghĩa SemDeDup bằng cosine similarity nhằm tối ưu hóa tập huấn luyện. ...