Phần 2: Kỹ Nghệ Dữ Liệu SFT: Tiêm Nhiễu NEFTune & SemDeDup
Kỹ nghệ dữ liệu SFT cho SLMs: cơ chế toán học NEFTune chống học vẹt, thuật toán SemDeDup lọc trùng ngữ nghĩa và rào chắn khử nhiễm điểm chuẩn 13-gram khắt khe.
Nhập từ khóa để tìm kiếm trong 371+ bài viết và chuyên đề…
Kỹ nghệ dữ liệu SFT cho SLMs: cơ chế toán học NEFTune chống học vẹt, thuật toán SemDeDup lọc trùng ngữ nghĩa và rào chắn khử nhiễm điểm chuẩn 13-gram khắt khe.
Cấu hình huấn luyện 4-bit NormalFloat NF4, tối ưu hóa bộ nhớ GPU VRAM với Axolotl và Unsloth, công thức phân bổ bộ nhớ cho mô hình 8B-14B trên một GPU 24GB.
Cẩm nang thực chiến giúp kỹ sư AI huấn luyện QLoRA, chắt lọc tri thức DeepSeek-R1, căn chỉnh DPO/GRPO và tối ưu hóa SLMs (1B-14B) trên hạ tầng tự host vLLM.