Câu hỏi thường gặp nhất khi triển khai mô hình ngôn ngữ lớn (LLM) là: “Card của tôi có đủ VRAM không?” Bạn có thể trả lời nhanh bằng một phép tính đơn giản.
Công thức cơ bản cho suy luận
Bộ nhớ cho trọng số mô hình xấp xỉ:
VRAM trọng số ≈ số tham số × số byte mỗi tham số
- FP16/BF16: 2 byte mỗi tham số
- INT8: 1 byte mỗi tham số
- INT4: khoảng 0,5 byte mỗi tham số
Sau đó cộng thêm khoảng 10 – 20% cho bộ đệm hoạt động và KV cache (tăng theo độ dài ngữ cảnh và số yêu cầu đồng thời).
Bảng ước tính VRAM cho trọng số
| Kích thước mô hình | FP16 | INT8 | INT4 |
|---|---|---|---|
| 7B | ~14 GB | ~7 GB | ~3,5 GB |
| 13B | ~26 GB | ~13 GB | ~6,5 GB |
| 34B | ~68 GB | ~34 GB | ~17 GB |
| 70B | ~140 GB | ~70 GB | ~35 GB |
Đây là con số ước tính cho riêng trọng số; thực tế cần cộng thêm KV cache và overhead.
Ví dụ thực tế
- Mô hình 7B FP16 cần khoảng 14 GB trọng số, thêm overhead là vừa trong card 24 GB.
- Mô hình 13B INT8 khoảng 13 GB, chạy được trên card 24 GB với ngữ cảnh vừa phải.
- Mô hình 70B INT4 khoảng 35 GB, cần card 48 GB (như L40S) hoặc 80 GB để còn chỗ cho KV cache.
- Mô hình 70B FP16 cần khoảng 140 GB, tức tối thiểu 2 GPU 80 GB.
Huấn luyện và tinh chỉnh cần nhiều hơn nhiều
Khi huấn luyện đầy đủ với bộ tối ưu Adam và độ chính xác hỗn hợp, quy tắc ước lượng thường dùng là khoảng 16 byte mỗi tham số (trọng số, gradient và trạng thái bộ tối ưu), chưa tính activation. Như vậy mô hình 7B cần cỡ 112 GB. Các kỹ thuật như LoRA/QLoRA chỉ huấn luyện một phần nhỏ tham số trên mô hình đã lượng tử hóa, giúp tinh chỉnh mô hình 7B – 13B trên một card 24 GB.
Mẹo tiết kiệm VRAM
- Lượng tử hóa (INT8, INT4) khi chất lượng chấp nhận được.
- Giới hạn độ dài ngữ cảnh và số yêu cầu đồng thời để kiểm soát KV cache.
- Dùng gradient checkpointing và mixed precision khi huấn luyện.
- Chia mô hình ra nhiều GPU (tensor/pipeline parallelism) khi một card không đủ.
Chọn card theo VRAM
Khi đã biết nhu cầu VRAM, bạn có thể đối chiếu với các GPU trong bài So sánh H100, A100 và L40S, hoặc xem lại khái niệm nền tảng tại GPU Server là gì.








