Giữa hàng chục mẫu GPU trên thị trường, việc chọn đúng card cho AI và Deep Learning có thể tiết kiệm hàng trăm triệu đồng hoặc ngược lại, khiến dự án bị nghẽn. Dưới đây là 6 tiêu chí bạn nên cân nhắc theo thứ tự ưu tiên.
1. Dung lượng VRAM
VRAM quyết định mô hình và kích thước batch bạn có thể chạy. Thiếu VRAM là lỗi “out of memory” quen thuộc, và thường là giới hạn cứng nhất. Hãy ước tính nhu cầu trước khi chọn card; cách tính được trình bày trong bài VRAM bao nhiêu là đủ để chạy LLM.
2. Băng thông bộ nhớ
Với suy luận LLM, tốc độ sinh token thường bị giới hạn bởi băng thông bộ nhớ hơn là sức mạnh tính toán thuần. HBM (trên A100, H100) vượt trội GDDR về mặt này, đó là một lý do chúng đắt hơn.
3. Độ chính xác số được hỗ trợ
GPU đời mới hỗ trợ FP16, BF16, FP8 hoặc INT8 qua Tensor Core. Độ chính xác thấp hơn giúp chạy nhanh hơn và tiết kiệm bộ nhớ nếu mô hình chịu được. Kiểm tra xem framework bạn dùng đã hỗ trợ định dạng đó chưa.
4. Khả năng mở rộng nhiều GPU
Nếu cần huấn luyện phân tán, hãy xem GPU có NVLink hay chỉ có PCIe. Với một GPU duy nhất, tiêu chí này không quan trọng; với 4 – 8 GPU, nó ảnh hưởng lớn đến hiệu suất thực tế.
5. Hệ sinh thái phần mềm
CUDA, cuDNN, TensorRT và hầu hết thư viện như PyTorch, TensorFlow đều được tối ưu mạnh nhất cho NVIDIA. Card của hãng khác có thể rẻ hơn nhưng bạn cần kiểm tra mức hỗ trợ của framework và thư viện mình dùng trước khi quyết định.
6. Tổng chi phí sở hữu
Đừng chỉ nhìn giá card. Hãy tính cả điện, làm mát, chỗ đặt server, nhân sự vận hành và tỷ lệ sử dụng thực tế. Một GPU đắt nhưng chạy xong việc nhanh có thể rẻ hơn card rẻ phải chạy lâu gấp nhiều lần.
Gợi ý theo nhu cầu
| Nhu cầu | Hướng lựa chọn |
|---|---|
| Học tập, thử nghiệm cá nhân | Card RTX dành cho người dùng, VRAM từ 12 – 24 GB |
| Tinh chỉnh mô hình vừa, suy luận | RTX hạng cao hoặc L40S 48 GB |
| Huấn luyện nghiêm túc, nhiều người dùng | A100 80 GB |
| Huấn luyện LLM quy mô lớn | Cụm H100 có NVLink và mạng tốc độ cao |
Nếu chưa chắc về mức sử dụng, hãy bắt đầu bằng thuê GPU để đo thực tế rồi mới quyết định mua, xem thêm tại Thuê GPU hay mua GPU.








