Hệ Thống AI Mini PC
Hệ thống nhỏ gọn, thân thiện với không gian bàn, được thiết kế cho suy luận AI cục bộ, tinh chỉnh mô hình và triển khai tại biên.
| Hình ảnh | Sản phẩm | Giá | Dung lượng |
|---|
Hiểu về dung lượng mô hình
Dung lượng mô hình đề cập đến số lượng tham số mà một mô hình AI chứa (ví dụ: 70B = 70 tỷ tham số). Các mô hình lớn hơn thường yêu cầu nhiều bộ nhớ và năng lực tính toán hơn, nhưng có thể mang lại khả năng suy luận và chất lượng đầu ra được cải thiện.
Độ chính xác (FP16 / FP8 / FP4) ảnh hưởng đến lượng bộ nhớ mà một dung lượng mô hình nhất định yêu cầu: các định dạng có độ chính xác thấp hơn làm giảm một nửa yêu cầu bộ nhớ một cách đại khái ở mỗi bước giảm (FP16 → FP8 → FP4), với một số chi phí về độ chính xác đầu ra.
| Kích thước mô hình | Bộ nhớ điển hình (FP16) | Bộ nhớ điển hình (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |