Cửa hàng Phần cứng AI
Khám phá Mini PC, NAS, máy trạm, máy chủ và phần cứng AI biên — mọi hệ thống đều có thể đi kèm với dịch vụ cài đặt và đổi mới phần mềm từ ⏻ On Intelligence.
| Hình ảnh | Sản phẩm | Giá | Dung lượng |
|---|
Hiểu về dung lượng mô hình
Dung lượng mô hình đề cập đến số lượng tham số mà một mô hình AI chứa (ví dụ: 70B = 70 tỷ tham số). Các mô hình lớn hơn thường yêu cầu nhiều bộ nhớ và năng lực tính toán hơn, nhưng có thể mang lại khả năng suy luận và chất lượng đầu ra được cải thiện.
Độ chính xác (FP16 / FP8 / FP4) ảnh hưởng đến lượng bộ nhớ mà một dung lượng mô hình nhất định yêu cầu: các định dạng có độ chính xác thấp hơn làm giảm một nửa yêu cầu bộ nhớ một cách đại khái ở mỗi bước giảm (FP16 → FP8 → FP4), với một số chi phí về độ chính xác đầu ra.
| Kích thước mô hình | Bộ nhớ điển hình (FP16) | Bộ nhớ điển hình (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |