Đội tuyển thứ tư giới thiệu giải pháp giải quyết mô hình lớn AIoT ModelHub tại đầu cuối

Dữ liệu Kim Tứ ngày 26 tháng 2, từ Paradigm thứ tư, đã giới thiệu giải pháp giải quyết đầu cuối suy luận mô hình lớn ModelHub AIoT, người dùng có thể dễ dàng triển khai các mô hình thu nhỏ bao gồm DeepSeek R1, Qwen 2.5, dòng Llama 2/3 và thực hiện chạy ngoại tuyến. Người dùng có thể linh hoạt chuyển đổi giữa nhiều mô hình, cân nhắc việc nén mô hình, hiệu suất suy luận, giải quyết sự phức tạp của triển khai và tối ưu hóa. Công ty cho biết, giải pháp này không chỉ đáp ứng nhu cầu về quyền riêng tư và thời gian thực của người dùng, mà còn giảm đáng kể chi phí suy luận của mô hình lớn AI.