A Fourth Paradigm lança a solução de ponta de inferência de modelos de grande escala ModelHub AIoT

A 26 de fevereiro, a Jinshi Data soube que a Fourth Paradigm lançou a solução de inferência de ponta de grande modelo ModelHub AIoT, onde os utilizadores podem implantar facilmente modelos de destilação de pequeno porte, incluindo DeepSeek R1, Qwen 2.5, Série Llama 2/3, e realizar operações offline. Os utilizadores podem alternar flexivelmente entre vários modelos, equilibrando a compressão e o desempenho da inferência, e resolvendo a complexidade da implantação e otimização. A empresa afirmou que esta solução não só consegue satisfazer as necessidades dos utilizadores em termos de privacidade e tempo real, mas também reduz significativamente os custos de inferência de grandes modelos de IA.