(资料图片)

7月28日消息,旷视科技发布全新轻量级 LLM 模型推理框架 InferLLM,提供一个比 llama.cpp 更简单更容易上手的本地部署框架,助力大模型实现落地。

推荐内容