vLLM: 一种面向大型语言模型的、兼具高吞吐量与内存效率的推理与服务引擎。 #vllm #ai
https://vllm.ai/
https://github.com/vllm-project/vllm
https://x.com/vllm_project

a16z: 我们很高兴宣布，我们将主导 Inferact 的 1.5 亿美元种子轮。

@inferact 是由 vLLM 项目维护者领导的新初创公司，包括 Simon Mo、Woosuk Kwon、Kaichao You 和 Roger Wang。
vLLM 是领先的开源推理引擎，也是各类开源项目中最大的之一，被 Meta、Google、Character AI 等众多公司用于生产环境。

#Inferact 通过专门的财务和开发资源支持 vLLM 项目，并将构建他们视为下一代商业推理引擎的架构。

对于 #a16z 基础设施来说，投资于 #vLLM 社区明确意味着未来将带来极其多样化的 #AI 应用、代理和工作负载，运行在多种硬件平台上。