开源模型推理需求持续攀升之际，Prime Intellect 给出了自己的基础设施答案。该公司近日正式推出推理服务平台 Prime Inference，面向前沿开源模型提供托管式推理能力。

从服务形态看，Prime Inference 同时提供 serverless 端点与预留容量两种接入方式，前者适合按需调用、弹性扩缩的场景，后者则面向对稳定吞吐有要求的持续性负载。平台底层依托分布于多个数据中心的 GPU 基础设施运行。

值得关注的是其披露的运营规模：Prime Intellect 表示，该平台内部每天处理的 token 量已接近一万亿。这一数字直观反映了开源模型推理在真实业务中的调用体量。

对于依赖开源模型的开发者与团队而言，Prime Inference 的推出意味着在自建推理集群之外多了一个托管选项，而多数据中心部署与双模式容量供给，也为其在成本与稳定性之间提供了调节空间。