DeepInfer

基础设施工程师可围绕已发布运行时构建，同时提供完整服务所需的额外缓存和负载均衡组件。核心能力包括 DeepSeek-V4.1-Flash 支持、注意力与专家并行、专家负载均衡和异步批处理调度。

项目提供公开代码或模型权重链接，以及运行或适配系统的设置说明。其他特性包括批次不变推理、确定性采样、正则表达式与模式约束，以及 NVIDIA 和昇腾硬件路径。