OKHK 👀
DeepSeek V4.1 Flash 大规模推理部署实践 | Source每卡每小时 38 美金（按谷价）也是侧面印证了之前的 10 月回本的说法
TelegraphDeepSeek V4.1 Flash 大规模推理部署实践大模型的能力边界由模型本身划定，而如何让这些能力以合理的成本服务海量用户，则是推理框架要解决的核心问题。 面对大规模的 AI 调用需求，推理框架已经从单机服务程序演变为跨集群协同的复杂系统。算子、通信、调度与缓存管理相互影响，共同决定端到端性能。对于大规模在线服务，性能优化需要落实到具体的部署条件中：使用什么芯片、如何组织硬件、如何分配计算，以及如何复用已有的计算结果。 DeepSeek V4.1 Flash 推理系统从设计之初，就确立了三个目标： 兼容多种厂商的计算芯片：支持在不同硬件平台上部署，并充…- DeepSeek 开源推理框架：走向真正普惠的未来 | Source
DeepInfer: https://github.com/deepseek-ai/DeepInfer
deepseek-recipe: https://github.com/deepseek-ai/deepseek-recipeTelegraphDeepSeek 开源推理框架：走向真正普惠的未来大模型的能力边界由模型本身划定，但如何以合理成本提供超大规模的模型服务，还取决于一个长期未被公众了解的中间层：推理框架。 训练使模型学有所成，推理则让模型为人所用。面对如今海量的用户调用，推理框架负责统筹调度庞大的算力集群，其效率直接决定了 AI 服务的算力成本与电力消耗。 DeepSeek 长期致力于将推理性能推向极致。在此前开源一系列大模型、TileLang 编译工具及推理算子库的基础上，我们决定进一步将内部推理框架 DeepInfer 全面开源。 「为善与众行之，为巧与众能之。」我们希望通过分享内… 
