标签: vllm - 66必读

Netflix在其文章中介绍 "了将LLM推理纳入内部服务平台的生产经验，讨论了支持不同模型规模、硬件要求以及快速演进的推理引擎所遇到的问题。文章涵盖了在CPU与GPU上运行实时与批处理工作负载时的架构选择与运维工作，涉及从模型打包与部

vLLM Netflix在其文章中了将LLM推理纳入内部服务平台的生产经验

2026-08-17 作者：Matt Foster

新智元报道【新智元导读】京东开源JoyAI-VL-Interaction，把视频AI从「你问我答」的轮次对话，推进到「持续在场、主动开口、按时机说话」的流式交互新范式。世界杯决赛最后一秒，球进了。你身边那个号称能「看懂视频」的AI，还在

Interaction JoyAI token

2026-06-23 新智元

GitHub项目：DeepSeek-OCR 仓库地址：https://github。com/deepseek-ai/DeepSeek-OCR Stars：23257 | 作者：deepseek-ai 项目描述：Contexts Optica

DeepSeek OCR vllm

2026-06-08 GitHub Trending

#vllm