TAG:人工智能框架
vLLM-Omni开源:把扩散模型、ViT、LLM塞进一条流水线，多模态推理一次跑完
vLLM团队推出首个全模态推理框架vLLM-Omni，将文本、图像、音频、视频的统一生成从概念变为可落地的代码。该框架采用解耦流水线架构，支持模态编码器、LLM核心和模态生成器独立部署，资源弹性伸缩，显存利用率最高提升40%。通过Python装饰器@omni_pipeline，开发者仅需三行代码即可将单模态模型拼装成多模态应用，吞吐量提升2.1倍，延迟降低35%。开源项目已上线GitHub，支持PyTorch2.4+和CUDA12.2，未来计划扩展视频与语音模型，助力多模态AI应用快速落地。
10 
0 
美股三大指数震荡整理，芯片股走高，光通信板块大涨
2026-05-11
0 浏览
多空胶着恒指震荡整理，AI景气外溢主导行情波动
2026-05-11
0 浏览
宠物AI公司PurrPurr获阿尔法公社投资 首年GMV目标5000万
2026-05-11
0 浏览
隆源股份业绩说明会回应今年新能源汽车零部件领域新客户洽谈中
2026-05-11
0 浏览
中国品牌市占率达75%，4月我国汽车销量约252.6万辆，新能源汽车出口贡献度近五成
2026-05-11
0 浏览
4月汽车出口增长51% 国内零售下跌超20%
2026-05-11
0 浏览
4月全国新能源汽车渗透率历史首次突破60%，燃油车零售同比暴跌37%
2026-05-11
0 浏览
港股复盘：强势翻红 芯片概念股冲高回落 短期风险需警惕
2026-05-11
0 浏览
申昊科技拟设具身智能子公司 加码人形机器人业务
2026-05-11
0 浏览
