隨著大語言模型（LLM）逐步走向工程化與規(guī)模化部署，其推理效率、資源利用率以及硬件適配能力正成為影響應(yīng)用落地的核心問題。2023 年，加州大學(xué)伯克利分校的研究團隊開源 vLLM，通過引入 PagedAttention 機制對 KV 緩存進行高效管理，顯著提升模型吞吐量與響應(yīng)速度，在開源社區(qū)迅速走紅。截至目前，vLLM 在 GitHub 上已突破 46k stars，是大模型推理框架中的明星項目。

2025 年 1 月 27 日，vLLM 團隊發(fā)布 v1 alpha 版本，在過去近兩年的開發(fā)基礎(chǔ)上對核心架構(gòu)進行系統(tǒng)性重構(gòu)。此次更新的 v1 版本核心在于執(zhí)行架構(gòu)的全面重構(gòu)，引入隔離式 EngineCore，專注模型執(zhí)行邏輯，采用多進程深度整合，通過 ZeroMQ 實現(xiàn) CPU 任務(wù)并行化多進程深度整合，顯式分離 API 層與推理核心，極大提升了系統(tǒng)穩(wěn)定性。

同時，引入統(tǒng)一調(diào)度器（Unified Scheduler），具備調(diào)度粒度細、支持 speculative decoding、chunked prefill 等特性，在保持高吞吐量的同時提升延遲控制能力。

VLLM v1 的多進程處理架構(gòu)及數(shù)據(jù)流向圖

此外，vLLM v1 突破性采用無階段調(diào)度設(shè)計，優(yōu)化了用戶輸入和模型輸出 token 的處理方式，簡化了調(diào)度邏輯。該調(diào)度器不僅支持分塊預(yù)填充（chunked prefill）和前綴緩存（prefix caching），還能夠進行推測解碼（speculative decoding），有效提高推理效率。

不同請求的調(diào)度分配過程

緩存機制的優(yōu)化是另一大亮點。vLLM v1 實現(xiàn)了 zero-overhead 前綴緩存（prefix caching），即使在緩存命中率極低的長文本推理場景下，也能有效避免重復(fù)計算，提升推理一致性與效率。

無前綴緩存（紫色）與有前綴緩存（綠色） 在不同緩存命中率下的吞吐量

根據(jù)下圖可以看出，vLLM v1 與 v0 版本相比，吞吐量提升了高達 1.7 倍，尤其在高 QPS 情況下，性能提升更為顯著。需要注意的是，作為 alpha 階段版本，vLLM v1 當(dāng)前仍處于活躍開發(fā)中，可能存在穩(wěn)定性與兼容性問題，但其架構(gòu)演進方向已明確指向高性能、高可維護性與高度模塊化，為后續(xù)團隊快速開發(fā)新功能奠定了堅實的基礎(chǔ)。

Llama 不同版本模型下 vLLM V0 與 V1 的延遲-QPS 關(guān)系對比

就在上個月，vLLM 團隊還進行了一次小版本更新，重點提升了模型兼容性與推理穩(wěn)定性。本次更新的 vLLM v0.8.5 版本引入了對 Qwen3 與 Qwen3MoE 模型的首日支持，新增融合 FP8_W8A8 MoE 內(nèi)核配置，修復(fù)了多模態(tài)場景中的關(guān)鍵錯誤，進一步增強生產(chǎn)環(huán)境下的性能魯棒性。

為了幫助大家更高效地上手 vLLM，小編整理了一系列實用教程與模型案例，涵蓋從基礎(chǔ)安裝到推理部署的完整流程，幫助大家快速入門與深度理解，感興趣的小伙伴快來動手體驗吧！

更多 vLLM 中文文檔及教程可訪問：

https://vllm.hyper.ai/

基礎(chǔ)教程

1 . vLLM 入門教程：零基礎(chǔ)分步指南

* 在線運行：https://go.hyper.ai/Jy22B

該教程逐步展示了如何配置和運行 vLLM，提供 vLLM 的安裝、模型推理、啟動 vLLM 服務(wù)器以及如何發(fā)出請求的完整入門指南。

2 .使用 vLLM 對 Qwen2.5 推理

* 在線運行：https://go.hyper.ai/SwVEa

該教程詳細展示了如何對一個 3B 參數(shù)的大語言模型的進行推理任務(wù)，包括模型的加載、數(shù)據(jù)的準(zhǔn)備、推理過程的優(yōu)化，以及結(jié)果的提取和評估。

3 .使用 vLLM 加載大模型,進行少樣本學(xué)習(xí)

* 在線運行：https://go.hyper.ai/OmVjM

該教程為使用 vLLM 加載 Qwen2.5-3B-Instruct-AWQ 模型進行少樣本學(xué)習(xí)，詳細解釋了如何通過檢索訓(xùn)練數(shù)據(jù)獲取相似問題構(gòu)建對話，利用模型生成不同輸出，推斷誤解并結(jié)合相關(guān)方法進行整合排名等操作，實現(xiàn)從數(shù)據(jù)準(zhǔn)備到結(jié)果提交的完整流程。

4 .將 LangChain 與 vLLM 結(jié)合 使用教程

* 在線運行：https://go.hyper.ai/Y1EbK

本教程圍繞將 LangChain 與 vLLM 結(jié)合使用展開，旨在簡化并加速智能 LLM 應(yīng)用程序開發(fā)，涵蓋從基礎(chǔ)設(shè)置到高級功能應(yīng)用的多方面內(nèi)容。

大模型部署

1 .使用 vLLM 部署 Qwen3-30B-A3B

* 發(fā)布機構(gòu)：阿里巴巴 Qwen 團隊

* 在線運行：https://go.hyper.ai/6Ttdh

Qwen3-235B-A22B 在代碼、數(shù)學(xué)、通用能力等基準(zhǔn)測試中，表現(xiàn)出與 DeepSeek-R1、o1、o3-mini、Grok-3 和 Gemini-2.5-Pro 相媲美的能力。值得一提的是，Qwen3-30B-A3B 的激活參數(shù)數(shù)量僅為 QwQ-32B 的 10%，但表現(xiàn)更勝一籌，甚至像 Qwen3-4B 這樣的小模型也能匹敵 Qwen2.5-72B-Instruct 的性能。

2 .使用 vLLM 部署 GLM-4-32B

* 發(fā)布機構(gòu)：智譜 AI、清華大學(xué)

* 在線運行：https://go.hyper.ai/HJqqO

GLM-4-32B-0414 在代碼工程、工件生成、函數(shù)調(diào)用、基于搜索的問答和報告生成方面均取得了良好的效果。特別是在代碼生成或特定問答任務(wù)等幾個基準(zhǔn)測試中，GLM-4-32B-Base-0414 實現(xiàn)了與 GPT-4o 和 DeepSeek-V3-0324（671B)）等較大模型相當(dāng)?shù)男阅堋?/p>

3 .使用 vLLM 部署 DeepCoder-14B-Preview

* 發(fā)布機構(gòu)：Agentica 團隊、Together AI

* 在線運行：https://go.hyper.ai/sYwfO

該模型基于
DeepSeek-R1-Distilled-Qwen-14B，通過分布式強化學(xué)習(xí)（RL）進行了微調(diào)。它擁有 140 億參數(shù)，在 LiveCodeBench v5 測試中達到了 60.6% 的 Pass@1 準(zhǔn)確率，性能與 OpenAI 的 o3-mini 相當(dāng)。

4 .使用 vLLM 部署 Gemma-3-27B-IT

* 發(fā)布機構(gòu)：MetaGPT 團隊

* 在線運行：https://go.hyper.ai/0rZ7j

Gemma 3 是一款多模態(tài)大模型，能夠處理文本和圖像輸入并生成文本輸出，其預(yù)訓(xùn)練變體和指令調(diào)優(yōu)變體均提供開放的權(quán)重，適用于各種文本生成和圖像理解任務(wù)，包括問答、摘要和推理。其相對較小的尺寸使得它們能夠在資源有限的環(huán)境中部署。本教程使用 gemma-3-27b-it 作為演示進行模型推理。

更多應(yīng)用

1 .OpenManus + QwQ-32B 實現(xiàn) AI Agent

* 發(fā)布機構(gòu)：MetaGPT 團隊

* 在線運行：https://go.hyper.ai/RqNME

OpenManus 是由 MetaGPT 團隊于 2025 年 3 月推出的開源項目，旨在復(fù)刻 Manus 的核心功能，為用戶提供無需邀請碼、可本地化部署的智能體解決方案。QwQ 是 Qwen 系列的推理模型，相比傳統(tǒng)指令調(diào)優(yōu)模型，QwQ 具備思考和推理能力，在下游任務(wù)尤其是難題上能取得顯著性能提升。本教程基于 QwQ-32B 模型和 gpt-4o 為 OpenManus 提供推理服務(wù)。

2 .RolmOCR 跨場景極速 OCR 開源識別新基準(zhǔn)

* 發(fā)布機構(gòu)：Reducto AI

* 在線運行：https://go.hyper.ai/U3HRH

RolmOCR 是基于 Qwen2.5-VL-7B 視覺語言模型開發(fā)的開源 OCR 工具。它能快速且低內(nèi)存地從圖片和 PDF 中提取文字，優(yōu)于同類工具 olmOCR。RolmOCR 無需依賴 PDF 元數(shù)據(jù)，簡化流程并支持多種文檔類型，如手寫筆記和學(xué)術(shù)論文。

以上就是小編為大家準(zhǔn)備的 vLLM 相關(guān)的教程，感興趣的小伙伴速來親自體驗吧！

為了幫助國內(nèi)用戶更好地理解和應(yīng)用 vLLM，HyperAI超神經(jīng)的社區(qū)志愿者已協(xié)作完成首個 vLLM 中文文檔，現(xiàn)已完整上線至 hyper.ai。內(nèi)容涵蓋模型原理、部署教程與版本解讀，為中文開發(fā)者提供系統(tǒng)化的學(xué)習(xí)路徑與實用資源。

更多 vLLM 中文文檔及教程可訪問：https://vllm.hyper.ai/