Skip to main content

​
vLLM

vLLM 可以透過OpenAI 相容 HTTP API 提供開源（和一些自訂）模型。OpenClaw 可以使用 openai-completions API 連線到 vLLM。 OpenClaw 也可以自動探索來自 vLLM 的可用模型，當您選擇加入 VLLM_API_KEY（如果伺服器未強制認證，任何值都可行），並且您未定義明確的 models.providers.vllm 項目時。

​
快速開始

  1. 使用 OpenAI 相容伺服器啟動 vLLM。
您的基底 URL 應公開 /v1 端點（例如 /v1/models、/v1/chat/completions）。vLLM 通常執行在：
  • http://127.0.0.1:8000/v1
  1. 選擇加入（如果未設定認證，任何值都可行）：
  1. 選擇模型（以 vLLM 模型 ID 之一替換）：

​
模型探索（隱含提供者）

當設定 VLLM_API_KEY（或認證設定檔存在）並且您不定義 models.providers.vllm 時，OpenClaw 將查詢：
  • GET http://127.0.0.1:8000/v1/models
…並將返回的 ID 轉換為模型項目。 如果您明確設定 models.providers.vllm，自動探索會被跳過，您必須手動定義模型。

​
明確設定（手動模型）

在以下情況下使用明確設定：
  • vLLM 在不同的主機 / 連接埠上執行。
  • 您想固定 contextWindow/maxTokens 值。
  • 您的伺服器需要真實 API 鑰（或您想控制標題）。

​
疑難排解

  • 檢查伺服器是否可達：
  • 如果請求失敗並出現認證錯誤，設定符合伺服器設定的真實 VLLM_API_KEY，或明確在 models.providers.vllm 下設定提供者。