Docker 模型執行器

目錄
要求： Docker Engine 或 Docker Desktop (Windows) 4.41+ 或 Docker Desktop (MacOS) 4.40+
適用物件： 請參閱下面的要求部分

Docker 模型執行器 (DMR) 使使用 Docker 管理、執行和部署 AI 模型變得容易。Docker 模型執行器專為開發人員設計，簡化了直接從 Docker Hub 或任何符合 OCI 標準的登錄檔拉取、執行和提供大型語言模型 (LLM) 和其他 AI 模型的過程。

透過與 Docker Desktop 和 Docker Engine 無縫整合，您可以透過相容 OpenAI 的 API 提供模型，將 GGUF 檔案打包為 OCI 工件，並透過命令列和圖形介面與模型進行互動。

無論您是構建生成式 AI 應用程式、試驗機器學習工作流，還是將 AI 整合到您的軟體開發生命週期中，Docker 模型執行器都提供了一種一致、安全、高效的方式來在本地處理 AI 模型。

關鍵特性

  • 從 Docker Hub 拉取和推送模型
  • 透過相容 OpenAI 的 API 提供模型，以便與現有應用程式輕鬆整合
  • 將 GGUF 檔案打包為 OCI 工件並將其釋出到任何容器登錄檔
  • 直接從命令列或 Docker Desktop GUI 執行 AI 模型並與其互動
  • 管理本地模型並顯示日誌
  • 顯示提示和響應詳細資訊

要求

Docker 模型執行器支援以下平臺

Windows (amd64)

  • NVIDIA GPU
  • NVIDIA 驅動程式 576.57+

Windows (arm64)

  • Adreno 的 OpenCL

  • 高通 Adreno GPU (6xx 系列及更高版本)

    注意

    某些 llama.cpp 功能可能無法在 6xx 系列上完全支援。

  • Apple Silicon

僅限 Docker Engine

  • Linux CPU 和 Linux NVIDIA
  • NVIDIA 驅動程式 575.57.08+

Docker 模型執行器的工作原理

模型在首次使用時從 Docker Hub 拉取並存儲在本地。它們僅在執行時收到請求時才載入到記憶體中，並在不使用時解除安裝以最佳化資源。由於模型可能很大，因此首次拉取可能需要一些時間。之後，它們將本地快取以加快訪問速度。您可以使用相容 OpenAI 的 API 與模型進行互動。

提示

使用 Testcontainers 或 Docker Compose？適用於 Java 的 Testcontainers 和Go，以及Docker Compose 現在支援 Docker 模型執行器。

已知問題

docker model 未識別

如果您執行 Docker 模型執行器命令並看到

docker: 'model' is not a docker command

這意味著 Docker 找不到該外掛，因為它不在預期的 CLI 外掛目錄中。

要解決此問題，請建立符號連結，以便 Docker 可以檢測到它

$ ln -s /Applications/Docker.app/Contents/Resources/cli-plugins/docker-model ~/.docker/cli-plugins/docker-model

連結後，重新執行命令。

模型 CLI 中沒有一致的摘要支援

Docker Model CLI 目前缺乏對按映象摘要指定模型的一致支援。作為臨時解決方案，您應該按名稱而不是摘要來引用模型。

分享反饋

感謝您試用 Docker 模型執行器。請透過“**啟用 Docker 模型執行器**”設定旁邊的“**提供反饋**”連結提供反饋或報告您發現的任何錯誤。

後續步驟

DMR 入門