Usage:  docker model COMMAND

Commands:
  list        List models available locally
  pull        Download a model from Docker Hub
  rm          Remove a downloaded model
  run         Run a model interactively or with a prompt
  status      Check if the model runner is running
  version     Show the current version

拉取模型

將模型從 Docker Hub 拉取到您的本地環境。

$ docker model pull <model>

示例

$ docker model pull ai/smollm2

輸出

Downloaded: 257.71 MB
Model ai/smollm2 pulled successfully

列出可用模型

列出當前已拉取到您的本地環境的所有模型。

$ docker model list

您將看到類似以下內容

+MODEL       PARAMETERS  QUANTIZATION    ARCHITECTURE  MODEL ID      CREATED     SIZE
+ai/smollm2  361.82 M    IQ2_XXS/Q4_K_M  llama         354bf30d0aa3  3 days ago  256.35 MiB

執行模型

執行模型並使用提交的提示或在聊天模式下與其互動。

一次性提示

$ docker model run ai/smollm2 "Hi"

輸出

Hello! How can I assist you today?

互動式聊天

docker model run ai/smollm2

輸出

Interactive chat mode started. Type '/bye' to exit.
> Hi
Hi there! It's SmolLM, AI assistant. How can I help you today?
> /bye
Chat session ended.

移除模型

從您的系統中移除已下載的模型。

$ docker model rm <model>

輸出

Model <model> removed successfully

將 Docker Model Runner 整合到您的軟體開發生命週期中

您現在可以開始構建由 Docker Model Runner 提供支援的生成式 AI 應用程式了。

如果您想嘗試現有的生成式 AI 應用程式，請遵循以下說明。

設定示例應用程式。克隆並執行以下倉庫

$ git clone https://github.com/docker/hello-genai.git

在您的終端中，導航到 hello-genai 目錄。
執行 run.sh 來拉取所選模型並執行應用程式
在瀏覽器中開啟倉庫 README 中指定的地址訪問您的應用程式。

您將看到生成式 AI 應用程式的介面，您可以在其中開始輸入提示。

您現在可以與由本地模型提供支援的您自己的生成式 AI 應用程式進行互動。嘗試幾個提示，注意響應速度有多快——它們都使用 Docker 在您的機器上執行。

常見問題

哪些模型可用？

所有可用模型都託管在公共 Docker Hub 名稱空間 ai 中。

哪些 API 端點可用？

啟用該功能後，以下新 API 可用

#### Inside containers ####

http://model-runner.docker.internal/

    # Docker Model management
    POST /models/create
    GET /models
    GET /models/{namespace}/{name}
    DELETE /models/{namespace}/{name}

    # OpenAI endpoints
    GET /engines/llama.cpp/v1/models
    GET /engines/llama.cpp/v1/models/{namespace}/{name}
    POST /engines/llama.cpp/v1/chat/completions
    POST /engines/llama.cpp/v1/completions
    POST /engines/llama.cpp/v1/embeddings
    Note: You can also omit llama.cpp.
    E.g., POST /engines/v1/chat/completions.

#### Inside or outside containers (host) ####

Same endpoints on /var/run/docker.sock

    # While still in Beta
    Prefixed with /exp/vDD4.40

如何透過 OpenAI API 互動？

從容器內部

從另一個容器內部使用 curl 呼叫 OpenAI 端點 (chat/completions) 的示例

#!/bin/sh

curl http://model-runner.docker.internal/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Please write 500 words about the fall of Rome."
            }
        ]
    }'

從主機使用 Unix 套接字

從主機使用 curl 透過 Docker 套接字呼叫 OpenAI 端點 (chat/completions) 的示例

#!/bin/sh

curl --unix-socket $HOME/.docker/run/docker.sock \
    localhost/exp/vDD4.40/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Please write 500 words about the fall of Rome."
            }
        ]
    }'

從主機使用 TCP

如果您想從主機與 API 互動，但使用 TCP 而非 Docker 套接字，您可以從 Docker Desktop GUI 或透過 Docker Desktop CLI 啟用主機端 TCP 支援。例如，使用 docker desktop enable model-runner --tcp <port>。

之後，按照先前文件中的說明，使用 localhost 和選定的或預設埠與其互動。

#!/bin/sh

	curl https://:12434/engines/llama.cpp/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "ai/smollm2",
        "messages": [
            {
                "role": "system",
                "content": "You are a helpful assistant."
            },
            {
                "role": "user",
                "content": "Please write 500 words about the fall of Rome."
            }
        ]
    }'

已知問題

`docker model` 未被識別

如果您執行 Docker Model Runner 命令並看到

docker: 'model' is not a docker command

這意味著 Docker 無法找到外掛，因為它不在預期的 CLI 外掛目錄中。

要解決此問題，請建立一個符號連結以便 Docker 可以檢測到它

$ ln -s /Applications/Docker.app/Contents/Resources/cli-plugins/docker-model ~/.docker/cli-plugins/docker-model

連結後，重新執行該命令。

開啟 Docker Desktop 中的設定檢視。
導航到 開發中功能 中的 測試版 選項卡。
取消勾選 啟用 Docker Model Runner 複選框。
選擇 應用並重啟。

Docker Model Runner

啟用 Docker Model Runner

可用命令

模型執行器狀態

檢視所有命令