docker model run
| 描述 | 執行模型，並使用提交的提示或聊天模式與其互動 |
|---|---|
| 用法 | docker model run MODEL [PROMPT] |
描述
執行模型時，Docker 會呼叫由 Model Runner 透過 Docker Desktop 託管的推理伺服器 API 端點。模型會一直保留在記憶體中，直到請求另一個模型，或者達到預定義的非活動超時（目前為 5 分鐘）。
您無需在使用主機程序或容器內部與特定模型互動之前執行 Docker model。Model Runner 會透明地按需載入請求的模型，前提是該模型已拉取並可在本地使用。
您還可以在 Docker Desktop 儀表板中選擇“**模型**”選項卡中的模型時使用聊天模式。
選項
| 選項 | 預設值 | 描述 |
|---|---|---|
--debug | 啟用除錯日誌記錄 | |
--ignore-runtime-memory-check | 如果模型的估計執行時記憶體超出系統資源，則不阻止拉取。 |
示例
一次性提示
docker model run ai/smollm2 "Hi"
輸出
Hello! How can I assist you today?
互動式聊天
docker model run ai/smollm2
輸出
Interactive chat mode started. Type '/bye' to exit.
> Hi
Hi there! It's SmolLM, AI assistant. How can I help you today?
> /bye
Chat session ended.