構建文字識別應用

目錄

概述

在本指南中，您將學習如何建立和執行一個文字識別應用程式。您將使用 Python、scikit-learn 和自然語言工具包 (NLTK) 來構建該應用程式。然後，您將設定環境並使用 Docker 執行該應用程式。

該應用程式使用 NLTK 的 SentimentIntensityAnalyzer 分析使用者輸入文字的情感。它允許使用者輸入文字，然後對文字進行處理以確定其情感，將其分類為積極或消極。此外，它還根據預定義的資料集顯示其情感分析模型的準確度和詳細的分類報告。

先決條件

  • 您已安裝最新版本的 Docker Desktop。Docker 會定期新增新功能，本指南的某些部分可能僅適用於最新版本的 Docker Desktop。
  • 您有一個 Git 客戶端。本節中的示例使用基於命令列的 Git 客戶端，但您可以使用任何客戶端。

獲取示例應用程式

  1. 開啟一個終端，並使用以下命令克隆示例應用程式的儲存庫。

    $ git clone https://github.com/harsh4870/Docker-NLP.git

  2. 驗證您已克隆該儲存庫。

    您應該在您的 Docker-NLP 目錄中看到以下檔案。

    01_sentiment_analysis.py
02_name_entity_recognition.py
03_text_classification.py
04_text_summarization.py
05_language_translation.py
entrypoint.sh
requirements.txt
Dockerfile
README.md

探索應用程式程式碼

文字分類應用程式的原始碼位於 Docker-NLP/03_text_classification.py 檔案中。在文字或程式碼編輯器中開啟 03_text_classification.py，以便在接下來的步驟中探索其內容。

  1. 匯入所需的庫。

    import nltk
from nltk.sentiment import SentimentIntensityAnalyzer
from sklearn.metrics import accuracy_score, classification_report
from sklearn.model_selection import train_test_split
import ssl
    • nltk：一個流行的用於自然語言處理 (NLP) 的 Python 庫。
    • SentimentIntensityAnalyzer：nltk 中用於情感分析的元件。
    • accuracy_score, classification_report：來自 scikit-learn 的函式，用於評估模型。
    • train_test_split：scikit-learn 中的函式，用於將資料集分割為訓練集和測試集。
    • ssl：用於處理下載 nltk 資料時可能出現的 SSL 證書問題。

  2. 處理 SSL 證書驗證。

    try:
    _create_unverified_https_context = ssl._create_unverified_context
except AttributeError:
    pass
else:
    ssl._create_default_https_context = _create_unverified_https_context

    這個程式碼塊是一個變通方法，適用於某些環境中透過 NLTK 下載資料可能因 SSL 證書驗證問題而失敗的情況。它告訴 Python 在 HTTPS 請求中忽略 SSL 證書驗證。

  3. 下載 NLTK 資源。

    nltk.download('vader_lexicon')

    vader_lexicon 是 SentimentIntensityAnalyzer 用於情感分析的詞典。

  4. 定義用於測試的文字和相應的標籤。

    texts = [...]
labels = [0, 1, 2, 0, 1, 2]

    本節定義了一個小的資料集，包含文字及其相應的標籤（0 表示積極，1 表示消極，2 表示垃圾資訊）。

  5. 拆分測試資料。

    X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.2, random_state=42)

    這部分將資料集劃分為訓練集和測試集，其中 20% 的資料作為測試集。由於此應用程式使用預訓練模型，因此不會訓練模型。

  6. 設定情感分析。

    sia = SentimentIntensityAnalyzer()

    此程式碼初始化 SentimentIntensityAnalyzer 以分析文字的情感。

  7. 為測試資料生成預測和分類。

    vader_predictions = [sia.polarity_scores(text)["compound"] for text in X_test]
threshold = 0.2
vader_classifications = [0 if score > threshold else 1 for score in vader_predictions]

    這部分為測試集中的每個文字生成情感分數，並根據閾值將其分類為積極或消極。

  8. 評估模型。

    accuracy = accuracy_score(y_test, vader_classifications)
report_vader = classification_report(y_test, vader_classifications, zero_division='warn')

    這部分計算預測的準確度和分類報告。

  9. 指定主執行塊。

    if __name__ == "__main__":

    這個 Python 慣用法確保了以下程式碼塊僅在該指令碼是主程式時執行。它提供了靈活性，允許該指令碼既可以作為獨立程式執行，也可以作為匯入的模組使用。

  10. 建立一個無限迴圈以進行連續輸入。

       while True:
    input_text = input("Enter the text for classification (type 'exit' to end): ")

      if input_text.lower() == 'exit':
         print("Exiting...")
         break

    這個 while 迴圈會無限執行，直到被明確中斷。它允許使用者連續輸入文字進行實體識別，直到他們決定退出。

  11. 分析文字。

            input_text_score = sia.polarity_scores(input_text)["compound"]
        input_text_classification = 0 if input_text_score > threshold else 1

  12. 列印 VADER 分類報告和情感分析。

            print(f"Accuracy: {accuracy:.2f}")
        print("\nVADER Classification Report:")
        print(report_vader)

        print(f"\nTest Text (Positive): '{input_text}'")
        print(f"Predicted Sentiment: {'Positive' if input_text_classification == 0 else 'Negative'}")

  13. 建立 requirements.txt。示例應用程式已包含 requirements.txt 檔案，用於指定應用程式匯入的必要軟體包。在程式碼或文字編輯器中開啟 requirements.txt 來檢視其內容。

    # 01 sentiment_analysis
nltk==3.6.5

...

# 03 text_classification
scikit-learn==1.3.2

...

    文字分類應用程式需要 nltk 和 scikit-learn 這兩個模組。

探索應用程式環境

您將使用 Docker 在容器中執行該應用程式。Docker 允許您將應用程式容器化，為其執行提供一個一致且隔離的環境。這意味著無論底層系統有何差異，該應用程式都將在其 Docker 容器內按預期執行。

要在容器中執行應用程式，需要一個 Dockerfile。Dockerfile 是一個文字文件，其中包含您在命令列上為組裝映象而呼叫的所有命令。映象是帶有建立 Docker 容器指令的只讀模板。

示例應用程式已包含一個 Dockerfile。在程式碼或文字編輯器中開啟 Dockerfile 以探索其內容。

以下步驟解釋了 Dockerfile 的每個部分。有關更多詳細資訊，請參閱 Dockerfile 參考。

  1. 指定基礎映象。

    FROM python:3.8-slim

    該命令為構建奠定了基礎。python:3.8-slim 是 Python 3.8 映象的輕量級版本，針對大小和速度進行了最佳化。使用這個 slim 映象可以減少 Docker 映象的總體大小，從而加快下載速度並減少安全漏洞的攻擊面。這對於可能不需要完整標準 Python 映象的基於 Python 的應用程式特別有用。

  2. 設定工作目錄。

    WORKDIR /app

    WORKDIR 設定 Docker 映象中的當前工作目錄。透過將其設定為 /app，您可以確保 Dockerfile 中的所有後續命令（如 COPY 和 RUN）都在此目錄中執行。這也有助於組織您的 Docker 映象，因為所有與應用程式相關的檔案都包含在一個特定目錄中。

  3. 將 requirements 檔案複製到映象中。

    COPY requirements.txt /app

    COPY 命令將 requirements.txt 檔案從您的本地計算機傳輸到 Docker 映象中。該檔案列出了應用程式所需的所有 Python 依賴項。將其複製到容器中，可以讓下一個命令（RUN pip install）在映象環境中安裝這些依賴項。

  4. 在映象中安裝 Python 依賴項。

    RUN pip install --no-cache-dir -r requirements.txt

    此行使用 Python 的包安裝程式 pip 來安裝 requirements.txt 中列出的包。--no-cache-dir 選項停用了快取，透過不儲存不必要的快取資料來減小 Docker 映象的大小。

  5. 執行其他命令。

    RUN python -m spacy download en_core_web_sm

    此步驟專門針對需要 spaCy 庫的 NLP 應用程式。它會下載 en_core_web_sm 模型，這是一個用於 spaCy 的小型英語語言模型。雖然此應用程式不需要它，但為了與可能使用此 Dockerfile 的其他 NLP 應用程式相容而包含它。

  6. 將應用程式程式碼複製到映象中。

    COPY *.py /app
COPY entrypoint.sh /app

    這些命令將您的 Python 指令碼和 entrypoint.sh 指令碼複製到映象的 /app 目錄中。這至關重要，因為容器需要這些指令碼來執行應用程式。entrypoint.sh 指令碼尤其重要，因為它決定了應用程式在容器內如何啟動。

  7. 為 entrypoint.sh 指令碼設定許可權。

    RUN chmod +x /app/entrypoint.sh

    此命令修改 entrypoint.sh 的檔案許可權，使其可執行。此步驟是必要的，以確保 Docker 容器可以執行此指令碼來啟動應用程式。

  8. 設定入口點。

    ENTRYPOINT ["/app/entrypoint.sh"]

    ENTRYPOINT 指令將容器配置為執行 entrypoint.sh 作為其預設可執行檔案。這意味著當容器啟動時，它會自動執行該指令碼。

    您可以透過在程式碼或文字編輯器中開啟 entrypoint.sh 指令碼來探索它。由於示例包含多個應用程式，該指令碼允許您指定容器啟動時要執行哪個應用程式。

執行應用程式

要使用 Docker 執行應用程式

  1. 構建映象。

    在終端中，在 Dockerfile 所在目錄內執行以下命令。

    $ docker build -t basic-nlp .

    以下是對該命令的分解：

    • docker build: 這是用於從 Dockerfile 和上下文構建 Docker 映象的主要命令。上下文通常是位於指定位置的一組檔案，通常是包含 Dockerfile 的目錄。
    • -t basic-nlp：這是一個用於標記映象的選項。-t 標誌代表 tag。它為映象分配一個名稱，本例中為 basic-nlp。標籤是以後引用映象的便捷方式，尤其是在將它們推送到登錄檔或執行容器時。
    • .：這是命令的最後一部分，指定了構建上下文。句點 (.) 表示當前目錄。Docker 將在此目錄中查詢 Dockerfile。構建上下文（在本例中為當前目錄）被髮送到 Docker 守護程序以啟用構建。它包括指定目錄中的所有檔案和子目錄。

    有關更多詳細資訊，請參閱 docker build CLI 參考。

    Docker 在構建映象時會向您的控制檯輸出多條日誌。您會看到它下載並安裝依賴項。根據您的網路連線情況，這可能需要幾分鐘時間。Docker 確實有快取功能，因此後續構建可能會更快。完成後，控制檯將返回到提示符。

  2. 將映象作為容器執行。

    在終端中，執行以下命令。

    $ docker run -it basic-nlp 03_text_classification.py

    以下是對該命令的分解：

    • docker run: 這是用於從 Docker 映象執行新容器的主要命令。
    • -it: 這是兩個選項的組合：
      • -i 或 --interactive: 即使未附加，也保持標準輸入 (STDIN) 開啟。它使容器能夠在前臺執行並保持互動。
      • -t 或 --tty: 這會分配一個偽 TTY，本質上是模擬一個終端，如命令提示符或 shell。它讓您能夠與容器內的應用程式進行互動。
    • basic-nlp: 這指定了用於建立容器的 Docker 映象的名稱。在本例中，它是您使用 `docker build` 命令建立的名為 `basic-nlp` 的映象。
    • 03_text_classification.py：這是您想要在 Docker 容器內執行的指令碼。它被傳遞給 entrypoint.sh 指令碼，該指令碼在容器啟動時執行它。

    有關更多詳細資訊，請參閱 docker run CLI 參考。

    注意

    對於 Windows 使用者，執行容器時可能會出現錯誤。請驗證 entrypoint.sh 檔案中的行尾是 LF (\n) 而不是 CRLF (\r\n)，然後重新構建映象。更多詳細資訊，請參閱[避免意外語法錯誤，為容器中的檔案使用 Unix 風格的行尾](/desktop/troubleshoot-and-support/troubleshoot/topics/#Unexpected-syntax-errors-use-Unix-style-line endings-for-files-in-containers)。

    容器啟動後，您將在控制檯中看到以下內容。

    Enter the text for classification (type 'exit' to end):

  3. 測試應用程式。

    輸入一些文字以進行文字分類。

    Enter the text for classification (type 'exit' to end): I love containers!
Accuracy: 1.00

VADER Classification Report:
              precision    recall  f1-score   support

           0       1.00      1.00      1.00         1
           1       1.00      1.00      1.00         1

    accuracy                           1.00         2
   macro avg       1.00      1.00      1.00         2
weighted avg       1.00      1.00      1.00         2

Test Text (Positive): 'I love containers!'
Predicted Sentiment: Positive

摘要

在本指南中，您學習瞭如何構建和執行一個文字分類應用程式。您學習瞭如何使用 Python、scikit-learn 和 NLTK 構建該應用程式。然後，您學習瞭如何設定環境並使用 Docker 執行該應用程式。

相關資訊

後續步驟

探索更多自然語言處理指南。