AI時代的網站與手機App建置與開發Part19 - 啟用電腦配備的GPU, 提升深度學習的效率

 

·       摘要

使用ML.NET進行機器學習訓練的時候, 如果欲處理問題和電腦視覺有關, 包括:影像分類和物件偵測, 或是欲處理問題和自然語言有關, 包括:文字分類, 句子相似性, 問題解答, 和具名實體辨識, 等等需要強大訓練速度的案例, 您就會看到ML.NET提供的[本機率(GPU)]選項, 表示如果您的電腦配備NVIDIA GPU, 就可以經由啟用電腦配備的GPU, 大幅提升深度學習的速度.

下圖所示即為CPU與GPU運算速度的比較, 您可以明顯看出GPU的運算速度遠遠勝過CPU的運算速度:

圖: CPU vs GPU運算速度的比較

在這篇文章中, 我們將要為大家介紹如何啟用電腦配備的NVIDIA GPU, 利於執行深度學習訓練時的效率提升.

注意

電腦配備的GPU必須經過正確的設定才能夠發揮提升深度學習運算速度的好處.

·       檢查電腦配備的NVIDIA GPU

首先我們要檢查電腦中是否有配備NVIDIA GPU. 請按下Windows Key + X組合鍵, 再點選[裝置管理員]功能, 您就會看到[裝置管理員]的執行視窗, 展開其中的[顯示卡]項目, 就可以看到電腦是否有配備NVIDIA GPU, 例如圖1的畫面顯示的就是配備有NVIDIA GeForce RTX 4060 Laptop GPU的電腦的[裝置管理員]視窗::

圖1: 配備有NVIDIA GeForce RTX 4060 Laptop GPU的電腦的[裝置管理員]視窗

·       設定並啟用電腦配備的NVIDIA GPU

Microsoft ML.NET主要是依賴CPU的運算力訓練機器學習模型, 如果需要利用GPU, 只能透過兩個途徑:

1)     安裝TensorFlow套件, 透過與TensorFlow套件的整合, 利用NIVIDIA GPU訓練模型

2)     安裝ONNX Runtime, 透過與ONNX Runtime的整合, 利用NIVIDIA GPU訓練模型. 目前這個方案也是只支援NIVIDIA GPU, 但是未來計畫會納入支援Intel GPU與AMD GPU.

首先請啟動Visual Studio 2022, 建立.NET Core平台相關的專案, 然後啟動[命令提示字元], 切換至專案所在的資料夾, 再執行以下的三個指令:

dotnet add package Microsoft.ML

dotnet add package SciSharp.TensorFlow.Redist

dotnet add package Microsoft.ML.TensorFlow

分別安裝Microsoft.ML, SciSharp.TensorFlow.Redist, 和Microsoft.ML.TensorFlow三個套件, 安裝套件的畫面如圖2所示:

圖2:安裝Microsoft.ML, SciSharp.TensorFlow.Redist, 和Microsoft.ML.TensorFlow三個套件的畫面

安裝妥Microsoft.ML, SciSharp.TensorFlow.Redist, 和Microsoft.ML.TensorFlow三個套件之後, 我們還需要安裝CUDA Toolkit和cuDNN函式庫.

首先請啟動瀏覽器, 瀏覽至Install CUDA Toolkit, 下載並安裝CUDA Toolkit, 如圖3所示:

圖3:下載並安裝CUDA Toolkit的畫面

做好之後, 請再瀏覽至NVIDIA cuDNN, 下載並解壓縮NVIDIA函式庫, 並記下放置解壓縮後的NVIDIA函式庫的資料夾名稱.

圖4所示即為下載並解壓縮NVIDIA函式庫的畫面

圖4: 下載並解壓縮NVIDIA函式庫

·       建立CUDA Toolkit與cuDNN函式庫相關的環境變數

請按下Windows Key + X組合鍵, 再點選[設定 | 系統資訊 | 進階系統設定]功能, 點選[環境變數]鍵, 點選[使用者變數]清單中的[Path]環境變數, 再點選[編輯]鍵, 加入以下4個路徑:

1)     C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin

2)     C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\extras\CUPTI\lib64

3)     C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include

4)     C:\cuDNN\bin

請注意:

1.     上述環境變數中的v11.7為安裝的CUDA Toolkit的版本, 請依據所安裝的CUDA Toolkit版本修改環境變數的內容.

2.     上述環境變數中的cuDNN為放置解壓縮後的cuDNN函數庫的內容的資料夾名稱, 請依據放置解壓縮後的cuDNN函數庫的內容的資料夾名稱修改環境變數的內容.

圖5所示為設定妥環境變數內容的畫面

圖5:設定妥環境變數內容的畫面

完成所有的設定之後, 使用滑鼠的右鍵點選[方案總管]視窗中的專案名稱, 執行[加入 | 機器學習模型]功能, 再選擇電腦視覺有關的場景, 包括:影像分類和物件偵測, 或是選擇和自然語言有關的場景, 包括:文字分類, 句子相似性, 問題解答, 和具名實體辨識, 就可以看到支援選取[本機(GPU)]設備訓練機器學習模型的選項, 如圖6所示:


圖6: 支援選取[本機(GPU)]設備訓練機器學習模型的選項


留言

張貼留言

這個網誌中的熱門文章

AI時代的網站與手機App建置與開發Part27 - ML.NET與物件偵測

圖片
  ·        摘要 在自動駕駛的無人車和無人機風風火火出現在日常生活的應用的現今 , 物件偵測技術的應用也日益普及 , 例如自駕車必須要能夠偵測並判斷車輛前方的物體 , 當然最近眾人關注的人形機器人 , 也必須重度依賴物件偵測技術 . 圖 : 物件偵測示意圖 在本篇文章中 , 我們將使用 Visual Studio 2022, 搭配 Microsoft ML.NET 執行物件偵測 . ·        準備訓練資料 首先請參考 [ 使用 VoTT 為物件偵測標記影像 ] 這篇文件的說明 , 為欲偵測的圖片內容進行標示的動作 . 您可以標示多張內含欲辨識的內容 ( 例如 : 汽車 , 機車 , 狗 , 貓 , 紅綠燈 , 交通號誌等等 ) 的圖片 . 例如我們想辨識以下圖片中的停止號誌 : 圖: 內含停止號誌的圖片 就可以使用 Microsoft Visual Object Tagging Tool 標示出圖中 Stop 號誌的位置 , 得到內容位置資訊的 JSON 文件 , 如下所示 : {     "asset": {         "format": "jpg",         "id": "3a74b9294f2f787bf2abe678f6a43231",         "name": "untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "path": "file:E:/temp/Stop-Signs/untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "size": {  ...
閱讀完整內容

AI時代的網站與手機App建置與開發Part24 - ML.NET與圖片異常偵測

圖片
  ·        摘要 將異常偵測應用在圖片資料能夠替代人工進行產品的瑕疵檢視 , 例如檢視食物是否腐敗 , 外型破裂 , 研判 X 光片的內容是否異常 , 或是判斷商品的包裝是否破損等等 , 對於 24 小時不間斷的生產線能夠提供重要的品管支援 . 圖 : 圖片異常偵測示意圖 在本篇文章中 , 我們將使用 Microsoft ML.NET 支援的 ResNet50 預訓練模型 (Pre-Trained Model) 執行圖片的異常偵測 , 期能利用 AI 模型支援 24 小時不間斷的自動化作業 . ·        準備訓練資料 首先請啟動瀏覽器 , 瀏覽至 Cloud and Non-Cloud Images(Anomaly Detection, 下載訓練圖片資料集 ( 下載網址 : https://www.kaggle.com/datasets/ashoksrinivas/cloud-anomaly-detection-images?resource=download ). 圖 1 所示即為下載得到的圖片資料集的部分內容 : 圖 1: 訓練圖片資料集的部分內容 請將訓練圖片加入到 Visual Studio 專案中名稱為 images 資料夾中 , 並到 [ 屬性 ] 視窗將所有的訓練圖片的 [ 複製到輸出目錄 ] 屬性的內容值設定為 : 有更新時才複製 . ·        準備預訓練模型 請啟動瀏覽器 , 瀏覽至 ONNX Model Zoo, 下載支援圖片辨識的預訓練模型 ( 下載網址 : GitHub - onnx/models: A collection of pre-trained, state-of-the-art models in the ONNX format ), 請下載名稱為 resnet50-v2-7.onnx 的預訓練模型 . 請將下載妥的預訓練模型加入到 Visual Studio 專案中名稱為 PreTrainedModel 資料夾中 , 並到 [ 屬性 ] 視窗將預訓練模型檔案的 [ 複製到輸出目錄...
閱讀完整內容

AI時代的網站與手機App建置與開發Part28 - 使用YOLO模型進行物件偵測

圖片
  l   摘要 應用程式要提供物件偵測功能 , 除了能夠使用 Microsoft ML.NET 本身的物件偵測模型 ( 請參考 : AI 時代的網站與手機 App 建置與開發 Part27 - ML.NET 與物件偵測 的說明 ) 以外 , 也可以利用 SSD(Single Shot MultiBox Detector) 或 YOLO(You Only Look Once) 等演算法提供即時的物件偵測功能 . 圖 : YOLO 梗圖 ·        認識 SSD 與 YOLO 演算法 SSD 和 YOLO 演算法都是用來執行物件偵測常用的做法 , 其主要特性比較如表 1 的說明 : Feature SSD YOLO 辨識效率 快 ( 較 R-NN 快 , 較 YOLO 慢 ) 非常快 , 適合即時 (real-time) 作業 準確度 辨識小型物件準確度佳 辨識大型物件準確度佳 複雜度 中等 相對簡單 辨識圖片大小 支援 版本越高支援越好 表 1: SSD 和 YOLO 演算法主要特性比較 SSD 與 YOLO 物件偵測演算法的適用場合 ·         YOLO 物件偵測演算法的適用場合 : ü   即時運算 (Real-time) 程式 , 例如監視器 , 自動駕駛交通工具 , 機器人 ü   辨識速度很關鍵的場合 ·         SSD 物件偵測演算法的適用場合 : ü   辨識小型物件準確度高的場合 , 例如文件分析或...
閱讀完整內容