AI時代的網站與手機App建置與開發Part3 - 整合ML.NET與ASP.NET Core MVC網站 – 準備訓練資料

 ·       為ASP.NET Core MVC網站專案加入ML.NET程式庫

要為ASP.NET Core MVC網站專案加入ML.NET程式庫, 首先您要先啟動Visual Studio建立或開啟[ASP.NET Web應用程式(Model-View-Controller)]型態的專案, 然後使用滑鼠的右鍵點選[方案總管]中的專案名稱, 執行[加入 | 新增項目]功能, 為專案加入[Machine Learning Model(ML.NET), 如圖1所示:

圖1: 為專案加入[Machine Learning Model(ML.NET)

為專案加入[Machine Learning Model(ML.NET)]之後, 您就會看到如圖2所示的精靈操作畫面:

圖2: 使用ML.NET建立機器學習模型的畫面

我們只要跟隨精靈操作畫面的指示, 完成選擇情節, 選擇環境, 載入資料與資料預處理, 進行訓練, ML.NET程式庫就會使用自動化的機器學習服務 (AutoML)探索不同機器學習服務演算法和設定, 以找出最適合您案例的機器學習模型, 您只要評估結果和取用結果, 就可以成功地為ASP.NET Core MVC網站加入AI功能了.

·       選擇情節

使用ML.NET的第一個動作就是從現有的案例選擇欲處理的問題, 目前提供的選擇包括:

 1. 輸入表格式的資料預測資料分類

例如輸入鳶尾花的花卉資料:

花萼長度

花萼寬度

花瓣長度

花瓣寬度

5.1

3.5

1.4

0.2

預測鳶尾花的種類

 

2. 預測一個純量值

例如輸入房地產物件的條件:

犯罪率

空間

商業空間

河岸宅

空污

房間數

屋齡

近工作地點

近高速公路

0.00632

18

2.31

0

0.538

6.575

65.2

4.09

1

預測房地產的價格

 

3. 推薦

例如依據使用者的歷史購物記錄和購物喜好, 推薦符合使用者喜好的商品.

 

4. 預測未來趨勢

例如依據歷史銷售記錄預測未來的銷售量

 

5. 影像分類

例如判斷以下的圖片的內容, 並加以分類:


6. 物件偵測

例如判斷以下的圖的內容:


7. 情緒分析

例如依據使用者的旅館住宿評論, 餐廳用餐評論做為提升旅館住宿體驗和餐廳用餐體驗的參考.

下表為情緒分析範例

文字內容

情感

我真的很喜歡這牛排！

正

上菜速度很慢

負

 

8. 文句相似性

這是ML.NET新加入的功能, 將實作NAS-BERT(與Text Classification API使用相同的Transformer-based語言模型)語言模型的TorchSharp整合到ML.NET程式庫,支援依據使用者輸入的查詢語句找尋相關的語句. 或是屏蔽假新聞.

 

·       準備訓練資料

在使用ML.NET程式庫進行機器學習之前, 必須針對欲解決的問題搜集訓練資料, 或是到以下的連結搜尋類似的資料:

1.     搜尋Kaggle.com的Datasets

2.     搜尋OpenML.org的Datasets

3.     使用機器學習 / 深度學習套件提供的載入訓練資料功能

ü  搜尋 : Scikit-Learn Dataset loading utilities

ü  搜尋 : Keras Dataset

ü  搜尋 : TensorFlow Dataset

ü  搜尋 : PyTorch Datasets & DataLoaders

4.     使用Face Database提供的人臉圖片資料

5.     使用LFW Face Database提供的人臉圖片資料

6.     使用Speech Dataset提供的語音資料

7.     使用MNIST 提供的手寫阿拉伯數字圖片 / 使用Fashion MNIST時尚圖片

8.     使用CIFAR10與CIFAR100圖片資料集

9.       使用ImageNet圖片資料集

9.      自行搜集(例如使用爬蟲技術搜集, …)

留言

張貼留言

這個網誌中的熱門文章

AI時代的網站與手機App建置與開發Part29 - 使用YOLO模型偵測影片中的物件

圖片
  l   摘要 YOLO(You Only Look Once) 模型除了能夠辨識圖片內容以外 , 也能夠辨識影片的內容 , 也就是自駕車 , 無人機 , 空拍機 , 等裝置必備的功能 . 圖 : 空拍機空拍與辨識內容示意圖 ·         使用 YOLO 模型偵測影片中的物件 從技術面來看 , 影片其實是一堆圖片以連續的方式高速 ( 例如每秒 30 張圖片 , 或每秒 60 張圖片 ) 播放形成的效果 , 以下列的影片為例 : 圖 1: 內含狗與貓兩種動物的短片 就是由以下的多張圖片高速連續播放形成的 : 而網路攝影機 (WebCam) 的鏡頭觀察到的內容其實和影片的內容具有相同的結構 , 也就是網路攝影機的鏡頭觀察到的內容也是由一組連續的圖片組成的 . 例如上述的影片就是由以下的圖片組成的: 圖 2: 組成影片內容的多張連續的圖片 所以只要能夠使用 YOLO 模型偵測圖片的內容 , 就一定能夠偵測影片的內容 . ·         認識 Emgu.CV 程式庫 Emgu.CV 程式庫是一套包裝 OpenCV 圖形處理功能的套件 , 支援 Microsoft .NET 平台的應用程式使用 Microsoft .NET 支援的程式語言方便地叫用 OpenCV 圖形處理功能 . Emgu.CV 程式庫支援與 Visual Studio 和 Unity 整合 , 並部署到 Windows, Linux, macOS 等平台 , 甚至是 iOS 與 Android 等手機平台執行 . ·         使用 Emgu.CV 程式庫將欲辨識的影片解析成一組的圖片 首先請將欲辨識的影片加入到專案中名稱為 Video 資料夾中 , 並到 [ 屬性 ] 視窗將欲辨識的影片檔案的 [ 複製到輸出目錄 ] 屬性的內容值設定為 : 有更新時才複製 . string videoPath = "Video/CatnDog.mp4" ;          ...
閱讀完整內容

AI時代的網站與手機App建置與開發Part30 - ML 4.0新功能介紹

圖片
  l   摘要 Microsoft 在 2025 年的 1 月 16 日發佈了新版本的 ML.NET 4.0, 這個新版本主要的功能在於加入了整合 GPT-4 的 Token 解析功能 , 支援 .NET 應用程式與 GPT-4 大型語言模型的協同合作 . Microsoft 在 ML.NET 的支援不斷地在提升 , 按照 Microsoft 的研發時程 , 在 2025 年底還會有更新的 ML.NET 5.0 與大家見面 . 圖 : 機器學習示意圖 l   認識 ML.NET 4.0 ML.NET 4.0 是 Microsoft 支援 ,NET 工程師開發機器學習相關的應用的最新版本開放原始碼程式庫 , 是繼 2023 年 11 月底發佈的 ML.NET 3.0 之後的最新版本 , 其主要的功能更新包括 更強大的分詞 (Tokenization) 功能 , 新版本的 Model Builder Visual Studio 延伸模組 , 整合 TorchSharp 程式庫 , 以及功能更先進的 AutoML 功能 . 1.     更強大的分詞 (Tokenization) 功能 ML.NET 4.0 支援的 Microsoft.ML.Tokenizers 程式庫增強了以下的幾項功能 : 功能更強大的應用程式介面與 Tiktoken 分詞支援 :            Tiktoken 分詞技術是 OpenAI 的機器學習模型使用的分詞技術 , 支援 Tiktoken 分詞技術方             便 .NET 應用程式直接整合包括 GPT-4 在內的 GPT 機器學習模型 . Llama 大型語言模型的分詞支援 :            支援包括 LLaMA 和 Mistral 在內 , 以 Llama 為基礎的機器學習模型的分詞技術 , 在支援自然語...
閱讀完整內容

AI時代的網站與手機App建置與開發Part27 - ML.NET與物件偵測

圖片
  ·        摘要 在自動駕駛的無人車和無人機風風火火出現在日常生活的應用的現今 , 物件偵測技術的應用也日益普及 , 例如自駕車必須要能夠偵測並判斷車輛前方的物體 , 當然最近眾人關注的人形機器人 , 也必須重度依賴物件偵測技術 . 圖 : 物件偵測示意圖 在本篇文章中 , 我們將使用 Visual Studio 2022, 搭配 Microsoft ML.NET 執行物件偵測 . ·        準備訓練資料 首先請參考 [ 使用 VoTT 為物件偵測標記影像 ] 這篇文件的說明 , 為欲偵測的圖片內容進行標示的動作 . 您可以標示多張內含欲辨識的內容 ( 例如 : 汽車 , 機車 , 狗 , 貓 , 紅綠燈 , 交通號誌等等 ) 的圖片 . 例如我們想辨識以下圖片中的停止號誌 : 圖: 內含停止號誌的圖片 就可以使用 Microsoft Visual Object Tagging Tool 標示出圖中 Stop 號誌的位置 , 得到內容位置資訊的 JSON 文件 , 如下所示 : {     "asset": {         "format": "jpg",         "id": "3a74b9294f2f787bf2abe678f6a43231",         "name": "untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "path": "file:E:/temp/Stop-Signs/untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "size": {  ...
閱讀完整內容