AI時代的網站與手機App建置與開發Part14 - 使用ML.NET建立推薦系統

 

·       摘要

推薦功能在戈IT系統中的應用極廣, 從商品推薦, 人才推薦. 商品貨架陳列, 甚至開店選址, 都在推薦功能涵蓋的範疇. 在這篇文章中我們將要為大家介紹如何運用Microsoft ML.NET實作推薦系統.

文章範例下載:https://github.com/CraigIII/RecommendationSystem.git

·       認識推薦系統

如何建立一個好的推薦系統必須要考慮許多層面, 包括:依據使用者曾經購買或搜尋過的商品特徵推薦相似的商品, 推薦銷售狀況最佳或被瀏覽次數最高的商品, 依據相同特質的使用者的喜好商品進行推薦, 依據最新到貨商品, 依據伴隨購買的商品進行推薦(例如購買自行車會伴隨購買頭盔和水壼), 依據常識推薦商品(例如購買香煙可以推薦買打火機), 或是依據人口學的相關特性, 例如使用者的年齡, 性別, 收入, 教育程度, 或是居住地等資訊進行商品推薦. 除了上述傳統的商品推薦策略以外, 也可以導入機器學習技術建立先進的商品推薦系統.

·       準備訓練資料

首先請到以下的網址下載使用者觀賞電影之後留下的評點資料:recommendation-ratings-train.csv, 其內容如表1所示

表1: 使用者觀賞電影之後留下的評點記錄

userId

movieId

Rating

timestamp

1

110

1.0

1425941529

1

147

4.5

1425942435

1

858

5.0

1425941523

1

1221

5.0

1425941546

1

1246

5.0

1425941556

表1所示的觀賞電影的評點記錄中, 各個欄位的詳細說明如下:

欄位名稱

欄位說明

userId

使用者編號

movieId

電影編號

rating

使用者觀賞電影後留下的評點記錄

timestamp

使用者觀賞電影後留下評點記錄的時間點

·       使用ML.NET實作推薦系統

請啟動Visual Studio建立型態為[ASP.NET Core MVC應用程式(Model-View-Controller)]型態的專案, 然後使用滑鼠右鍵點選[方案總管]視窗中的專案名稱, 執行[加入 | 機器學習模型]功能, 做好之後請選擇[建議], 您就會看到選擇機器學習執行環境的畫面, 如圖1所示；

圖1: 選擇機器學習執行環境的畫面

請選擇[本機CPU]做為機器學習環境. 點選[下一步], 您會看到輸入訓練資料的畫面, 如圖2所示:

圖2: 輸入訓練資料的畫面

點選圖2畫面中的[瀏覽]鍵, 瀏覽到預先準備好的訓練資料, 於[要預測的資料行]選擇: rating, , 於[使用者資料行]選擇: userId, 於[項目資料行]選擇: movieId, 點選[下一步]鍵, 您就會看到執行訓練的畫面, 如圖3所示:

圖3: 執行訓練的畫面

點選[開始訓練], 靜待訓練完成.

訓練完成後, 您就會看到如圖4的畫面, 如果對訓練結果不滿意, 可以增加訓練時間, 或是設定[進階定型選項], 再按下[再次訓練]謀求改善.

·       認識Matrix Factorization Algorithm

您可以從圖4的畫面看到ML.NET使用了知名的Matrix Factorization Algorithm演算法預測使用者對電影的推薦分數, 這個演算法在Netflix的有獎競賽中因有效預測影片的推薦分數而廣為人知.

Matrix Factorization Algorithm會利用使用者過去行為的相似程度推測使用者對推薦內容的接受程度(喜好程度), 常被用來建立有效的推薦系統.

參考資料: Fundamental of Matrix Factorization For Recommender System

圖4: 訓練完成的畫面


如果滿意訓練結果, 可以按下[下一步]鍵, 您就會看到評估訓練妥的機器學習模型的畫面, 如圖5所示:

圖5: 評估訓練妥的機器學習模型的畫面

您可以於畫面中userId和movieId, 然後按下[預測]鍵, 就可以在圖5畫面的右方看到指定的使用者編號對指定的電影編號的指薦分數, 以及指定使用者編號的前5名指薦的電影編號和指薦分數.

評估完畢後按下圖5畫面中的[下一步], 您就會看到建立提供機器學習模型服務的Server程式和主控台應用程式程式, 如圖6所示:

圖6: 建立提供機器學習模型服務的Server程式和主控台應用程式程式

請注意如果您想建立提供機器學習服務給眾多的應用程式使用, 可以選擇點選圖6畫面中的[Web API]項目右方的[新增至解決方案]連結, Visual Studio建立的Web API專案將會提供/predict端點供需要機器學習服務的應用程式呼叫使用. 如果所建立的機器學習模型只要支援自己建立的程式使用, 請點選圖6畫面中的[主控台應用程式]項目右方的[新增至解決方案]連結, 由Visual Studio建立叫用訓練妥機器學習模型的主控台應用程式專案.

請點選圖6畫面中的[Web API]項目右方的[新增至解決方案]連結, 執行建立[Web API]專案的動作, Visual Studio就會將訓練妥的機器學習模型部署到新建立的[Web API]專案當做Server程式.

做好之後請再點選圖6畫面中的[主控台應用程式]項目右方的[新增至解決方案]連結, 由Visual Studio建立叫用機器學習模型的主控台應用程式專案.

建立妥部署有機器學習模型的Server專案與主控台應用程式專案之後, 請使用Visual Studio設定啟動專案, 將啟動專案設定成叫用機器學習模型的主控台應用程式專案.

設定完成之後請執行專案, 您就會看到主控台應用程式專案將指定的使用者編號與指定的電影編號傳送給機器學習模型進行預測指薦分數的結果, 如圖7所示:

圖7: 主控台應用程式專案將指定的使用者編號與指定的電影編號傳送給機器學習模型評估的結果

·       取得指定使用者最推薦的前5部電影

如果想取得某一名使用者評論分數最高的前5部電影, 可能就需要寫一些程式碼, 例如以下的程式碼會使用MLContext類別提供的功能, 載入訓練資料, 以取得所有的電影編號, 再將取得的電影編號建立成ModelInput類別的物件, 交給機器學習模型進行預測, 取得預測的結果後, 將預測的電影評論分數由大至小排序, 並取出前5名評論分數最高的資料, 即為指定的使用者最推薦的前5部電影:

using Microsoft.ML;

using MLModel_ConsoleApp;

MLContext mlc = new MLContext();

string Filename = Path.Combine(AppDomain.CurrentDomain.BaseDirectory,

"recommendation-ratings-train.txt");              //載入電影評論資料

IDataView dv=mlc.Data.LoadFromTextFile<MLModel.ModelInput>(

Filename, separatorChar:',', hasHeader:true);     //解析電影評論資料

//建立取用電影評論資料的Enumerator

IEnumerable<MLModel.ModelInput> e = mlc.Data.CreateEnumerable<

MLModel.ModelInput>(dv, reuseRowObject: true);

//建立存放電影評論預測結果的集合

List<MLModel.ModelOutput> Scores = new List<MLModel.ModelOutput>();

//取用電影評論資料

foreach (MLModel.ModelInput row in e)

{

    //將取得的電影評論資料建立成ModelInput類別的物件

    MLModel.ModelInput sampleData = new MLModel.ModelInput()

    {

        UserId = 2F,

        MovieId = row.MovieId,

    };    

    //預測電影的評論分數

    var predictionResult = MLModel.Predict(sampleData);

    //將預測結果存入集合

    Scores.Add(predictionResult);

}

//取出電影預測評論分數最高的5筆資料

foreach(MLModel.ModelOutput mo in

Scores.OrderByDescending(p => p.Score).Skip(0).Take(5))

{

    //輸出電影預測評論分數最高的5筆資料

    Console.WriteLine(

$"UserId:{mo.UserId}, MovieId:{mo.MovieId}, Score:{mo.Score}");

}

執行上述的程式碼, 您將會看到如圖8顯示的結果畫面

圖8: 顯示預測評論分數最高的5部電影的畫面

按下圖6畫面中的[下一步]鍵, 可以看到[部署您的模型]和[改進模型]兩個選項, 點選這些選項可以獲取有關將訓練妥的機器學習模型部署到Microsoft Azure雲端平台和改進訓練妥的機器學習模型的相關文件

·       後續處理

下一回我們將為大家示範如何將叫用部署有機器學習模型的Server專案程式碼移植到ASP.NET Core MVC網站專案或是MAUI跨平台手機App專案.

留言

張貼留言

這個網誌中的熱門文章

AI時代的網站與手機App建置與開發Part27 - ML.NET與物件偵測

圖片
  ·        摘要 在自動駕駛的無人車和無人機風風火火出現在日常生活的應用的現今 , 物件偵測技術的應用也日益普及 , 例如自駕車必須要能夠偵測並判斷車輛前方的物體 , 當然最近眾人關注的人形機器人 , 也必須重度依賴物件偵測技術 . 圖 : 物件偵測示意圖 在本篇文章中 , 我們將使用 Visual Studio 2022, 搭配 Microsoft ML.NET 執行物件偵測 . ·        準備訓練資料 首先請參考 [ 使用 VoTT 為物件偵測標記影像 ] 這篇文件的說明 , 為欲偵測的圖片內容進行標示的動作 . 您可以標示多張內含欲辨識的內容 ( 例如 : 汽車 , 機車 , 狗 , 貓 , 紅綠燈 , 交通號誌等等 ) 的圖片 . 例如我們想辨識以下圖片中的停止號誌 : 圖: 內含停止號誌的圖片 就可以使用 Microsoft Visual Object Tagging Tool 標示出圖中 Stop 號誌的位置 , 得到內容位置資訊的 JSON 文件 , 如下所示 : {     "asset": {         "format": "jpg",         "id": "3a74b9294f2f787bf2abe678f6a43231",         "name": "untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "path": "file:E:/temp/Stop-Signs/untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "size": {  ...
閱讀完整內容

AI時代的網站與手機App建置與開發Part24 - ML.NET與圖片異常偵測

圖片
  ·        摘要 將異常偵測應用在圖片資料能夠替代人工進行產品的瑕疵檢視 , 例如檢視食物是否腐敗 , 外型破裂 , 研判 X 光片的內容是否異常 , 或是判斷商品的包裝是否破損等等 , 對於 24 小時不間斷的生產線能夠提供重要的品管支援 . 圖 : 圖片異常偵測示意圖 在本篇文章中 , 我們將使用 Microsoft ML.NET 支援的 ResNet50 預訓練模型 (Pre-Trained Model) 執行圖片的異常偵測 , 期能利用 AI 模型支援 24 小時不間斷的自動化作業 . ·        準備訓練資料 首先請啟動瀏覽器 , 瀏覽至 Cloud and Non-Cloud Images(Anomaly Detection, 下載訓練圖片資料集 ( 下載網址 : https://www.kaggle.com/datasets/ashoksrinivas/cloud-anomaly-detection-images?resource=download ). 圖 1 所示即為下載得到的圖片資料集的部分內容 : 圖 1: 訓練圖片資料集的部分內容 請將訓練圖片加入到 Visual Studio 專案中名稱為 images 資料夾中 , 並到 [ 屬性 ] 視窗將所有的訓練圖片的 [ 複製到輸出目錄 ] 屬性的內容值設定為 : 有更新時才複製 . ·        準備預訓練模型 請啟動瀏覽器 , 瀏覽至 ONNX Model Zoo, 下載支援圖片辨識的預訓練模型 ( 下載網址 : GitHub - onnx/models: A collection of pre-trained, state-of-the-art models in the ONNX format ), 請下載名稱為 resnet50-v2-7.onnx 的預訓練模型 . 請將下載妥的預訓練模型加入到 Visual Studio 專案中名稱為 PreTrainedModel 資料夾中 , 並到 [ 屬性 ] 視窗將預訓練模型檔案的 [ 複製到輸出目錄...
閱讀完整內容

AI時代的網站與手機App建置與開發Part28 - 使用YOLO模型進行物件偵測

圖片
  l   摘要 應用程式要提供物件偵測功能 , 除了能夠使用 Microsoft ML.NET 本身的物件偵測模型 ( 請參考 : AI 時代的網站與手機 App 建置與開發 Part27 - ML.NET 與物件偵測 的說明 ) 以外 , 也可以利用 SSD(Single Shot MultiBox Detector) 或 YOLO(You Only Look Once) 等演算法提供即時的物件偵測功能 . 圖 : YOLO 梗圖 ·        認識 SSD 與 YOLO 演算法 SSD 和 YOLO 演算法都是用來執行物件偵測常用的做法 , 其主要特性比較如表 1 的說明 : Feature SSD YOLO 辨識效率 快 ( 較 R-NN 快 , 較 YOLO 慢 ) 非常快 , 適合即時 (real-time) 作業 準確度 辨識小型物件準確度佳 辨識大型物件準確度佳 複雜度 中等 相對簡單 辨識圖片大小 支援 版本越高支援越好 表 1: SSD 和 YOLO 演算法主要特性比較 SSD 與 YOLO 物件偵測演算法的適用場合 ·         YOLO 物件偵測演算法的適用場合 : ü   即時運算 (Real-time) 程式 , 例如監視器 , 自動駕駛交通工具 , 機器人 ü   辨識速度很關鍵的場合 ·         SSD 物件偵測演算法的適用場合 : ü   辨識小型物件準確度高的場合 , 例如文件分析或...
閱讀完整內容