AI時代的網站與手機App建置與開發Part17 - 利用電子商務網站的購物歷史資料實作商品推薦系統

 ·       摘要

很多人說許多AI公司到現在也都沒有賺錢, 或者是說日AI到底有什麼人類需要的應用, 而這種應用能夠持續演進, 不會像早期的.COM, 有泡沫化的危機. 其實AI要賺錢很容易, AI只能和傳統的IT技術整合, 或位於IT系統的背後, 協助IT系統完成傳統的IT系統無法提供的功能, 傳統的IT系統的功能就可以更強大, 並進而賺到錢. 推薦系統就是一個很經典的案例,  房屋仲介員可以推薦物業給客戶, 人力網可以推薦人才給公司, 婚友網站也可以推薦婚友對象給註冊的會員, 有了推薦功能上述的網站就可以在與同類型的網站競爭中勝出, 賺到比同類型網站更多的錢也是必然的結果

身為電子商務領導廠商的Amazon的Amazon.com網站於2022年為Amazon公司貢獻了超過2000億美金的營收, 根據Amazon自己2021年發佈的報告, 高達35%的銷售成績來自推薦功能. 除此之外,  美國零售業的巨頭Walmart經典的啤酒與尿布的購物籃分析案例, 就是伴隨購買的推薦案例.


文章範例下載: https://github.com/CraigIII/ProductRecommedation.git

·       準備訓練資料

在這篇文章中, 我們將要利用Amazon.com網站本身統計的伴隨購買的商品資料(例如購買重機會伴隨購買防摔衣, 買香雞排會伴隨購買泡沫紅茶)實作推薦系統.

本篇文章使用的訓練資料是收集自Amazon.com網站的購物資料, 下載網址:Amazon product co-purchasing network, March 02 2003.

圖1即為收集自Amazon.com的購物資料, 其中的FromNodeId欄位記錄的是使用購買的商品編號, 而ToNodeId欄位描述的是使用者購買了FromNodeId欄位的商品時會隨附購買的商品編號.

圖1: 收集自Amazon.com的購物資料

收集自Amazon.com的購物資料只有兩個欄位, FromNodeId和ToNodeId, 像這樣的資料無法透過Visual Studio提供的[加入 | 機器學習模型]功能支援的精靈實作推薦模型, 因為Visual Studio支援的[機器學習模型]需要的訓練資料至少要有[要預測的資料行], [使用者資料行], 和[項目資料行]三個欄位, 所以欲使用收集自Amazon.com的購物資料實作推薦系統, 我們就必須自行實作訓練推薦系統的程式碼.

·       使用ML.NET實作推薦系統

請啟動Visual Studio建立型態為[主控台應用程式]型態的專案, 如圖2所示；

圖2: 建立型態為[主控台應用程式]型態專案的畫面

請按下[下一步]鍵按指示完成建立專案的工作.

請使用滑鼠右鍵點選[方案總管]視窗中的專案名稱, 執行[管理NuGet套件]功能, 為專案加入[Microsoft.ML]套件, 如圖3所示:

圖3: 為專案加入[Microsoft.ML]套件的畫面

請勾選[包括搶鮮版], 點選[Microsoft.ML套件的4.0.0-preview.24162.2版], 再點選[安裝]鍵 為專案加入Microsoft.ML套件.

安裝完成後, 請點選[NuGet套件管理員]畫面中的[Microsoft.ML.Recommender套件的4.0.0-preview.24162.2版], 再點選[安裝]鍵為專案加入Microsoft.ML.Recommender套件, 如圖4所示:

圖4: 為專案加入[Microsoft.ML.Recommender]套件的畫面

做好之後, 請將下載並解壓縮妥的訓練資料加入到專案中, 並於[屬性]視窗將[複製到輸出目錄]屬性設定成:有更新時才複製.

·       建立必要的類別

請為專案加入以下PurchaseHistory類別, 負責描述使用者的購物記錄:

public class PurchaseHistory

{

[KeyType(count: 262111)]

    public uint ProductId { get; set; }

    [KeyType(count: 262111)]

    public uint CoPurchaseProductId { get; set; }

}

請為專案加入以下PurchasePrediction類別, 負責描述商品推薦分數::

public class PurchasePrediction

{

    public float Score { get; set; }

}

·       實作商品推薦功能

請將Program.cs編輯成以下的樣子, 負責載入訓練資料, 用以訓練商品推薦模型:

using ConsoleApp;

using Microsoft.ML;

using Microsoft.ML.Data;

using Microsoft.ML.Trainers;


MLContext mlContext = new MLContext();

string FileName = Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "Amazon0302.txt");

var data = mlContext.Data.LoadFromTextFile(FileName,

    columns: new[]

    {

        new TextLoader.Column("Label", DataKind.Single, 0),

        new TextLoader.Column(name: nameof(PurchaseHistory.ProductId),

          dataKind: DataKind.UInt32,

          source: new[] { new TextLoader.Range(0) },

          keyCount: new KeyCount(262111)),

        new TextLoader.Column(name: nameof(PurchaseHistory.CoPurchaseProductId),

          dataKind: DataKind.UInt32,

          source: new[] { new TextLoader.Range(1) },

          keyCount: new KeyCount(262111))

    },

    hasHeader: true,

    separatorChar: '\t');

var split = mlContext.Data.TrainTestSplit(data, testFraction: 0.4);

var options = new MatrixFactorizationTrainer.Options

{

    MatrixColumnIndexColumnName = nameof(PurchaseHistory.ProductId),

    MatrixRowIndexColumnName = nameof(PurchaseHistory.CoPurchaseProductId),

    LabelColumnName = "Label",

    LossFunction = MatrixFactorizationTrainer.LossFunctionType.SquareLossOneClass,

    Alpha = 0.01,

    Lambda = 0.025,

    C = 0.00001

};

var trainer = mlContext.Recommendation()

.Trainers

.MatrixFactorization(options);

var model = trainer.Fit(split.TrainSet);

 

var metrics = mlContext.Recommendation()

.Evaluate(model.Transform(split.TestSet));

Console.WriteLine($"RMSE: {metrics.RootMeanSquaredError}");

var predictionEngine = mlContext.Model

.CreatePredictionEngine<PurchaseHistory, PurchasePrediction>(model);

 

var lines = File.ReadAllLines(FileName);

var products = new List<PurchaseHistory>();

foreach (var line in lines)

{

    if (!string.IsNullOrWhiteSpace(line) && !line.StartsWith('#'))

    {

        var parts = line.Split('\t');

        products.Add(new PurchaseHistory

        {

            ProductId = uint.Parse(parts[0]),

            CoPurchaseProductId = uint.Parse(parts[1])

        });

    }

}

// Loop through the products and make predictions

foreach (var product in products)

{

    var prediction = predictionEngine.Predict(product);

    if (prediction.Score > 0.75)

    {

        Console.WriteLine($"Product: {product.ProductId}, Co-purchased Product:{product.CoPurchaseProductId}, Score: {prediction.Score:P2}");

    }

}

做好之後請按下CTRL+F5組合鍵執行程式,您就會看到購買了指定的商品, 預測使用者會伴隨購買, 信心指數超過75%的其他商品編號, 如圖5所示, :

圖5: 顯示使用者購買了指定的商品, 推薦購買信心指數超過75%的其他商品的結果

留言

張貼留言

這個網誌中的熱門文章

AI時代的網站與手機App建置與開發Part27 - ML.NET與物件偵測

圖片
  ·        摘要 在自動駕駛的無人車和無人機風風火火出現在日常生活的應用的現今 , 物件偵測技術的應用也日益普及 , 例如自駕車必須要能夠偵測並判斷車輛前方的物體 , 當然最近眾人關注的人形機器人 , 也必須重度依賴物件偵測技術 . 圖 : 物件偵測示意圖 在本篇文章中 , 我們將使用 Visual Studio 2022, 搭配 Microsoft ML.NET 執行物件偵測 . ·        準備訓練資料 首先請參考 [ 使用 VoTT 為物件偵測標記影像 ] 這篇文件的說明 , 為欲偵測的圖片內容進行標示的動作 . 您可以標示多張內含欲辨識的內容 ( 例如 : 汽車 , 機車 , 狗 , 貓 , 紅綠燈 , 交通號誌等等 ) 的圖片 . 例如我們想辨識以下圖片中的停止號誌 : 圖: 內含停止號誌的圖片 就可以使用 Microsoft Visual Object Tagging Tool 標示出圖中 Stop 號誌的位置 , 得到內容位置資訊的 JSON 文件 , 如下所示 : {     "asset": {         "format": "jpg",         "id": "3a74b9294f2f787bf2abe678f6a43231",         "name": "untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "path": "file:E:/temp/Stop-Signs/untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "size": {  ...
閱讀完整內容

AI時代的網站與手機App建置與開發Part24 - ML.NET與圖片異常偵測

圖片
  ·        摘要 將異常偵測應用在圖片資料能夠替代人工進行產品的瑕疵檢視 , 例如檢視食物是否腐敗 , 外型破裂 , 研判 X 光片的內容是否異常 , 或是判斷商品的包裝是否破損等等 , 對於 24 小時不間斷的生產線能夠提供重要的品管支援 . 圖 : 圖片異常偵測示意圖 在本篇文章中 , 我們將使用 Microsoft ML.NET 支援的 ResNet50 預訓練模型 (Pre-Trained Model) 執行圖片的異常偵測 , 期能利用 AI 模型支援 24 小時不間斷的自動化作業 . ·        準備訓練資料 首先請啟動瀏覽器 , 瀏覽至 Cloud and Non-Cloud Images(Anomaly Detection, 下載訓練圖片資料集 ( 下載網址 : https://www.kaggle.com/datasets/ashoksrinivas/cloud-anomaly-detection-images?resource=download ). 圖 1 所示即為下載得到的圖片資料集的部分內容 : 圖 1: 訓練圖片資料集的部分內容 請將訓練圖片加入到 Visual Studio 專案中名稱為 images 資料夾中 , 並到 [ 屬性 ] 視窗將所有的訓練圖片的 [ 複製到輸出目錄 ] 屬性的內容值設定為 : 有更新時才複製 . ·        準備預訓練模型 請啟動瀏覽器 , 瀏覽至 ONNX Model Zoo, 下載支援圖片辨識的預訓練模型 ( 下載網址 : GitHub - onnx/models: A collection of pre-trained, state-of-the-art models in the ONNX format ), 請下載名稱為 resnet50-v2-7.onnx 的預訓練模型 . 請將下載妥的預訓練模型加入到 Visual Studio 專案中名稱為 PreTrainedModel 資料夾中 , 並到 [ 屬性 ] 視窗將預訓練模型檔案的 [ 複製到輸出目錄...
閱讀完整內容

AI時代的網站與手機App建置與開發Part28 - 使用YOLO模型進行物件偵測

圖片
  l   摘要 應用程式要提供物件偵測功能 , 除了能夠使用 Microsoft ML.NET 本身的物件偵測模型 ( 請參考 : AI 時代的網站與手機 App 建置與開發 Part27 - ML.NET 與物件偵測 的說明 ) 以外 , 也可以利用 SSD(Single Shot MultiBox Detector) 或 YOLO(You Only Look Once) 等演算法提供即時的物件偵測功能 . 圖 : YOLO 梗圖 ·        認識 SSD 與 YOLO 演算法 SSD 和 YOLO 演算法都是用來執行物件偵測常用的做法 , 其主要特性比較如表 1 的說明 : Feature SSD YOLO 辨識效率 快 ( 較 R-NN 快 , 較 YOLO 慢 ) 非常快 , 適合即時 (real-time) 作業 準確度 辨識小型物件準確度佳 辨識大型物件準確度佳 複雜度 中等 相對簡單 辨識圖片大小 支援 版本越高支援越好 表 1: SSD 和 YOLO 演算法主要特性比較 SSD 與 YOLO 物件偵測演算法的適用場合 ·         YOLO 物件偵測演算法的適用場合 : ü   即時運算 (Real-time) 程式 , 例如監視器 , 自動駕駛交通工具 , 機器人 ü   辨識速度很關鍵的場合 ·         SSD 物件偵測演算法的適用場合 : ü   辨識小型物件準確度高的場合 , 例如文件分析或...
閱讀完整內容