AI時代的網站與手機App建置與開發Part20 - 使用ML.NET進行異常偵測

 ·       摘要

從一堆資料中找出異常的資料一直是資料分析很重要的課題, 例如生產線需要偵測NG商品,  公司想要找出異常的出貨單, 銀行想找出異常的信用卡交易, 科學家想找出氣溫異常, 金管單位想找出股價急漲/急跌的異常, 超巿想找出營收或利潤異常等等都是異常偵測的應用場合.

圖: 找出資料中的異常

在這篇文章中, 我們將要為大家介紹如何使用ML.NET分析商品銷售資料的異常.

·       準備訓練資料

首先請啟動瀏覽器, 瀏覽至Product Sales Data下載商品銷售資料(下載網址: https://www.kaggle.com/datasets/ksabishek/product-sales-data?resource=download).

圖1所示即為下載得到的資料:

圖1: 商品銷售資料節錄

這份商品銷售資料的欄位詳細說明如下表:

欄位名稱

欄位說明

Date

商品銷售日期

QP1

商品1的銷售量

QP2

商品2的銷售量

QP3

商品3的銷售量

QP4

商品4的銷售量

SP1

商品1的銷售利潤

SP2

商品2的銷售利潤

SP3

商品3的銷售利潤

SP4

商品4的銷售利潤

·       使用ML.NET執行銷售資料的異常偵測

以下會以分析商品銷售資料中的QP1欄位的內容為例, 有興趣的讀者可以自行修改程式以分析其他欄位的資料是否異常.

·       定義描述商品銷售資料的ProductSalesData類別

internal class ProductSalesData

{

    [LoadColumn(1)]

    public string Date;

    [LoadColumn(2)]

    public float QP1;

}

·       定義描述異常偵測結果的ProductSalesPrediction類別

internal class ProductSalesPrediction

{

    [VectorType(3)]

    public double[] Prediction { get; set; }

}

·       實作偵測商品銷售資料的異常

private void btnProductSalesAnpmalyDetect_Click(object sender, RoutedEventArgs e)

{

    MLContext mlContext = new MLContext();

  // 載入資料

    IDataView ProductSales = mlContext.Data.LoadFromTextFile<ProductSalesData>(

"statsfinal.csv", separatorChar: ',', hasHeader: true);

    // 將訓練資料轉換成List集合

List<ProductSalesData> data =mlContext.Data.CreateEnumerable<ProductSalesData> 

    (ProductSales, reuseRowObject: false).ToList();

IDataView dataView = mlContext.Data.LoadFromEnumerable(data);

    //使用線形圖顯示銷售資料

PlotSalesChart(data);

    Trace.WriteLine("Detect temporary changes in pattern");

DetectSpike(mlContext, 36, dataView);

    Trace.WriteLine("Detect Persistent changes in pattern");

    DetectChangepoint(mlContext, 36, dataView);

}

private void DetectSpike(MLContext mlContext, int docSize, IDataView productSales)

{

var iidSpikeEstimator = mlContext.Transforms.DetectIidSpike(outputColumnName:

nameof(ProductSalesPrediction.Prediction), inputColumnName:

nameof(ProductSalesData.QP1), confidence: 95.0, pvalueHistoryLength: docSize / 4);

    // 訓練

    ITransformer iidSpikeTransform = iidSpikeEstimator.Fit(productSales);

    //取得訓練結果

    IDataView transformedData = iidSpikeTransform.Transform(productSales);

    var predictions = mlContext.Data.CreateEnumerable<ProductSalesPrediction>(

transformedData, reuseRowObject: false);

    //顯示預測結果

    Trace.WriteLine("Alert\tScore\tP-Value");

    foreach (var p in predictions)

    {

        var results={p.Prediction[0]}\t{p.Prediction[1]:f2}\t{p.Prediction[2]:F2}";

        if (p.Prediction[0] == 1)

        {

            results += " <-- Spike detected";

        }

        Trace.WriteLine(results);

    }

}

private void DetectChangepoint(MLContext mlContext, int docSize,

IDataView productSales)

{

var iidChangePointEstimator =

mlContext.Transforms.DetectIidChangePoint(outputColumnName: nameof(ProductSalesPrediction.Prediction), inputColumnName: nameof(ProductSalesData.QP1), confidence: 95.0, changeHistoryLength: docSize / 4);

    //訓練

    var iidChangePointTransform = iidChangePointEstimator.Fit(productSales);

    //取得訓練結果

    IDataView transformedData = iidChangePointTransform.Transform(productSales);

    var predictions = mlContext.Data.CreateEnumerable<ProductSalesPrediction>(

transformedData, reuseRowObject: false);

    //顯示預測結果

    Trace.WriteLine("Alert\tScore\tP-Value\tMartingale value");

    foreach (var p in predictions)

    {

        var results = $"{p.Prediction[0]}\t

{p.Prediction[1]:f2}\t{p.Prediction[2]:F2}\t{p.Prediction[3]:F2}";

        if (p.Prediction[0] == 1)

        {

            results += " <-- alert is on, predicted changepoint";

        }

        Trace.WriteLine(results);

    }

}

private void PlotSalesChart(List<ProductSalesData> productSales)

{

    //建立繪圖模型

    var plotModel = new PlotModel { Title = "Sales Data" };

    //建立線形圖需要的序列資料

    var lineSeries = new LineSeries

    {

        Title = "Sales",

        MarkerType = MarkerType.Circle,

        ItemsSource = productSales,

        Mapping = item =>

        {

            var data = (ProductSalesData)item;

            DateTime date;

            if (DateTime.TryParseExact(data.Date, "dd-MM-yyyy", null,

System.Globalization.DateTimeStyles.None, out date))

            {

                return new DataPoint(DateTimeAxis.ToDouble(date), data.QP1);

            }

            else

            {

                throw new FormatException(

$"The input string '{data.Date}' was not in a correct format.");

            }

        }

    };

    //將序列資料加入到繪圖模型

    plotModel.Series.Add(lineSeries);

    //建立顯示繪圖模型的PlotView檢視

    var plotView = new PlotView

    {

        Model = plotModel,

    };

    //顯示PlotView檢視

    Content = plotView;

}

上述的程式碼首先會以線形圖的方式顯示欲偵測的商品鋿售資料, 如圖2所示:

圖2: 以線形圖的方式顯示欲偵測的商品鋿售資料

然後分析商品銷售資料是否有短暫的銷售異常, 如圖3所示:


圖3:商品銷售有短暫銷售異常者會標示為1, 並加註<--Spike detected

接下來再分析商品銷售狀況是否有反轉點, 如圖4所示:

圖4: 商品銷售有反轉點者會標示為1, 並加註<--alert is on, predicted changepoint

範例下載:https://github.com/CraigIII/ProductSalesAnomalyDetection.git

留言

張貼留言

這個網誌中的熱門文章

AI時代的網站與手機App建置與開發Part27 - ML.NET與物件偵測

圖片
  ·        摘要 在自動駕駛的無人車和無人機風風火火出現在日常生活的應用的現今 , 物件偵測技術的應用也日益普及 , 例如自駕車必須要能夠偵測並判斷車輛前方的物體 , 當然最近眾人關注的人形機器人 , 也必須重度依賴物件偵測技術 . 圖 : 物件偵測示意圖 在本篇文章中 , 我們將使用 Visual Studio 2022, 搭配 Microsoft ML.NET 執行物件偵測 . ·        準備訓練資料 首先請參考 [ 使用 VoTT 為物件偵測標記影像 ] 這篇文件的說明 , 為欲偵測的圖片內容進行標示的動作 . 您可以標示多張內含欲辨識的內容 ( 例如 : 汽車 , 機車 , 狗 , 貓 , 紅綠燈 , 交通號誌等等 ) 的圖片 . 例如我們想辨識以下圖片中的停止號誌 : 圖: 內含停止號誌的圖片 就可以使用 Microsoft Visual Object Tagging Tool 標示出圖中 Stop 號誌的位置 , 得到內容位置資訊的 JSON 文件 , 如下所示 : {     "asset": {         "format": "jpg",         "id": "3a74b9294f2f787bf2abe678f6a43231",         "name": "untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "path": "file:E:/temp/Stop-Signs/untitled-photo-3d6zCZ4lpBE-unsplash.jpg",         "size": {  ...
閱讀完整內容

AI時代的網站與手機App建置與開發Part28 - 使用YOLO模型進行物件偵測

圖片
  l   摘要 應用程式要提供物件偵測功能 , 除了能夠使用 Microsoft ML.NET 本身的物件偵測模型 ( 請參考 : AI 時代的網站與手機 App 建置與開發 Part27 - ML.NET 與物件偵測 的說明 ) 以外 , 也可以利用 SSD(Single Shot MultiBox Detector) 或 YOLO(You Only Look Once) 等演算法提供即時的物件偵測功能 . 圖 : YOLO 梗圖 ·        認識 SSD 與 YOLO 演算法 SSD 和 YOLO 演算法都是用來執行物件偵測常用的做法 , 其主要特性比較如表 1 的說明 : Feature SSD YOLO 辨識效率 快 ( 較 R-NN 快 , 較 YOLO 慢 ) 非常快 , 適合即時 (real-time) 作業 準確度 辨識小型物件準確度佳 辨識大型物件準確度佳 複雜度 中等 相對簡單 辨識圖片大小 支援 版本越高支援越好 表 1: SSD 和 YOLO 演算法主要特性比較 SSD 與 YOLO 物件偵測演算法的適用場合 ·         YOLO 物件偵測演算法的適用場合 : ü   即時運算 (Real-time) 程式 , 例如監視器 , 自動駕駛交通工具 , 機器人 ü   辨識速度很關鍵的場合 ·         SSD 物件偵測演算法的適用場合 : ü   辨識小型物件準確度高的場合 , 例如文件分析或...
閱讀完整內容

AI時代的網站與手機App建置與開發Part24 - ML.NET與圖片異常偵測

圖片
  ·        摘要 將異常偵測應用在圖片資料能夠替代人工進行產品的瑕疵檢視 , 例如檢視食物是否腐敗 , 外型破裂 , 研判 X 光片的內容是否異常 , 或是判斷商品的包裝是否破損等等 , 對於 24 小時不間斷的生產線能夠提供重要的品管支援 . 圖 : 圖片異常偵測示意圖 在本篇文章中 , 我們將使用 Microsoft ML.NET 支援的 ResNet50 預訓練模型 (Pre-Trained Model) 執行圖片的異常偵測 , 期能利用 AI 模型支援 24 小時不間斷的自動化作業 . ·        準備訓練資料 首先請啟動瀏覽器 , 瀏覽至 Cloud and Non-Cloud Images(Anomaly Detection, 下載訓練圖片資料集 ( 下載網址 : https://www.kaggle.com/datasets/ashoksrinivas/cloud-anomaly-detection-images?resource=download ). 圖 1 所示即為下載得到的圖片資料集的部分內容 : 圖 1: 訓練圖片資料集的部分內容 請將訓練圖片加入到 Visual Studio 專案中名稱為 images 資料夾中 , 並到 [ 屬性 ] 視窗將所有的訓練圖片的 [ 複製到輸出目錄 ] 屬性的內容值設定為 : 有更新時才複製 . ·        準備預訓練模型 請啟動瀏覽器 , 瀏覽至 ONNX Model Zoo, 下載支援圖片辨識的預訓練模型 ( 下載網址 : GitHub - onnx/models: A collection of pre-trained, state-of-the-art models in the ONNX format ), 請下載名稱為 resnet50-v2-7.onnx 的預訓練模型 . 請將下載妥的預訓練模型加入到 Visual Studio 專案中名稱為 PreTrainedModel 資料夾中 , 並到 [ 屬性 ] 視窗將預訓練模型檔案的 [ 複製到輸出目錄...
閱讀完整內容