ML.NET p-Value calculated outside expected [0,1] range

問題

使用 ML.NET 中的 OlsTrainer 來預測資料，
當使用到某些資料進行模型定型時，
卻會發生 System.InvalidOperationException: p-Value calculated outside expected [0,1] range 的錯誤

解決

類似使用回歸搭配 ML.net 來預測價格的程式如下，

var datePipeline = mlContext.Transforms.Text.NormalizeText("Date");
var featuresPipeline = mlContext.Transforms.Concatenate("Features", "X1", "X2", "X3");
IEstimator<ITransformer> pipeline = datePipeline.Append(featuresPipeline);


pipeline.Append(mlContext.Regression.Trainers.Ols());
//在某些資料以下會噴 p-Value calculated outside expected [0,1] range error
var model = pipeline.Fit(dataView);

後來參考 準備資料以建置模型 ，
針對各個 Feature 加入正規化處理，如下，

var datePipeline = mlContext.Transforms.Text.NormalizeText("Date");
var featuresPipeline = mlContext.Transforms.Concatenate("Features", "X1", "X2", "X3");

//Fix p-Value calculated outside expected [0,1] range error
IEstimator<ITransformer> pipeline = datePipeline
    .Append(mlContext.Transforms.NormalizeMinMax("X1"))
    .Append(mlContext.Transforms.NormalizeMinMax("X2"))
    .Append(mlContext.Transforms.NormalizeMinMax("X3"))
    .Append(featuresPipeline);

// var featuresNormalize = mlContext.Transforms.NormalizeMinMax("Features", "Features");
// pipeline.Append(featuresNormalize);

pipeline.Append(mlContext.Regression.Trainers.Ols());

var model = pipeline.Fit(dataView);

• 註:您也可以使用其他的正規化 Method，詳細請參考 NormalizationCatalog 類別

參考資料

準備資料以建置模型
使用回歸搭配 ML.net 來預測價格
Machine Learning with ML.NET – Linear Regression
NormalizationCatalog 類別