本發明提供了一種數據處理方法及裝置，涉及大數據技術領域，獲取用于訓練預測模型的目標數據樣本，目標數據樣本包括目標變量和多個特征變量；分別對目標數據樣本中多個特征變量對應的數據進行統計，得到多個特征變量中每個特征變量的數據指標；對多個特征變量的數據指標進行分析，確定多個特征變量中與目標變量相關的特征變量。本發明對數據樣本進行分析，探查與目標變量相關的特征變量，以便在訓練預測模型時選擇對目標變量有用的特征變量，提高模型的預測能力。

技術領域

本發明涉及大數據技術領域，尤其是涉及一種數據處理方法及裝置。

背景技術

隨著計算機科學和大數據時代的迅速發展，大數據分析在各行各業的重要性越來越凸顯。在信息化時代，有效挖掘數據中的信息并及時在實際中應用，從而對大數據進行處理是各個企業的關鍵需求。

目前，通常采用機器學習模型對數據進行處理，而機器學習模型在使用之前需要通過數據樣本進行訓練。由于將數據樣本最原始的數據信息輸入模型進行訓練，使得訓練得到的模型預測能力不強。

發明內容

本發明的目的在于提供一種數據處理方法及裝置，以緩解由于將數據樣本最原始的數據信息輸入模型進行訓練，使得訓練得到的模型預測能力不強的技術問題。

第一方面，本發明實施例提供一種數據處理方法，所述方法包括：

獲取用于訓練預測模型的目標數據樣本，所述目標數據樣本包括目標變量和多個特征變量；

分別對所述目標數據樣本中多個所述特征變量對應的數據進行統計，得到多個所述特征變量中每個特征變量的數據指標；

對多個所述特征變量的數據指標進行分析，確定多個所述特征變量中與所述目標變量相關的特征變量。

在可選的實施方式中，所述特征變量包括數值型變量和分類型變量，所述對多個所述特征變量的數據指標進行分析，確定多個所述特征變量中與所述目標變量相關的特征變量的步驟，包括：

對所述數值型變量的數據指標進行分析，確定單個所述數值型變量與所述目標變量的關系；

對所述分類型變量的數據指標進行分析，確定單個所述分類型變量與所述目標變量的關系。

在可選的實施方式中，所述對多個所述特征變量的數據指標進行分析，確定多個所述特征變量中與所述目標變量相關的特征變量的步驟，包括：

基于重要性評價指標，根據多個所述特征變量的數據指標確定多個所述特征變量中的重要特征變量，將所述重要特征變量作為與所述目標變量相關的特征變量；

其中，所述重要性評價指標包括信息增益、信息增益比、基尼不純系數、特征權重在分類中的占比、卡方檢驗和相關性快速過濾特征選擇中的一種或多種。

在可選的實施方式中，所述對多個所述特征變量的數據指標進行分析，確定多個所述特征變量中與所述目標變量相關的特征變量的步驟，包括：

對多個所述特征變量中的每兩個特征變量的數據指標進行組合分析，得到目標組合特征變量；

從所述目標組合特征變量中確定與所述目標變量相關的組合特征變量。

在可選的實施方式中，所述方法還包括：

分別對多個所述特征變量的統計指標進行異常值檢測，得到異常數據。

在可選的實施方式中，所述方法還包括：

根據多個所述特征變量的數據指標計算所述特征變量之間的線性相關關系，得到具有線性相關關系的目標特征變量。

在可選的實施方式中，所述方法還包括：