本申請提供了一種異構數據的處理方法、裝置以及計算機設備，涉及數據處理技術領域，緩解了對異構數據進行處理的工作難度較大的技術問題。該方法包括：基于所述數據結構建立所述異構數據在數據加載過程中使用的數據加載映射類；按照所述異構數據的實體內容屬性生成若干個實體類，并確定每個所述實體類與所述數據加載映射類之間的計算關系；利用所述計算關系將所述異構數據轉化為數據結構相同的同構數據。

技術領域

本申請涉及數據處理技術領域，尤其是涉及一種異構數據的處理方法、裝置以及計算機設備。

背景技術

在數據處理的過程中，經常需要對大批量的多種不同數據結構的數據進行處理。例如，在金融保險或銀行行業，需要對接來自多種不同資金渠道的數據，對于不同的資金渠道，導致數據提供方式各不相同，數據格式結構也都各異，導致需要處理大量的異構數據。

目前的異構數據批處理方法，一般需要根據異構批量數據的數據格式提供方式，開發對應不同的批量處理程序，才能進行數據的統一更新或入庫操作。但是，由于數據業務量較大，處理邏輯復雜，導致開發工作量較大，導致異構數據處理的工作難度較大。

發明內容

本發明的目的在于提供一種異構數據的處理方法、裝置以及計算機設備，以緩解對異構數據進行處理的工作難度較大的技術問題。

第一方面，本申請實施例提供了一種異構數據的處理方法，所述異構數據的數據結構不相同；所述方法包括：

基于所述數據結構建立所述異構數據在數據加載過程中使用的數據加載映射類；

按照所述異構數據的實體內容屬性生成若干個實體類，并確定每個所述實體類與所述數據加載映射類之間的計算關系；

利用所述計算關系將所述異構數據轉化為數據結構相同的同構數據。

在一個可能的實現中，基于所述數據結構建立所述異構數據在數據加載過程中使用的數據加載映射類的步驟，包括：

基于所述數據結構中的數據格式選擇數據加載器插件；

通過所述數據加載器插件建立所述異構數據在數據加載過程中使用的數據加載映射類。

在一個可能的實現中，按照所述異構數據的實體內容屬性生成若干個實體類的步驟，包括：

根據所述異構數據的上游數據接口生成若干個實體類，所述實體類與上游數據接口的實體內容屬性相對應；

其中，同構數據的所述實體類根據數據表的結構生成，所述數據表中包含與所有業務相關的字段，所述異構數據的數據轉換過程是根據所述數據表的結構執行。

在一個可能的實現中，所述計算關系通過計算表達式或所述實體類的屬性名稱進行自動復制操作。

在一個可能的實現中，利用所述計算關系將所述異構數據轉化為數據結構相同的同構數據的步驟，包括：

計算所述數據加載映射類的屬性值；

利用所述計算關系將所述屬性值賦值到所述實體類中，以將所述異構數據轉化為數據結構相同的同構數據。

在一個可能的實現中，所述異構數據的數據源不相同；所述方法還包括：

根據所述數據源選擇數據下載器插件；

利用所述數據下載器插件對所述異構數據進行下載。

在一個可能的實現中，所述異構數據的數據讀取方式不相同；利用所述數據下載器插件對所述異構數據進行下載的步驟之后，還包括：

基于所述數據讀取方式，確定所述異構數據的讀取解析方式；