[發明專利]用于多線程的處理布置中的數據處理的方法和系統有效
| 申請號： | 201711223446.0 | 申請日： | 2017-11-29 |
| 公開（公告）號： | CN108153589B | 公開（公告）日： | 2021-12-07 |
| 發明（設計）人： | S.J.霍斯曼;S.J.史密斯 | 申請（專利權）人： | 國際商業機器公司 |
| 主分類號： | G06F9/50 | 分類號： | G06F9/50 |
| 代理公司： | 北京市柳沈律師事務所 11105 | 代理人： | 萬里晴 |
| 地址： | 美國紐*** | 國省代碼： | 暫無信息 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 用于 多線程 處理 布置 中的 數據處理 方法 系統 | ||
1.一種用于多線程的處理布置中的數據處理的計算機實施的方法，所述方法包括：
接收要在包括嵌套的記錄結構中的多個數據記錄的數據文件上被運行的數據處理任務，所述數據文件和所述多個數據記錄具有包括與所述多個數據記錄的參數或屬性有關的信息的相關聯的記錄描述，該記錄描述定義記錄布局；
基于所接收的數據處理任務，預處理所述數據文件以分析與所述數據文件和所述多個數據記錄相關聯的所述記錄描述，以及以確定所述數據記錄的屬性；
基于對與所述數據文件關聯的所述記錄描述的分析以及對所確定的所述數據記錄的屬性的比較，將所述數據文件劃分為多個數據集，其中所述多個數據記錄中的一個或多個數據記錄在所述多個數據集中不同的數據集中被分配；以及
基于所確定的多個數據集，將被劃分的所述數據文件的所述數據集分配到處理線程以便通過所述多線程的處理布置來并行處理。
2.如權利要求1所述的方法，其中所述記錄描述包括元數據。
3.如權利要求1所述的方法，其中所述記錄描述包括與每個數據記錄相關聯的記錄描述符，每個記錄描述符包括與所述相關聯的數據記錄的參數或屬性有關的信息。
4.如權利要求1所述的方法，其中所述數據記錄的屬性包括以下各項中的至少一個：相對處理復雜度的描述；或要求的處理資源的描述。
5.如權利要求1所述的方法，還包括：
接收代表可用的處理線程的數量的線程可用性信息，
并且其中以下各項中的至少一個基于所接收的線程可用性信息：將所述數據文件劃分為多個數據集、和分配所述數據集。
6.如權利要求1所述的方法，還包括：
通過在所述多線程的處理布置的所述數據集的分配的處理線程中并行處理所述數據集來運行所述數據處理任務。
7.一種用于多線程的處理布置中的數據處理的計算機可讀存儲介質，所述可讀存儲介質具有利用其具體實現的程序指令，所述程序指令可通過處理單元被運行以使得所述處理單元執行包括以下各項的方法：
接收要在包括嵌套的記錄結構中的多個數據記錄的數據文件上被運行的數據處理任務，所述數據文件和所述多個數據記錄具有包括與所述多個數據記錄的參數或屬性有關的信息的相關聯的記錄描述，該記錄描述定義記錄布局；
基于所接收的數據處理任務，預處理所述數據文件以分析與所述數據文件和所述多個數據記錄相關聯的所述記錄描述，以及以確定所述數據記錄的屬性；
基于對與所述數據文件關聯的所述記錄描述的分析以及對所確定的所述數據記錄的屬性的比較，將所述數據文件劃分為多個數據集，其中所述多個數據記錄中的一個或多個數據記錄在所述多個數據集中不同的數據集中被分配；以及
基于所確定的多個數據集，將被劃分的所述數據文件的所述數據集分配到處理線程以便通過所述多線程的處理布置來并行處理。
8.如權利要求7所述的計算機可讀存儲介質，其中所述記錄描述包括元數據。
9.如權利要求7所述的計算機可讀存儲介質，其中所述記錄描述包括與每個數據記錄相關聯的記錄描述符，每個記錄描述符包括與所述相關聯的數據記錄的參數或屬性有關的信息。
10.如權利要求7所述的計算機可讀存儲介質，其中所述數據記錄的屬性包括以下各項中的至少一個：相對處理復雜度的描述；或所要求的處理資源的描述。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于國際商業機器公司，未經國際商業機器公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.17sss.com.cn/pat/books/201711223446.0/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種頁面導航方法及裝置、一種內存分配方法及裝置
- 下一篇：管理硬件資源
