[發(fā)明專利]一種基于張量鏈分解的流式數(shù)據(jù)增量處理方法及裝置在審
| 申請?zhí)枺?/td> | 202010001952.0 | 申請日: | 2020-01-02 |
| 公開(公告)號: | CN111241076A | 公開(公告)日: | 2020-06-05 |
| 發(fā)明(設(shè)計)人: | 陳彥萍;夏虹;靳曉東;王忠民;高聰;呂寧 | 申請(專利權(quán))人: | 西安郵電大學(xué) |
| 主分類號: | G06F16/215 | 分類號: | G06F16/215;G06F16/2455;G06F16/2458;G06F17/16 |
| 代理公司: | 西安嘉思特知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61230 | 代理人: | 尹曉雪 |
| 地址: | 710121 *** | 國省代碼: | 陜西;61 |
| 權(quán)利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關(guān)鍵詞: | 一種 基于 張量 分解 數(shù)據(jù) 增量 處理 方法 裝置 | ||
1.一種基于張量鏈分解的流式數(shù)據(jù)增量處理方法,其特征在于,包括步驟:
構(gòu)建多源異構(gòu)數(shù)據(jù)的高階統(tǒng)一張量表示模型;
根據(jù)所述高階統(tǒng)一張量表示模型將原始數(shù)據(jù)表示為原始張量,并對所述原始張量進行張量鏈分解,得到第一張量鏈格式;
根據(jù)所述高階統(tǒng)一張量表示模型將新增數(shù)據(jù)表示為新增張量,并對所述新增張量進行張量鏈分解,得到第二張量鏈格式;
根據(jù)所述第一張量鏈格式和所述第二張量鏈格式計算更新張量的張量鏈分解結(jié)果。
2.如權(quán)利要求1所述的基于張量鏈分解的流式數(shù)據(jù)增量處理方法,其特征在于,構(gòu)建多源異構(gòu)數(shù)據(jù)的高階統(tǒng)一張量表示模型包括:
采集所述多源異構(gòu)數(shù)據(jù),其中,所述多源異構(gòu)數(shù)據(jù)包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù);
對所述結(jié)構(gòu)化數(shù)據(jù)、所述半結(jié)構(gòu)化數(shù)據(jù)和所述非結(jié)構(gòu)化數(shù)據(jù)分別進行子張量化表示,得到結(jié)構(gòu)化子張量、半結(jié)構(gòu)化子張量和非結(jié)構(gòu)化子張量;
對所述結(jié)構(gòu)化子張量、所述半結(jié)構(gòu)化子張量和所述非結(jié)構(gòu)化子張量進行融合,構(gòu)建所述高階統(tǒng)一張量表示模型。
3.如權(quán)利要求2所述的基于張量鏈分解的流式數(shù)據(jù)增量處理方法,其特征在于,對所述結(jié)構(gòu)化子張量、所述半結(jié)構(gòu)化子張量和所述非結(jié)構(gòu)化子張量進行融合,構(gòu)建所述高階統(tǒng)一張量表示模型包括:
根據(jù)所述結(jié)構(gòu)化子張量、所述半結(jié)構(gòu)化子張量和所述非結(jié)構(gòu)化子張量中階的屬性以及屬性粒度,利用張量融合擴展算子對所述結(jié)構(gòu)化子張量、所述半結(jié)構(gòu)化子張量和所述非結(jié)構(gòu)化子張量進行融合,構(gòu)建所述高階統(tǒng)一張量表示模型。
4.如權(quán)利要求1所述的基于張量鏈分解的流式數(shù)據(jù)增量處理方法,其特征在于,根據(jù)所述高階統(tǒng)一張量表示模型將原始數(shù)據(jù)表示為原始張量,并對所述原始張量進行張量鏈分解,得到第一張量鏈格式包括:
根據(jù)所述高階統(tǒng)一張量表示模型構(gòu)建所述原始數(shù)據(jù)的第一模型,并從所述第一模型獲取所述原始張量;
對所述原始張量進行張量鏈分解,得到第一張量鏈格式。
5.如權(quán)利要求1所述的基于張量鏈分解的流式數(shù)據(jù)增量處理方法,其特征在于,根據(jù)所述高階統(tǒng)一張量表示模型將新增數(shù)據(jù)表示為新增張量,并對所述新增張量進行張量鏈分解,得到第二張量鏈格式包括:
根據(jù)所述高階統(tǒng)一張量表示模型構(gòu)建所述新增數(shù)據(jù)的第二模型,并從所述第二模型中獲取所述新增張量;
對所述新增張量進行張量鏈分解,得到第二張量鏈格式。
6.如權(quán)利要求1所述的基于張量鏈分解的流式數(shù)據(jù)增量處理方法,其特征在于,根據(jù)所述第一張量鏈格式和所述第二張量鏈格式計算更新張量的張量鏈分解結(jié)果包括:
對所述第一張量鏈格式和所述第二張量鏈格式分別進行維度補零操作,得到原始張量的張量鏈分解結(jié)果和新增張量的張量鏈分解結(jié)果;
對所述原始張量的張量鏈分解結(jié)果和所述新增張量的張量鏈分解結(jié)果進行求和,得到所述更新張量的張量鏈分解結(jié)果。
7.如權(quán)利要求1所述的基于張量鏈分解的流式數(shù)據(jù)增量處理方法,其特征在于,在根據(jù)所述第一張量鏈格式和所述第二張量鏈格式計算更新張量的張量鏈分解結(jié)果之后,還包括:
對所述更新張量的張量鏈分解結(jié)果進行正交和壓縮,得到目標張量鏈分解結(jié)果。
8.一種基于張量鏈分解的流式數(shù)據(jù)增量處理裝置,其特征在于,包括:
模型構(gòu)建模塊,用于構(gòu)建多源異構(gòu)數(shù)據(jù)的高階統(tǒng)一張量表示模型;
第一張量鏈分解模塊,用于根據(jù)所述高階統(tǒng)一張量表示模型將原始數(shù)據(jù)表示為原始張量,并對所述原始張量進行張量鏈分解,得到第一張量鏈格式;
第二張量鏈分解模塊,用于根據(jù)所述高階統(tǒng)一張量表示模型將新增數(shù)據(jù)表示為新增張量,并對所述新增張量進行張量鏈分解,得到第二張量鏈格式;
張量更新模塊,用于根據(jù)所述第一張量鏈格式和所述第二張量鏈格式計算更新張量的張量鏈分解結(jié)果。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息,商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于西安郵電大學(xué),未經(jīng)西安郵電大學(xué)許可,擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作,請聯(lián)系【客服】
本文鏈接:http://www.17sss.com.cn/pat/books/202010001952.0/1.html,轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法、數(shù)據(jù)系統(tǒng)、接收設(shè)備和數(shù)據(jù)讀取方法
- 數(shù)據(jù)記錄方法、數(shù)據(jù)記錄裝置、數(shù)據(jù)記錄媒體、數(shù)據(jù)重播方法和數(shù)據(jù)重播裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)發(fā)送系統(tǒng)、數(shù)據(jù)發(fā)送裝置以及數(shù)據(jù)結(jié)構(gòu)
- 數(shù)據(jù)顯示系統(tǒng)、數(shù)據(jù)中繼設(shè)備、數(shù)據(jù)中繼方法及數(shù)據(jù)系統(tǒng)
- 數(shù)據(jù)嵌入裝置、數(shù)據(jù)嵌入方法、數(shù)據(jù)提取裝置及數(shù)據(jù)提取方法
- 數(shù)據(jù)管理裝置、數(shù)據(jù)編輯裝置、數(shù)據(jù)閱覽裝置、數(shù)據(jù)管理方法、數(shù)據(jù)編輯方法以及數(shù)據(jù)閱覽方法
- 數(shù)據(jù)發(fā)送和數(shù)據(jù)接收設(shè)備、數(shù)據(jù)發(fā)送和數(shù)據(jù)接收方法
- 數(shù)據(jù)發(fā)送裝置、數(shù)據(jù)接收裝置、數(shù)據(jù)收發(fā)系統(tǒng)、數(shù)據(jù)發(fā)送方法、數(shù)據(jù)接收方法和數(shù)據(jù)收發(fā)方法
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置
- 數(shù)據(jù)發(fā)送方法、數(shù)據(jù)再現(xiàn)方法、數(shù)據(jù)發(fā)送裝置及數(shù)據(jù)再現(xiàn)裝置





