本發明公開了一種CPU?GPU異構平臺共享末級緩存管理方法、架構及裝置，該方法包括：檢測CPU?GPU異構平臺運行信息，所述運行信息包括每個運算核的LLC塊利用率和每個LLC組的未命中信息；采用分區算法根據運算核的LLC塊利用率得到運算核的初始LLC塊插入位置；根據初始LLC塊插入位置和LLC組的未命中信息執行LLC塊的插入和提升算法，進行CPU?GPU異構平臺共享末級緩存管理。能夠感知LLC使用的時間局部性和在不同LLC組之間的空間局部性，動態調整不同運算核之間對于LLC的資源調配，有效解決了CPU?GPU共享LLC的管理問題，提高CPU?GPU異構多處理器片上系統的運行效率。

技術領域

本發明屬于CPU-GPU異構LLC管理的技術領域，涉及一種CPU-GPU異構平臺共享末級緩存管理方法、架構及裝置，尤其是涉及一種基于組變化感知的CPU-GPU異構平臺共享末級緩存管理方法、架構及裝置。

背景技術

HMPSoC(Heterogeneous multiprocessor systems-on-chip，異構多處理器片上系統)已經成為高性能嵌入式系統的主流，可以被用來處理諸如視頻或者深度學習等計算密集型應用。所以運算核之間的資源管理就成為類似架構的關鍵問題。而LLC則是處理器和內存之間的橋梁。單個核上所采用的LRU(Least Recently Used，最近最少使用)替換策略雖然擁有較好的性能，但是研究發現，多核系統上根據應用對于內存的訪問，動態地將共享LLC資源分配給不同的核能夠提供更高的性能。

但是，現有的這些研究都是基于相同類型的處理器，這些策略在CPU-GPU HMPSoC并不一定提供較高的性能。因為CPU-GPU HMPSoC有兩個特點：

第一，由于GPU大量的并行計算需求，很多LLC資源都被GPU占據，導致CPU的性能顯著降低；

第二，GPU通過快速線程切換可以隱藏訪存的延遲。因此不同于性能依賴于LLC命中率的CPU程序，GPU應用可以被分為cache敏感型和cache不敏感型，這些因素也要在LLC管理策略中考慮。除此之外有研究發現就算是cache不敏感型的GPU程序，不停地訪存也會對系統性能造成一定影響。

此外，現有的LLC管理策略都趨向于給CPU和GPU分配相同的LLC塊或者給予相同的優先級。但是通過實驗發現在相同的指令數量下CPU和GPU訪存有明顯的不同，因此分配給其相同的LLC塊或者相同的優先級使得性能難以提高。

對于同種多處理器平臺，有的研究提出了基于LLC利用率的LLC塊分區方法；對于GPU的LLC管理有人提出將線程調度與LLC緊密結合的算法來減少cache污染；而對于CPU-GPU多核架構，有的研究提出了CPU-GPU的LLC訪問一致性協議，有的研究針對共享LLC管理提出了插入方式TAP-RRIP和分區方式TAP-UCP來在CPU和GPU之間分配共享LLC，為了進一步減少CPU-GPU之間LLC的干擾提出了HeLM方法。然而，現有針對CPU-GPU多核架構的管理策略效率較低。

綜上所述，針對現有技術中如何進一步提高CPU-GPU異構的LLC管理策略效率、科學高效地實現CPU-GPU異構下的LLC管理的問題，尚缺乏有效的解決方案。

發明內容

針對現有技術中存在的不足，解決現有技術中如何進一步提高CPU-GPU異構的LLC管理策略效率、科學高效地實現CPU-GPU異構下的LLC管理的問題，本發明提供了一種CPU-GPU異構平臺共享末級緩存管理方法、架構及裝置，基于組變化感知的LLC管理策略應用于CPU-GPU異構多處理器片上系統，能夠感知LLC使用的時間局部性和在不同LLC組之間的空間局部性，動態調整不同運算核之間對于LLC的資源調配，有效解決了CPU-GPU共享LLC的管理問題，提高CPU-GPU異構多處理器片上系統的運行效率。

本發明的第一目的是提供一種CPU-GPU異構平臺共享末級緩存管理方法。

為了實現上述目的，本發明采用如下一種技術方案：