本發明公開了一種內鏡下自動識別活檢部位及活檢數量的方法及系統，所述方法包括以下步驟：獲取內鏡檢查過程中實時采集的視頻幀；基于預先訓練的活檢鉗檢測模型，逐幀檢測是否存在活檢鉗；若存在活檢鉗，基于預先訓練的內鏡部位識別模型，確定當前取活檢的內鏡部位；同時，開始對活檢鉗進行跟蹤，得到包含所述活檢鉗的連續視頻片段，根據預先訓練的取活檢動作識別模型，確定是否進行取活檢。本發明可以準確檢測和跟蹤活檢鉗并確定取活檢部位，同時精確推斷取活檢場景并統計取活檢次數，為規范的病理報告提供了保障。

技術領域

本發明屬于人工智能技術領域，尤其涉及一種內鏡下自動識別活檢部位及活檢數量的方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

內鏡活檢是目前消化系統疾病早期診治不可缺少的手段，內鏡檢查過程中發現可疑病變時，為了明確病變的性質、分布范圍以及程度，往往需要在胃腸道黏膜多個部位進行多塊活檢，其不僅為疾病診斷提供線索，還能了解疾病發展趨勢判斷預后。

根據活檢申請規范化書寫要求，內鏡醫師應向病理醫師準確提供送檢標本的部位、數量及內鏡所見，目前對于活檢部位及塊數均為人工統計并記錄，不僅存在易混淆取材部位等風險，還增加內鏡醫師的負擔。

發明內容

為克服上述現有技術的不足，本發明提供了一種判斷消化內窺鏡檢查是否染色的方法及系統。能夠準確的自動記錄取活檢部位和數量，有助于自動化診療報告的生成及內鏡疾病診斷結果的準確分析。

為實現上述目的，本發明的一個或多個實施例提供了如下技術方案：

一種內鏡下自動識別活檢部位及活檢數量的方法，包括以下步驟：

獲取內鏡檢查過程中實時采集的視頻幀；

基于預先訓練的活檢鉗檢測模型，逐幀檢測是否存在活檢鉗；

若存在活檢鉗，基于預先訓練的內鏡部位識別模型，確定當前取活檢的內鏡部位；同時，開始對活檢鉗進行跟蹤，得到包含所述活檢鉗的連續視頻片段，根據預先訓練的取活檢動作識別模型，確定是否進行取活檢。

進一步地，所述方法還包括：記錄所述內鏡檢查的部位和各部位對應的取活檢次數。

進一步地，所述活檢鉗檢測模型和內鏡部位識別模型均采用卷積神經網絡進行訓練。

進一步地，所述取活檢動作識別模型采用3D卷積神經網絡進行訓練。

進一步地，所述對活檢鉗進行跟蹤采用活檢鉗檢測模型；獲取活檢鉗一直存在或活檢鉗消失的時間小于k幀的連續視頻幀，基于該視頻幀進行取活檢動作識別。

一個或多個實施例提供了一種內鏡下自動識別活檢部位及活檢數量的系統，包括：

圖像獲取模塊，獲取內鏡檢查過程中實時采集的視頻幀；

活檢鉗檢測模塊，基于預先訓練的活檢鉗檢測模型，逐幀檢測是否存在活檢鉗；

活檢部位識別模塊，用于在存在活檢鉗時，基于預先訓練的內鏡部位識別模型，確定當前取活檢的內鏡部位；

取活檢動作識別模塊，用于在存在活檢鉗時，對活檢鉗進行跟蹤，得到包含所述活檢鉗的連續視頻片段，根據預先訓練的取活檢動作識別模型，確定是否進行取活檢。

一個或多個實施例提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現所述內鏡下自動識別活檢部位及活檢數量的方法。

一個或多個實施例提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現所述內鏡下自動識別活檢部位及活檢數量的方法。