申請/專利權人：北京石油化工學院

申請日：2022-10-31

公開（公告）日：2023-03-17

公開（公告）號：CN115471559B

主分類號：G06T7/73

分類號：G06T7/73;G16H20/30;G06T7/593;G06V40/16

優先權：

專利狀態碼：有效-授權

法律狀態：2023.03.17#授權;2022.12.30#實質審查的生效;2022.12.13#公開

摘要：本發明公開了一種頭部動態定位跟蹤方法及系統，該方法通過第一至第三深度相機分別獲取患者頭部定位標記區域、跟蹤標記區域以及人臉區域的RGB圖像和深度圖像，并基于上述圖像分別建立定位坐標系、第一跟蹤坐標系和第二跟蹤坐標系，將定位坐標系和第一深度相機坐標系與機器人坐標系之間的變換關系相乘獲得機器人目標點位，并控制機器人移動到該目標點位，通過實時更新的第一跟蹤坐標系和第二跟蹤坐標系以及定位坐標系分別與第一跟蹤坐標系、第二跟蹤坐標系之間的相對位置關系對目標點位進行修正，實現實時跟蹤，該方法治療效率高且成本低。

主權項：1.一種頭部動態定位跟蹤方法，應用于機器人輔助治療，其特征在于，包括：通過第一深度相機、第二深度相機和第三深度相機分別獲取患者頭部定位標記區域的RGB圖像和深度圖像、患者頭部跟蹤標記區域的RGB圖像和深度圖像以及患者人臉區域的RGB圖像和深度圖像；基于深度學習的人臉識別算法對患者人臉區域的RGB圖像進行處理得到患者二維人臉特征信息，并結合患者人臉區域的深度圖像將所述患者二維人臉特征信息轉換為患者三維人臉特征信息；如果在治療信息庫中匹配到所述患者三維人臉特征信息，則確認患者為非首次治療，并根據所述患者三維人臉特征信息從所述治療信息庫中獲取患者身份信息和歷史治療的定位坐標系的信息；如果在所述治療信息庫中未匹配到所述患者三維人臉特征信息，則確認所述患者為首次治療，并根據患者頭部定位標記區域的RGB圖像和深度圖像建立首次治療的定位坐標系，并將首次治療的定位坐標系的信息保存至所述治療信息庫中；依據第一深度相機坐標系與機器人坐標系的變換關系以及當前定位坐標系的信息計算得到機器人目標治療點位信息，其中，當前定位坐標系的信息為歷史治療的定位坐標系的信息或者首次治療的定位坐標系的信息；分別基于患者頭部跟蹤標記區域的RGB圖像和深度圖像、患者人臉區域的RGB圖像和深度圖像建立第一跟蹤坐標系、第二跟蹤坐標系，并獲取當前定位坐標系與所述第一跟蹤坐標系、所述第二跟蹤坐標系之間的相對位置關系；根據所述第二深度相機、所述第三深度相機實時獲取的患者頭部定位標記區域的RGB圖像和深度圖像、患者人臉區域的RGB圖像和深度圖像分別對所述第一跟蹤坐標系、所述第二跟蹤坐標系進行更新，并基于更新后的所述第一跟蹤坐標系、所述第二跟蹤坐標系結合所述當前定位坐標系與所述第一跟蹤坐標系、所述第二跟蹤坐標系之間的相對位置關系對當前定位坐標系進行修正，進而得到修正后的所述機器人目標治療點位信息；其中，根據患者頭部定位標記區域的RGB圖像和深度圖像建立首次治療的定位坐標系的具體步驟包括：利用檢測標記模型從患者頭部定位標記區域的RGB圖像中獲取定位標記的4個有序角點的像素坐標，并由4個有序角點的像素坐標確定定位標記中心點的像素坐標，其中，所述定位標記為ArUco碼；基于定位標記的4個有序角點的像素坐標、定位標記中心點的像素坐標以及患者頭部定位標記區域的深度圖像得到定位標記的4個有序角點的世界坐標以及定位標記中心點的世界坐標；依據坐標系變換矩陣公式、定位標記的4個有序角點的世界坐標以及定位標記中心點的世界坐標建立首次治療的定位坐標系；基于患者頭部跟蹤標記區域的RGB圖像和深度圖像建立第一跟蹤坐標系的具體步驟包括：利用所述檢測標記模型從患者頭部跟蹤標記區域的RGB圖像中獲取至少3個跟蹤標記的中心點的像素坐標，其中，所述跟蹤標記為ArUco碼；基于至少3個跟蹤標記的中心點的像素坐標以及患者頭部跟蹤標記區域的深度圖像得到至少3個跟蹤標記的中心點的世界坐標；依據坐標系變換矩陣公式和至少3個跟蹤標記的中心點的世界坐標建立第一跟蹤坐標系；基于患者人臉區域的RGB圖像和深度圖像建立第二跟蹤坐標系的具體步驟包括：利用深度學習的人臉識別算法從患者人臉區域的RGB圖像中提取得到患者人臉特征點的像素坐標；依據提取的患者人臉特征點的像素坐標并結合患者人臉區域的深度圖像得到患者頭部位姿估計數據；基于所述患者頭部位姿估計數據建立所述第二跟蹤坐標系。

全文數據：

權利要求：

百度查詢： 北京石油化工學院 一種頭部動態定位跟蹤方法及系統

免責聲明
1、本報告根據公開、合法渠道獲得相關數據和信息，力求客觀、公正，但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解，僅供參考使用，不能作為本公司承擔任何法律責任的依據或者憑證。

閱讀全文 雙屏查看 官方信息 專利公告 收藏專利 下載PDF 下載WORD