TWI617997B - Intelligent object detection assistance system and method - Google Patents

Abstract

一種應用於智慧型物件偵測輔助系統與方法之組成係包括：讀取、接收攝像裝置拍攝即時影像或是讀取歷史影像錄影檔；分析該即時影像之影像畫面是否出現移動物件；對畫面中移動物件追蹤；再將移動物件追蹤的結果以分類器分類出汽車、機車或人，若該移動物件為汽車而且被監控系統與貨櫃有關，則再透過貨櫃偵測判斷為貨櫃車或其他汽車，反之亦然，以上輸出分類結果稱為第一資訊；被監控系統，如智慧型運輸系統(Intelligent Transportation System,ITS)、智慧影像分析系統(Intelligent Video Analytics System,IVS)；蒐集被監控系統輸出之結果並且儲存紀錄於資料庫，以上稱為第二資訊，找出第一資訊之移動物件類型如，汽車、機車、貨櫃車、人在被監控系統中對應之功能輸出之結果，若該被監控系統中的功能正常應輸出結果，但在第二資訊卻無輸出結果，如此異常事件可找出，(1)與此功能關聯之硬體設備發生障礙，(2)若該功能與車輛有關，即發生漏車、或(3)該功能與人有關，即發生與人相關之事件遺失，以上資訊將被紀錄於資料庫，供分析與調閱應用。

Description

智慧型物件偵測輔助系統與方法

本發明智慧型物件偵測輔助系統與方法，尤其是關於一種利用智慧型影像處理功能輔助與分析，有效找出被監控系統的設備障礙、漏車事件，或與人相關之事件遺失資訊。

有鑒於智慧影像分析系統、影像處理於智慧型運輸系統的應用普及，例如：港區門哨管制站之自動化通關系統、路口監控之車牌辨識系統、高速公路電子收費系統(Electronic Toll Collection，簡稱ETC)之車牌辨識或電子標籤(eTag)、贓車辨識系統或停車場車牌辨識系統、電子圍籬(Tripwire)、入侵偵測、停車位偵測或人臉偵測應用系統等，若(1)當設備發生異常時，利用本發明透過影像處理功能分析與輔助，可以有效即時找出設備障礙，增加設備妥善率，以及有降低因設備障礙衍生人力、物力成本、(2)如車牌辨識系統發生漏車，利用本發明的分析與輔助，將有效即時蒐集到該車輛事件相關行車資訊，增加警方執法與破案效率，有效降低治安漏洞發生、(3)當高速公路電子收費系統(Electronic Toll Collection，簡稱ETC)之車牌辨識或電子標籤(eTag)發生漏車，利用本發明的分析與輔助，將有效即時降低高速公路電子收費系統無收到過路費的問題，進而增加政府收入、或(4)當門禁系統發現有人入侵偵，確無產生告警事件，利用本發明的分析與輔助，可以找出與人相關遺失事件資訊。 目前習知的智慧影像分析系統或智慧型運輸系統之設備的障礙排除主要依賴人工確認，或額外加裝硬體設備偵測器，由於人工無法24小時無時無刻關注系統運行狀況是否正常、而客製化的硬體偵測器之採購或建置成本高，若要被廣泛於被監控系統使用執行頗為困難。

由此可見，上述習用方式仍有諸多缺失，實非一良善之設計，而亟待加以改良。

本案發明人鑑於上述習用方式所衍生的各項缺點，乃亟思加以改良創新，並經多年苦心孤詣潛心研究後，終於成功研發完成本件智慧型物件偵測輔助系統與方法。

本發明之目的在於提供一智慧型物件偵測輔助系統與方法，係指一種獲得(1)設備障礙、(2)漏車、或(3)人相關之事件遺失之資訊，至少利用影像處理功能獲得被監控系統之移動物件類型，如汽車、機車、貨櫃車或人之物件資訊，再利用此物件類型找在被監控系統中對應之功能，若該被監控系統中的功能應輸出結果，但是卻無輸出結果，以異常事件表示，以此找出被監控偵測系統的設備是否障礙、(2)漏車或(3)與人相關之事件遺失等。

本發明之智慧型物件偵測輔助系統之組成係包括：一影像擷取模組，用於讀取、接收攝像裝置拍攝路口影像；一移動物件偵測模組，用於分析該即時影像是否有出現移動物件；一移動物件追蹤模組，係對路口影像中每個移動物件追蹤，一移動物件分類模組，對移動物件追蹤的結果經由分類器分類出汽車、機車或人，並且透過資料庫存取模組紀錄資料，若該移動物件為汽車 而且被監控系統與貨櫃有關，則再透過貨櫃偵測模組判斷為貨櫃車或其他汽車，並且透過資料庫存取模組紀錄資料，以上移動物件分類結果稱為第一資訊；一資料蒐集模組，蒐集目前被監控系統輸出的結果並且儲存紀錄於資料庫，以上輸出產生結果稱為第二資訊；一資料庫存取模組，提供讀取與儲存移移動物件資訊與分析結果；一異常結果比對模組，找出第一資訊之物件如，汽車、機車、貨櫃車、人在被監控系統中對應之功能的輸出結果，若該被監控系統中的功能應輸出結果，但在第二資訊卻無輸出結果，以異常事件表示，如此快速找出(1)與該功能關聯之障礙設備、(2)若是該被監控系統中的功能與車輛有關，則為漏車、或(3)該被監控系統中的功能與人有關，則表示出現與人相關之事件遺失。

本發明之智慧型物件偵測輔助方法所述，包含以下步驟：一影像擷取步驟，用於讀取、接收攝像裝置即時拍攝路口影像或是讀取歷史影像錄影檔；移動物件偵測步驟，其方法可利用其中一種(1)物件追蹤(Object Tracking)、(2)連續影像相減(Temporal Differencing)、(3)背景相減法(Background Subtraction)、或(4)前景偵測(Foreground Detection)等找出路口影像中移動物件；移動物件追蹤步驟，對路口影像中移動物件追蹤，而追蹤方法可利用其中一種(1)區域追蹤法、(2)輪廓追蹤法、(3)模型追蹤法、或(4)特徵追蹤，找出路口影像中個別移動物件資訊，並且透過資料庫存取步驟紀錄資料。移動物件分類步驟，其方法可利用其中一種(1)支持向量機(Support Vector Machine,SVM)、(2)自適應增強分類演算法Adaptive boosting(Adaboost)、(3)最近鄰居分類法(k-Nearest Neighbor Rule、KNNR)、或(4)CART算法(Classification And Regression Tree，CART)之分類器分類出汽車、機車或人，並且透過資料庫存取 步驟紀錄資料，若該移動物件為汽車而且被監控系統與貨櫃有關，則再透過貨櫃偵測步驟判斷為貨櫃車或其他汽車，並且透過資料庫存取步驟紀錄資料；貨櫃偵測步驟，透過影像之行與列上連續相對較強的梯度資訊，組合成一貨櫃號碼候選區域，再利用貨櫃號碼的長度、寬度去篩選，並對該候選區域做切字，最後看是否能切出符合貨櫃碼規格的字體，即分析路口影像是否有出現貨櫃特徵；梯度(gradient)是二維影像的灰階值函數，則灰階變化梯度是一個表示斜率變化(坡度)的向量，則影像的梯度(gradient)定義成：

其中Gx代表水平方向之梯度值、Gy代表垂直方向之梯度值，而計算梯度值的方式有下列幾種：

▽f(x,y)=|G_x|+|G_y|

▽f(x,y)=max[|G_x|,|G_y|]一資料蒐集步驟，蒐集目前被監控系統輸出的結果並且儲存紀錄於資料庫，以上輸出產生結果稱為第二資訊；一資料庫存取步驟，提供讀取與儲存移移動物件資訊與分析結果；一異常結果比對步驟，找出第一資訊之移動物件分類資訊如，汽車、機車、貨櫃車、人在被監控系統中對應之功能的輸出結果，若該被監控系統中的功能應輸出結果，但在第二資訊卻無輸出結果，以此異常事件找出，(1)與此功能關聯之硬體設備發生障礙，再透過訊息通知步驟通知維運相關人員處理，(2)若該功 能與車輛有關，即發生漏車、或(3)該的功能與人有關，則表示出現與人相關之事件遺失；一資料庫存取步驟，提供讀取與儲存移移動物件資訊與分析結果；訊息通知模組步驟，可透過有線網路或無線網路發送訊息至使用者的電腦、手機或平板設備等接收，例如：email信箱、或發送SMS簡訊至使用者手機。

相較於習知技術或方法，本發明所述利用智慧型物件偵測輔助系統與方法，可根據移動物件類型，找出被監控系統產生之異常事件，如此快速找出(1)設備障礙、(2)若是該被監控系統中的功能與車輛有關，則為漏車、或(3)該被監控系統中的功能與人有關，則表示出現與人相關之事件遺失。

本發明所提供之智慧型物件偵測輔助系統，與其他習用技術相互比較時，更具備下列優點：

1.解決被監控系統之設備異常發生時，之設備的障礙排除主要依賴人工確認，或額外加裝硬體設備偵測器，由於人工無法24小時無時無刻關注系統運行狀況是否正常、而客製化的硬體偵測器之採購或建置成本高，若要被廣泛於被監控系統使用執行頗為困難。

2.設備異常發生時，能即時通知相關維運人員處理，不僅提高被監控系統妥善率，亦可以及有降低因設備障礙衍生人力、物力成本。

3.利用本發明的智慧型物件偵測輔助系統與方法，可以及時有效地快速找出被監控系統產生之異常事件，如此快速找出(1)設備障礙、(2)若是該被監控系統中的功能與車輛有關，則為漏車、或(3)該被監控系統中的功能與人有關，則表示車出現與人相關之事件遺失。

1‧‧‧監控設備

10‧‧‧攝像裝置

12‧‧‧智慧型物件偵測輔助系統

111‧‧‧影像擷取模組

112‧‧‧移動物件偵測模組

113‧‧‧移動物件追蹤模組

114‧‧‧移動物件分類模組

115‧‧‧貨櫃偵測模組

116‧‧‧資料蒐集模組

117‧‧‧資料庫存取模組

118‧‧‧異常結果比對模組

119‧‧‧訊息通知模組

10‧‧‧攝像裝置

S11~S19‧‧‧步驟流程

請參閱本有關本發明之詳細說明及其附圖，將可進一步了解本發明之技術內容及其目的與功效；有關附圖為：圖1為本發明利用影像偵測以獲得被監控系統異常事件之運行架構圖；圖2為本發明智慧型物件偵測輔助系統之系統架構圖；圖3為本發明智慧型物件偵測輔助方法之流程圖。

為了使本發明的目的、技術方案及優點更加清楚明白，下面結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，但並不用於限定本發明。

以下結合本附圖對本發明進一步說明：請參閱圖1為本發明利用影像偵測以獲得被監控系統異常事件之運行架構圖；圖2為智慧型物件偵測與輔助系統12的軟體或韌體程式段包含在儲存在監控設備1的儲存單元14且能夠被安裝在監控設備的處理器執行16，以實現智慧型物件偵測輔助系統12功能，包括：一影像擷取模組111，用於讀取、接收攝像裝置10拍攝路口影像；一移動物件偵測模組112，係分析該即時影像是否有出現移動物件；一移動物件追蹤模組113，係對路口影像中每個移動物件追蹤；一移動物件分類模組114，對移動物件追蹤的結果經由分類器分類出汽車、機車或人，並且透過資料庫存取模組117紀錄資料，若該移動物件為汽車而且被監控系統與貨櫃有關，則再透過貨櫃偵測模組115判斷為貨櫃車或其他汽車，並且透過資料庫存取模組117紀錄資料，以上移動物件分類結果稱為第一資訊；一資料 蒐集模組116，蒐集目前被監控系統輸出的結果並且儲存紀錄於資料庫，以上輸出產生結果稱為第二資訊；一資料庫存取模組117，提供讀取與儲存移移動物件資訊與分析結果；一異常結果比對模組118，找出第一資訊之物件如，汽車、機車、貨櫃車、人在被監控系統中對應之功能的輸出結果，若該被監控系統中的功能應輸出結果，但在第二資訊卻無輸出結果，以異常事件表示，如此快速找出(1)設備障礙、(2)若是該被監控系統中的功能與車輛有關，則為漏車、或(3)該被監控系統中的功能與人有關，則表示出現與人相關之事件遺失；因此，當找出設備障礙時，可透過通知模組發送設備障礙資訊給被監控系統的維運人員處理；一訊息通知模組119，可透過有線網路或無線網路發送訊息至使用者的電腦、手機或平板設備等接收。

請參閱圖3為本發明智慧型物件偵測輔助方法流程圖，包含以下步驟：步驟一、首先，影像擷取讀取步驟s11、接收攝像裝置即時拍攝路口影像；步驟二、移動物件偵測步驟s12，可利用其中一種物件追蹤(Object Tracking)、連續影像相減(Temporal Differencing)、背景相減法(Background Subtraction)、或前景偵測(Foreground Detection)找出路口影像中移動物件；步驟三、移動物件追蹤步驟s13，可利用其中一種區域追蹤法、輪廓追蹤法、模型追蹤法、或特徵追蹤，對路口影像中每個移動物件追蹤；步驟四、車型類別分類步驟s14，可利用其中一種支持向量機(Support Vector Machine,SVM)、自適應增強分類演算法(Adaptive Boosting,AdaBoost)、最近鄰居分類法(K-Nearest Neighbor Rule、KNNR)、CART算法(Classification And R.egression Tree，CART)之分類器分類出汽車、機車或人，若該移動物件為汽車 而且被監控系統與貨櫃有關，則再透過貨櫃偵測步驟s15判斷為貨櫃車或其他汽車，以上分類結果稱為第一資訊；步驟五、資料蒐集步驟s16，蒐集目前被監控系統輸出的結果，以上稱為第二資訊，並且儲存紀錄於資料庫；步驟六、異常結果比對步驟s17，透過資料庫存取步驟s18讀取第一資訊之移動物件分類資訊如，汽車、機車、貨櫃車、人在被監控系統中對應之功能的輸出結果，若該被監控系統中的功能應輸出結果，但在第二資訊卻無輸出結果，以異常事件表示，以此可找出被監控偵測系統的設備是否障礙、漏車、或與人相關之事件遺失資訊；因此，當找出設備障礙時，可透過訊息通知步驟s19發送設備障礙資訊給被監控系統的維運人員處理。上列說明乃針對本創作之一可行實施例進行具體說明，惟該實施例並非用以限制本創作之專利範圍，凡未脫離本創作技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不僅於技術思想上確屬創新，並具備習用之傳統方法所不及之上述多項功效，已充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

Claims (6)

1. 一種智慧型物件偵測輔助方法，以監測被監控系統，其中該被監控系統為智慧型影像分析系統，該智慧型物件偵測輔助方法包括：步驟一、透過影像擷取模組讀取及接收攝像裝置即時拍攝之路口影像；步驟二、利用移動物件偵測模組找出該路口影像中的移動物件；步驟三、以移動物件追蹤模組追蹤該路口影像中的該移動物件；步驟四、利用分類器將該移動物件分類為汽車、機車或人，若該移動物件分類為汽車而且被監控系統與貨櫃有關，則再透過貨櫃偵測模組分類該移動物件為貨櫃車或其他汽車，其中該移動物件的分類結果為第一資訊；步驟五、資料蒐集模組蒐集被監控系統輸出的結果，該輸出的結果為第二資訊，並且儲存紀錄於資料庫；步驟六、異常結果比對模組透過資料庫存取模組讀取該第一資訊，並依據該第一資訊分析該類型物件在被監控系統中對應之功能有無輸出結果，若該類型物件在該被監控系統中對應之功能有輸出結果，但該異常結果比對模組查找該第二資訊卻無輸出結果時，產生異常事件，並依據該異常事件執行：若該被監控系統中對應之功能所關聯之硬體設備發生障礙，再透過訊息通知步驟通知維運相關人員處理；若該系統中對應之功能與車輛有關，即發生漏車；若該系統中對應之功能與人有關，則表示出現與人相關之事件遺失資訊；其中，於步驟四中的透過貨櫃偵測模組分類該移動物件為貨櫃車或其他汽車中，更包括下列步驟：透過影像之行與列上的梯度資訊，組合成一貨櫃號碼候選區域； 依據貨櫃號碼的長度、寬度判斷該梯度資訊是否符合貨櫃特徵，以及對該貨櫃號候選區域切字，以判斷是否具有符合該貨櫃特徵的貨櫃碼規格的字體，若是，則判斷該移動物體為該貨櫃車。
2. 如申請專利範圍第1項所述之智慧型物件偵測輔助方法，其中該移動物件偵測模組係以物件追蹤(Object Tracking)、連續影像相減(Temporal Differencing)或背景相減法(Background Subtraction)分析該影像擷取模組讀取及接收之該路口影像是否有該移動物件。
3. 如申請專利範圍第1項所述之智慧型物件偵測輔助方法，其中該移動物件追蹤模組係以區域追蹤法、輪廓追蹤法、模型追蹤法、或特徵追蹤，對畫面中每個該移動物件追蹤。
4. 如申請專利範圍第1項所述之智慧型物件偵測輔助方法，其中利用該分類器將該移動物件分類為汽車、機車或人的步驟中，該分類器為支持向量機(Support Vector Machine,SVM)分類器、自適應增強分類演算法(Adaptive Boosting,AdaBoost)分類器、最近鄰居分類法分類器(K-Nearest Neighbor Rule、KNNR)或CART算法分類器(Classification And R.egression Tree，CART)。
5. 如申請專利範圍第1項所述之智慧型物件偵測輔助方法，其中該被監控系統為港區門哨管制站之自動化通關系統、路口監控之車牌辨識系統、高速公路電子收費系統(Electronic Toll Collection，簡稱ETC)之車牌辨識或電子標籤(eTag)系統、贓車辨識系統、停車場車牌辨識系統、電子圍籬(Tripwire)系統、入侵偵測系統、停車位偵測系統或人臉偵測應用系統。
6. 一種智慧型物件偵測輔助系統，主要用以找出被監控系統的設備障礙、漏車事件，或與人相關之事件遺失資訊，其中該被監控系統為影像分析系統，該智慧型物件偵測輔助系統包括：一影像擷取模組，係為讀取、及接收至少一攝像裝置即時拍攝影像或是讀取歷史影像錄影檔；一移動物件偵測模組，係分析該攝像裝置即時拍攝影像或是該歷史影像錄影檔的影像畫面是否有出現移動物件；一移動物件追蹤模組，追蹤該攝像裝置即時拍攝影像或是該歷史影像錄影檔的影像畫面中的該移動物件；一移動物件分類模組，利用一分類器，將該移動物件分類模組所追蹤的該移動物件分類為汽車、機車或人，若該移動物件為汽車而且該被監控系統與貨櫃有關，則再透過一貨櫃偵測模組分類該移動物件為貨櫃車或其他汽車，其中該移動物件的分類結果稱為第一資訊；一資料蒐集模組，蒐集該被監控系統輸出的結果，該輸出的結果稱為第二資訊；一資料庫存取模組，提供讀取與儲存移移動物件資訊與分析結果，該資料庫存取模組並記錄該第一資訊與該第二資訊於一資料庫中；一異常結果比對模組，讀取該第一資訊，並依據該第一資訊分析該類型物件在該被監控系統中對應之功能有無輸出結果，若該類型物件在該被監控系統中對應之功能有輸出結果，但該異常結果比對模組查找該第二資訊卻無輸出結果時，產生異常事件，並依據異常事件找出該被監控偵測系統的設備是否障礙、漏車、或與人相關之事件遺失等， 其中於該貨櫃偵測模組分類該移動物件為貨櫃車或其他汽車中，該貨櫃偵測模組透過影像之行與列上連續相對較強的梯度資訊，組合成一貨櫃號碼候選區域，並依據貨櫃號碼的長度、寬度判斷該梯度資訊是否符合貨櫃特徵，以及該貨櫃號候選區域切字，以判斷是否具有符合該貨櫃特徵的貨櫃碼規格的字體，若是，則判斷該移動物體為貨櫃車。