TWI766376B - 鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法 - Google Patents
鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法 Download PDFInfo
- Publication number
- TWI766376B TWI766376B TW109133083A TW109133083A TWI766376B TW I766376 B TWI766376 B TW I766376B TW 109133083 A TW109133083 A TW 109133083A TW 109133083 A TW109133083 A TW 109133083A TW I766376 B TWI766376 B TW I766376B
- Authority
- TW
- Taiwan
- Prior art keywords
- depth image
- frame
- value
- segmentation result
- coordinate information
- Prior art date
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本發明係一種鋼筋框架自動查驗系統及其運作方法，主要係先取得一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊，並以一圖像分割模型自動產生對應該深度影像的分割結果，且根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值後，顯示包括該至少一鋼筋查驗項目之數值的查驗結果。藉由自動辨識並產生該分割結果以快速取得該至少一鋼筋查驗項目之數值，達到提升查驗鋼筋框架的便利性之目的。
Description
本發明係關於一種自動查驗系統及其運作方法，尤指一種用於鋼筋框架的鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法。
鋼筋之組立是指依照施工圖說所繪製的鋼筋號數、尺寸、形狀、間距及位置將鋼筋彼此組合或綁紮以形成特定鋼筋框架，而鋼筋框架會依照其功能、建築結構安全、或配合大型機電管線等需求而以不同的鋼筋數量以及組合模式來完成。
在鋼筋框架完成後且進行澆注混凝土前，查驗鋼筋框架是否符合設計圖要求與施工規範的規定為必要的步驟。然而，鋼筋的查驗作業目前多採用局部抽樣並配合查驗人員現場目視或量測的方式進行，並以現場照片作為記錄查驗資料的方式，再者，澆注混凝土如需於夜間進行，更增加查驗作業的難度。
因此，基於現有技術之查驗方式，確實有待進一步提供更佳改良方案之必要性。
有鑑於上述現有技術之不足，本發明之主要目的在於提供一種鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法，其可快速取得鋼筋框架的鋼筋查驗項目之數值以進行查驗，並以電子化的方式記錄查驗資料，藉由鋼筋框架自動查驗技術提升查驗鋼筋框架的便利性。
為達上述目的，本發明所採取的一主要技術特徵為前述鋼筋框架自動查驗系統的運作方法，其步驟包括：
得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果；
產生一至少一鋼筋查驗項目之數值，根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值；以及
顯示一查驗結果，該查驗結果包括該至少一鋼筋查驗項目之數值。
為達上述目的，本發明所採取的一主要技術特徵為前述鋼筋框架自動查驗系統的運作方法，其步驟包括：
得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果；
產生至少一間距長度數值，根據該分割結果的至少二節點畫素組之間的三維座標資訊的距離得到該鋼筋框架的該至少一間距長度數值；以及
顯示包括該至少一間距長度數值的查驗結果。
為達上述目的，本發明所採取的一主要技術特徵為前述鋼筋框架自動查驗系統的運作方法，其步驟包括：
得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果；
產生至少一鋼筋尺寸數值，根據該分割結果的至少一節點畫素組的至少二外緣畫素的三維座標資訊的距離得到該鋼筋框架的至少一鋼筋尺寸數值；以及
顯示包括該至少一鋼筋尺寸數值的查驗結果。
為達上述目的，本發明所採取的一主要技術特徵為前述鋼筋框架自動查驗系統的運作方法，其步驟包括：
得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果；
產生一支數數量，根據該分割結果於單一軸向上的至少一節點畫素組的數量得到該鋼筋框架的該支數數量；以及
顯示包括該支數數量的查驗結果。
由上述步驟，該鋼筋框架自動查驗系統得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊後，可以該圖像分割模型自動產生對應該深度影像的該分割結果，並根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值，且顯示包括該至少一鋼筋查驗項目之數值的查驗結果，藉由該鋼筋框架自動查驗技術，達到提升查驗鋼筋框架的便利性的目的。
為達成上述目的，本發明所採取的一主要技術手段係令前述電腦可讀取儲存裝置用以儲存一程式，該程式用以完成前述鋼筋框架自動查驗系統的運作方法。
為達成上述目的，本發明所採取的一主要技術手段係令前述鋼筋框架自動查驗系統包括：
一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，且根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的鋼筋查驗項目之數值；
一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及
一顯示單元，與該處理器單元電連接，用以顯示包括該鋼筋查驗項目之數值的查驗結果。
為達成上述目的，本發明所採取的一主要技術手段係令前述鋼筋框架自動查驗系統包括：
一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，根據該分割結果的至少二節點畫素組之間的三維座標的距離得到該鋼筋框架的至少一間距長度數值；
一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及
一顯示單元，與該處理器單元電連接，用以顯示包括該間距長度數值的查驗結果。
為達成上述目的，本發明所採取的一主要技術手段係令前述鋼筋框架自動查驗系統包括：
一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，根據該分割結果的至少一節點畫素組的至少二外緣畫素的三維座標的距離得到該鋼筋框架的至少一鋼筋尺寸數值；
一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及
一顯示單元，與該處理器單元電連接，用以顯示包括該至少一鋼筋尺寸數值的查驗結果。
為達成上述目的，本發明所採取的一主要技術手段係令前述鋼筋框架自動查驗系統包括：
一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊；
一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，根據該分割結果的至少一節點畫素組的數量得到該鋼筋框架的該支數數量；
一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及
一顯示單元，與該處理器單元電連接，用以顯示包括該支數數量的查驗結果。
由上述結構，該鋼筋框架自動查驗系統得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊後，可以該圖像分割模型自動產生對應該深度影像的該分割結果，並根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值，且顯示包括該至少一鋼筋查驗項目之數值的查驗結果，藉由該鋼筋框架自動查驗技術，達到提升查驗鋼筋框架的便利性的目的。
關於本發明之鋼筋框架自動查驗系統之較佳實施例，請參閱圖1所示，其至少包括一深度影像擷取單元100、一處理器單元200、一記憶體單元300、一顯示器單元400以及一資料庫單元500，且該處理器單元200與該深度影像擷取單元100、該記憶體單元300、該顯示器單元400以及該資料庫單元500電連接。
進一步地，該深度影像擷取單元100用以擷取並產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊，其中，該三維座標資訊指的是該深度影像中的每一畫素的三維空間中的座標資訊。
在一實施例中，該深度影像擷取單元100用以發射一結構光，並根據飛時測距(Time of Flight)技術來產生該深度影像，且本發明不以此為限制。
在一實施例中，該結構光為複數條紋圖案，藉此，增加該深度影像的準確度，且本發明不以此為限制。
在一實施例中，該結構光為紅外光或雷射光，且本發明不以此為限制。
在一實施例中，該三維座標資訊為點雲形式，且本發明不以此為限制。
進一步地，該記憶體單元300為一電腦可讀取儲存裝置，用以儲存以程式實現的一系統程式模組310以及一自動查驗模組320(如圖3所示)，其中該系統程式模組310為該鋼筋框架自動查驗系統1的系統程式，該自動查驗模組320為用以得到該鋼筋框架的鋼筋查驗項目之數值的程式，進一步地說，該自動查驗模組320以一圖像分割模型321自動產生對應該深度影像的分割結果(segmentation results)，且該自動查驗模組320根據該分割結果以及該三維座標資訊得到該鋼筋框架的鋼筋查驗項目之數值，其中，該分割結果為畫素層級影像。
在一實施例中，該記憶體單元300可以快閃記憶體等非揮發性儲存裝置來實現，且本發明不以此為限制。
於本實施例中，該鋼筋查驗項目之數值至少包括該鋼筋框架的間距長度數值、鋼筋尺寸數值以及支數數量，其中該間距長度數值指的是該深度影像中的相鄰兩鋼筋中心之間的直線距離，該鋼筋尺寸數值指的是該深度影像中的鋼筋的寬度，該支數數量指的是該深度影像中的單一軸線上的鋼筋的數量。
進一步地，該處理器單元200用以讀取並執行該記憶體單元300所儲存的程式，以使該鋼筋框架自動查驗系統1進行對應的操作。進一步地說，該處理器單元200用以執行該記憶體單元300所儲存的該系統程式模組310以及該自動查驗模組320。
在一實施例中，該處理器單元200可以一圖像運算處理器來實現，且本發明不以此為限制。由於該圖像運算處理器具有體積小、耗電低等優勢，因此在此實施例中，本發明之鋼筋框架自動查驗系統1可藉由該圖像運算處理器來減少整體體積以及能量消耗。
進一步地，該顯示器單元400用以顯示包括該鋼筋查驗項目之數值的查驗結果，藉此，查驗人員可快速判斷該鋼筋框架是否符合施工圖說的設計，達到以鋼筋框架自動查驗系統1提升查驗鋼筋框架的便利性之目的。
在一實施例中，該顯示器單元400可以觸控式螢幕來實現，且本發明不以此為限制。
該資料庫單元500用以儲存上述之該深度影像、對應該深度影像的三維座標資訊、該鋼筋查驗項目之數值、該分割結果、該查驗結果以及其他執行該鋼筋框架自動查驗系統1所需的相關資料。藉此，不僅可以電子化的方式儲存查驗結果以及相關資料，該些相關資料更可用以優化該圖像分割模型321的精準度，或做為未來建物查驗之參考資料。
在一實施例中，該資料庫單元500可以硬碟、記憶卡等儲存裝置來實現，且本發明不以此為限制。
在一實施例中，本發明之該鋼筋框架自動查驗系統2更可包括一彩色影像擷取單元600，如圖2所示，其中，該彩色影像擷取單元600與該處理器單元200電連接，且該彩色影像擷取單元600係用以擷取並產生該鋼筋框架的彩色影像(RGB影像)。
因此，在此實施例中，該顯示器單元400除了用以顯示包括該鋼筋查驗項目之數值的查驗結果外，更可顯示該彩色影像資料。藉此，查驗人員可同時檢視該查驗結果以及該彩色影像資料，有效提升查驗鋼筋框架的便利性。
在一實施例中，該鋼筋框架自動查驗系統(1,2)可實現於無人機系統，例如包括用以擷取鋼筋框架影像的無人機以及一具顯示功能的查驗控制裝置。藉此，於深基礎開挖(如井基)或者高架橋墩柱等危險環境，查驗人員無需以吊掛繩索的方式進行查驗作業，僅需控制該無人機以拍攝所需的影像，並以查驗控制裝置來檢視查驗結果，即可安全且快速地進行查驗。
為了進一步說明本發明實施例之該記憶體單元300，請參閱圖3，該記憶體單元300包括該系統程式模組310以及該自動查驗模組320，該自動查驗模組320並進一步包括該圖像分割模型321、一邊緣計算模組322、一間距計算模組323、一尺寸計算模組324、一支數計算模組325以及一影像處理模組326，因此，藉由執行該自動查驗模組320，本發明之鋼筋框架自動查驗系統可自動獲得該鋼筋框架的鋼筋查驗項目之數值，有效提升查驗鋼筋框架的便利性。
進一步地，該圖像分割模型321用以接收該鋼筋框架的該深度影像，並自動辨識該深度影像所包括的節點特徵以及間距特徵，並根據辨識的特徵(節點特徵以及間距特徵)來建立該分割結果。
進一步地，該邊緣計算模組322用以根據該分割結果中對應於特徵的畫素的畫素值判斷出每一組畫素的外緣畫素，並定義出對應的該節點畫素組以及該間距畫素組。
進一步地，該間距計算模組323用以根據相關聯的兩節點畫素組的重心畫素的三維座標資訊的距離得到該間距長度數值。
進一步地，該尺寸計算模組324用以根據一節點畫素組中彼此相關聯的兩外緣畫素的三維座標資訊的距離得到該鋼筋尺寸數值。
進一步地，該支數計算模組325用以計算單一軸向的該節點畫素組的數量，得到該支數數量。
進一步地，該影像處理模組326用以合成該鋼筋查驗項目之數值以及該深度影像，以產生標記有鋼筋查驗項目之數值的深度影像的一已標記深度影像，且將該已標記深度影像作為查驗結果。
為了更進一步說明該自動查驗模組320的運作方法，請參閱以下步驟。
由本發明的上述較佳實施例及應用方式可歸納出鋼筋框架自動查驗系統之運作方法，如圖4所示，該運作方法包括以下步驟：
步驟S100：得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊。於本實施例中，該鋼筋框架自動查驗系統(1,2)藉由該深度影像擷取單元100擷取該鋼筋框架的深度影像以及對應該深度影像的三維座標資訊，該深度影像以及該三維座標資訊並用以儲存於該資料庫單元500。
步驟S200：產生一分割結果，以一圖像分割模型321自動產生對應該深度影像的該分割結果。在本實施例中，該自動查驗模組320的該圖像分割模型321用以辨識該深度影像的特徵，並據以產生對應的該分割結果，且該分割結果與該深度影像的解析度為相同，該分割結果並用以儲存於該資料庫單元500。
步驟S300：產生一至少一鋼筋查驗項目之數值，根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值。在本實施例中，該自動查驗模組320用以根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值。
在一實施例中，該至少一鋼筋查驗項目之數值可為一間距長度數值、一鋼筋尺寸數值以及一支數數量，且該至少一鋼筋查驗項目之數值用以儲存於該資料庫單元500。
步驟S400：顯示一查驗結果，該查驗結果包括該至少一鋼筋查驗項目之數值。在本實施例中，該自動查驗模組320用以顯示包括該至少一鋼筋查驗項目之數值的該查驗結果，該查驗結果可為標示有該至少一鋼筋查驗項目之數值的該深度影像，藉此，有效提升查驗鋼筋框架的便利性。
藉此，該鋼筋框架自動查驗系統(1,2)得到該鋼筋框架的深度影像以及對應該深度影像的三維座標資訊後，可以該圖像分割模型321自動產生對應該深度影像的該分割結果，並根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值，且顯示包括該至少一鋼筋查驗項目之數值的查驗結果。因此，藉由本發明之鋼筋框架自動查驗技術，可達到提升查驗鋼筋框架的便利性的目的。
進一步地，該運作方法更包括步驟S500：訓練圖像分割模型，如圖5所示。於本實施例中，在執行步驟S100至S400之前，以訓練用深度影像以及對應於訓練用深度影像的訓練用分割結果對該圖像分割模型321進行訓練，使訓練後之該圖像分割模型321可據以辨識出深度影像中的至少一種特徵，並據以產生對應的分割結果。其中，訓練用分割結果可藉由人工標註訓練用深度影像來產生，且本發明不以此為限制。
於一實施例中，該訓練用深度影像以及該訓練用分割結果可分別切割為複數子影像，且以該些子影像進行前述訓練，並將該些子影像的訓練結果組合為原始尺寸。藉此，可降低該圖像分割模型321訓練時所需之記憶空間。
進一步地，步驟S200更可包括以下步驟，如圖6所示：
步驟S210：對該深度影像進行特徵辨識。於本實施例中，該圖像分割模型321接收該鋼筋框架的該深度影像(如圖14所示)，並自動辨識該深度影像所包括的節點特徵以及間距特徵。請參考圖15，鋼筋R1與鋼筋R3彼此相交重疊的區域被辨識為節點特徵C1，其中，鋼筋R1與鋼筋R3彼此非為水平重疊。請參考圖16，鋼筋R3橫跨於鋼筋R1與鋼筋R2之間的區域被辨識為間距特徵C2。
步驟S220：根據特徵產生分割結果。於本實施例中，該圖像分割模型321完成步驟S210後，進一步根據辨識的特徵建立分割結果。進一步地說，於該深度影像中，未被辨識為任何特徵的畫素，將作為背景畫素，該圖像分割模型321將該分割結果中與該些背景畫素具有相同二維座標的畫素給定一背景畫素值，而在該深度影像中，被辨識為該節點特徵的畫素將作為節點畫素，被辨識為該間距特徵的畫素將作為間距畫素，該圖像分割模型321將該分割結果中與該些節點畫素具有相同二維座標的畫素給定一節點畫素值，將該分割結果中與該些間距畫素具有相同二維座標的畫素給定一間距畫素值，其中，該背景畫素值、該節點畫素值以及該間距畫素值彼此不同。藉此，該圖像分割模型321產生該分割結果(如圖17所示)。
在一實施例中，該圖像分割模型321可以一語意圖像分割(Semantic Image Segmentation)模型或一實體分割(Instance Segmentation)模型來實現，且本發明不以此為限制。
在一實施例中，該圖像分割模型321可以DeepLabv3+演算法實現，且本發明不以此為限制。
於一實施例中，該背景畫素值例如對應為黑色的畫素值，且本發明不以此為限制。
進一步地，步驟S300更可包括以下步驟，如圖7所示。
步驟S310：定義節點畫素組以及間距畫素組。於本實施例中，該邊緣計算模組322用以根據該分割結果中的畫素的畫素值判斷出每一組畫素的外緣畫素，因此定義出對應的該節點畫素組P1以及該間距畫素組P2，如圖17所示。
於一實施例中，該邊緣計算模組322以邊緣檢測演算法來實現，例如以OpenCV演算法來實現，且本發明不以此為限制。
步驟S320：根據該節點畫素組以及該間距畫素組得到鋼筋查驗項目之數值。於本實施例中，該間距計算模組323、該尺寸計算模組324以及該支數計算模組325用以根據該節點畫素組P1及/或該間距畫素組P2來計算該鋼筋查驗項目之數值。
進一步地，步驟S320更可包括以下步驟，如圖8所示，步驟S321：產生一間距長度數值，步驟S322：產生鋼筋尺寸數值，步驟S323：產生一支數數量。
步驟S321包括以下步驟，如圖9所示：
步驟S3211：得到相關聯的兩節點畫素組的重心畫素的三維座標資訊。於本實施例中，該間距計算模組323根據單一間距畫素組P2的終端會各與一個節點畫素組P1相關聯的特性，定義出相關聯的兩個節點畫素組P1，並得到相關聯的兩節點畫素組P1的重心畫素個別於該分割結果上的二維座標，且根據該等二維座標查找對應的該三維座標資訊。
步驟S3212：根據兩重心畫素的三維座標資訊的距離得到該間距長度數值。於本實施例中，該間距計算模組323根據個別對應兩重心座標的該三維座標資訊後，根據該三維座標資訊計算出該間距長度數值。
於一實施例中，該間距長度數值的單位為公分，且本發明不以此為限制。
步驟S322包括以下步驟，如圖10所示：
步驟S3221：得到該節點畫素組P1的外緣畫素的三維座標資訊。於本實施例中，該節點畫素組的多個畫素形成近似四邊形的影像(如圖18所示)，因此該尺寸計算模組324用以得到位於同一邊之外緣畫素中的兩端點畫素(如端點畫素P11以及P12、P12以及P13、P13以及P14或P11以及P14)於該分割結果中的二維座標，並根據該等二維座標查找對應的三維座標資訊。
步驟S3222：根據彼此相關聯的兩外緣畫素的三維座標資訊的距離得到該鋼筋尺寸數值。於本實施例中，該尺寸計算模組324根據兩端點畫素的三維座標資訊計算出兩端點畫素之間的距離，因此得到該鋼筋尺寸數值，其中，在此實施例中，兩端點畫素P11及P12與兩端點畫素P13及P14係用以計算該鋼筋R1的該鋼筋尺寸數值，兩端點畫素P12以及P13與兩端點畫素P11以及P14係用以計算該鋼筋R3的該鋼筋尺寸數值。
步驟S323更可包括以下步驟，如圖11所示：
步驟S3231：計算單一軸向的該節點畫素組P1的數量，得到該支數數量。於本實施例中，該支數計算模組325判斷沿單一軸向上的該節點畫素組P1的數量，以得到該支數數量。舉例來說，於圖17中，沿橫軸方向D1的該節點畫素組P1為兩個，而沿縱軸方向D2的該節點畫素組P1為一個。
進一步地，步驟S400更可包括以下步驟，如圖12所示：
步驟S410：合成該鋼筋查驗項目之數值以及該深度影像，產生一已標記深度影像。於本實施例中，該影像處理模組326用以將該鋼筋查驗項目之數值標記於該深度影像，並產生對應的已標記深度影像。舉例來說，該影像處理模組326可將至少一間距長度數值以及至少一鋼筋尺寸數值標記於該深度影像並產生已標記深度影像，如圖19所示，數值20.3為間距長度數值並標記於該深度影像。
步驟S420：顯示已標記深度影像作為查驗結果。於本實施例中，該顯示器單元400用以顯示該已標記深度影像作為查驗結果，藉此，查驗人員可藉由該查驗結果快速檢視該鋼筋查驗項目之數值(該間距長度數值、該鋼筋尺寸數值或該支數數量之數值)。
在一實施例中，執行步驟S410後進行步驟S430，其更包括：顯示已標記深度影像以及彩色影像作為查驗結果，如圖13所示。於本實施例中，該彩色影像更可同時作為查驗結果，藉此查驗人員可同時檢視該已標記深度影像以及該彩色影像，更可提高查驗時的便利性。
由上述步驟，該鋼筋框架自動查驗系統得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊後，可以該圖像分割模型自動產生對應該深度影像的該分割結果至少一標記組，並根據該分割結果至少一標記組所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值，且顯示包括該至少一鋼筋查驗項目之數值的查驗結果，藉由該鋼筋框架自動查驗技術，達到提升查驗鋼筋框架的便利性的目的。
以下配合圖20至圖23說明本發明應用實施例，在本實施例中，以計算間距長度數值為例進行說明。本發明之該鋼筋框架自動查驗系統首先得到一鋼筋框架的深度影像(如圖20所示)以及對應該深度影像的三維座標資訊(未繪示)，前述之該圖像分割模型321自動產生對應該深度影像的該分割結果(如圖21所示)，該邊緣計算模組322根據該分割結果定義出節點畫素組以及間距畫素組，該間距計算模組323、該尺寸計算模組324以及該支數計算模組325根據該分割結果中的節點畫素組以及間距畫素組所對應的該三維座標資訊來計算該鋼筋框架的該至少一鋼筋查驗項目之數值，該影像處理模組326將該至少一鋼筋查驗項目之數值與該深度影像相結合，且使該顯示器單元400顯示包括該至少一鋼筋查驗項目之數值的查驗結果，其中該查驗結果可以包括彩色影像，如圖22所示，圖22上半部為已標記深度影像，下半部可為現場拍攝的影像。藉此，查驗人員可藉由檢視查驗結果，快速進行鋼筋框架的檢驗。
綜上所述，由於本發明之鋼筋框架自動查驗系統於得到鋼筋框架的深度影像以及對應該深度影像的三維座標資訊後，可以該圖像分割模型自動產生對應該深度影像的該分割結果，並根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值，且顯示包括該至少一鋼筋查驗項目之數值的查驗結果，使查驗人員可藉由檢視查驗結果，克服現場環境的不足，快速進行鋼筋框架的檢驗，並以電子化的方式記錄查驗資料，達到提升查驗鋼筋框架的便利性的目的。
1、2:鋼筋框架自動查驗系統
100:深度影像擷取單元
200:處理器單元
300:記憶體單元
310:系統程式模組
320:自動查驗模組
321:圖像分割模型
322:邊緣計算模組
323:間距計算模組
324:尺寸計算模組
325:支數計算模組
326:影像處理模組
400:顯示器單元
500:資料庫單元
600:彩色影像擷取單元
C1、C2:特徵
D1:橫軸方向
D2:縱軸方向
R1、R2、R3:鋼筋
P1、P2:畫素組
P11、P12、P13、P14:端點畫素
S100、S200、S210、S220、S300、S310、S320、S321、S322、S323、S400、S410、S420、S430、S500、S3211、S3212、S3221、S3222、S3231:步驟
圖1為根據本發明實施例之鋼筋框架自動查驗系統之實施例示意圖；
圖2為根據本發明實施例之鋼筋框架自動查驗系統之系統架構圖；
圖3為根據本發明實施例之記憶體單元之架構圖；
圖4為根據本發明實施例之鋼筋框架自動查驗系統之運作方法流程圖；
圖5為根據本發明實施例之鋼筋框架自動查驗系統之另一運作方法流程圖；
圖6為根據本發明實施例之運作方法之產生分割結果之流程圖；
圖7為根據本發明實施例之運作方法之得到至少一鋼筋查驗項目之數值之流程圖；
圖8為根據本發明實施例之運作方法之根據畫素組得到至少一鋼筋查驗項目之數值之流程圖；
圖9為根據本發明實施例之運作方法之得到間距長度數值之流程圖；
圖10為根據本發明實施例之運作方法之得到鋼筋尺寸數值之流程圖；
圖11為根據本發明實施例之運作方法之得到支數數量之流程圖；
圖12為根據本發明實施例之運作方法之顯示查驗結果之流程圖；
圖13為根據本發明實施例之運作方法之顯示查驗結果之另一流程圖；
圖14為根據本發明實施例之深度影像示意圖；
圖15為根據本發明實施例之特徵示意圖；
圖16為根據本發明實施例之另一特徵示意圖；
圖17為根據本發明實施例之畫素組示意圖；
圖18為根據本發明實施例之節點畫素組示意圖；
圖19為根據本發明實施例之已標記深度影像示意圖；
圖20為根據本發明實施例之應用實施例示意圖；
圖21為根據本發明實施例之另一應用實施例示意圖；以及
圖22為根據本發明實施例之又一應用實施例示意圖。
S100、S200、S300、S400:步驟
Claims (21)
- 一種鋼筋框架自動查驗系統的運作方法，其步驟包括： 得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果； 產生一至少一鋼筋查驗項目之數值，根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的該至少一鋼筋查驗項目之數值；以及 顯示一查驗結果，該查驗結果包括該至少一鋼筋查驗項目之數值。
- 如請求項1所述之鋼筋框架自動查驗系統的運作方法，其中，產生一分割結果的步驟更包括： 對該深度影像進行特徵辨識；以及 根據辨識的特徵產生該分割結果。
- 如請求項2所述之鋼筋框架自動查驗系統的運作方法，其中，該分割結果中對應於不同特徵的畫素具有不同的畫素值。
- 如請求項1所述之鋼筋框架自動查驗系統的運作方法，其中，產生一至少一鋼筋查驗項目之數值的步驟包括： 定義至少一節點畫素組以及至少一間距畫素組；以及 根據該至少一節點畫素組以及該至少一間距畫素組得到該至少一鋼筋查驗項目之數值。
- 如請求項4所述之鋼筋框架自動查驗系統的運作方法，其中，根據該至少一節點畫素組以及該至少一間距畫素組得到該至少一鋼筋查驗項目之數值的步驟包括： 得到相關聯的兩個節點畫素組的重心畫素的三維座標資訊；以及 根據該等重心畫素的三維座標資訊的距離得到一間距長度數值。
- 如請求項4所述之鋼筋框架自動查驗系統的運作方法，其中，根據該至少一節點畫素組得到該至少一鋼筋查驗項目之數值的步驟包括： 得到該節點畫素組的外緣畫素的三維座標資訊；以及 根據彼此相關聯的兩個外緣畫素的三維座標資訊的距離得到一鋼筋尺寸數值。
- 如請求項4所述之鋼筋框架自動查驗系統的運作方法，其中，根據該至少一節點畫素組以及該至少一間距畫素組得到該至少一鋼筋查驗項目之數值的步驟包括：計算單一軸向的該節點畫素組的數量，得到一支數數量。
- 一種鋼筋框架自動查驗系統的運作方法，其步驟包括： 得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果； 產生至少一間距長度數值，根據該分割結果的至少二節點畫素組之間的三維座標資訊的距離得到該鋼筋框架的該至少一間距長度數值；以及 顯示包括該至少一間距長度數值的查驗結果。
- 一種鋼筋框架自動查驗系統的運作方法，其步驟包括： 得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果； 產生至少一鋼筋尺寸數值，根據該分割結果的至少一節點畫素組的至少二外緣畫素的三維座標資訊的距離得到該鋼筋框架的至少一鋼筋尺寸數值；以及 顯示包括該至少一鋼筋尺寸數值的查驗結果。
- 一種鋼筋框架自動查驗系統的運作方法，其步驟包括： 得到一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 產生一分割結果，以一圖像分割模型自動產生對應該深度影像的該分割結果； 產生一支數數量，根據該分割結果於單一軸向上的至少一節點畫素組的數量得到該鋼筋框架的該支數數量；以及 顯示包括該支數數量的查驗結果。
- 一種電腦可讀取儲存裝置，其用以儲存一程式，該程式用以完成如請求項1至10任一項所述之方法。
- 一種鋼筋框架自動查驗系統，其包括： 一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，且根據該分割結果所對應的該三維座標資訊得到該鋼筋框架的鋼筋查驗項目之數值； 一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及 一顯示單元，與該處理器單元電連接，用以顯示包括該鋼筋查驗項目之數值的查驗結果。
- 如請求項12所述之鋼筋框架自動查驗系統，其更包括一彩色影像擷取單元，與該處理器單元電連接，用以產生一彩色影像，該彩色影像可做為該查驗結果。
- 如請求項12所述之鋼筋框架自動查驗系統，其中，該圖像分割模型用以對該深度影像進行特徵辨識，並根據辨識的特徵產生該分割結果。
- 如請求項14所述之鋼筋框架自動查驗系統，其中，該分割結果中對應於不同特徵的畫素具有不同的畫素值。
- 如請求項12所述之鋼筋框架自動查驗系統，其中，該自動查驗模組包括一間距計算模組，用以根據該分割結果的至少二節點畫素組之間的三維座標資訊的距離得到該鋼筋框架的至少一間距長度數值。
- 如請求項12所述之鋼筋框架自動查驗系統，其中，該自動查驗模組包括一尺寸計算模組，用以根據該分割結果的至少一節點畫素組的至少二外緣畫素的三維座標資訊的距離得到該鋼筋框架的至少一鋼筋尺寸數值。
- 如請求項12所述之鋼筋框架自動查驗系統，其中，該自動查驗模組包括一支數計算模組，用以根據該分割結果於單一軸向上的至少一節點畫素組的數量得到該鋼筋框架的該支數數量。
- 一種鋼筋框架自動查驗系統，其包括： 一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，根據該分割結果的至少二節點畫素組之間的三維座標資訊的距離得到該鋼筋框架的至少一間距長度數值； 一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及 一顯示單元，與該處理器單元電連接，用以顯示包括該間距長度數值的查驗結果。
- 一種鋼筋框架自動查驗系統 ，其包括： 一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，根據該分割結果的至少一節點畫素組的至少二外緣畫素的三維座標資訊的距離得到該鋼筋框架的至少一鋼筋尺寸數值； 一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及 一顯示單元，與該處理器單元電連接，用以顯示包括該至少一鋼筋尺寸數值的查驗結果。
- 一種鋼筋框架自動查驗系統 ，其包括： 一深度影像擷取單元，用以產生一鋼筋框架的深度影像以及對應該深度影像的三維座標資訊； 一記憶體單元，其包括一自動查驗模組，該自動查驗模組以一圖像分割模型自動產生對應該深度影像的分割結果，根據該分割結果的至少一節點畫素組的數量得到該鋼筋框架的該支數數量； 一處理器單元，與該深度影像擷取單元以及該記憶體單元電連接，該處理器單元用以執行該自動查驗模組；以及 一顯示單元，與該處理器單元電連接，用以顯示包括該支數數量的查驗結果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109133083A TWI766376B (zh) | 2020-09-24 | 2020-09-24 | 鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW109133083A TWI766376B (zh) | 2020-09-24 | 2020-09-24 | 鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202213251A TW202213251A (zh) | 2022-04-01 |
| TWI766376B true TWI766376B (zh) | 2022-06-01 |
Family
ID=82197116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW109133083A TWI766376B (zh) | 2020-09-24 | 2020-09-24 | 鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI766376B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI841973B (zh) * | 2022-05-31 | 2024-05-11 | 日商日本製鐵股份有限公司 | 物品管理裝置、物品管理方法、及程式 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI261106B (en) * | 2004-10-01 | 2006-09-01 | Univ Nat Central | Device and method detecting steel bar size inside construction |
| US20130060488A1 (en) * | 2011-09-02 | 2013-03-07 | Olympus Ndt Inc. | Image processing system and method for ndt/ndi testing devices |
| CN102999451A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学 | 钢材计数系统及方法 |
| CN111141225A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种基于激光阵列的钢筋尺寸测量方法及系统 |
| CN111179232A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 基于图像处理的钢筋尺寸检测系统及方法 |
| CN111524128A (zh) * | 2020-04-29 | 2020-08-11 | 三一海洋重工有限公司 | 钢结构检测方法和系统、电子设备及存储介质 |
-
2020
- 2020-09-24 TW TW109133083A patent/TWI766376B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI261106B (en) * | 2004-10-01 | 2006-09-01 | Univ Nat Central | Device and method detecting steel bar size inside construction |
| US20130060488A1 (en) * | 2011-09-02 | 2013-03-07 | Olympus Ndt Inc. | Image processing system and method for ndt/ndi testing devices |
| CN102999451A (zh) * | 2012-11-13 | 2013-03-27 | 上海交通大学 | 钢材计数系统及方法 |
| CN111141225A (zh) * | 2019-12-20 | 2020-05-12 | 山东大学 | 一种基于激光阵列的钢筋尺寸测量方法及系统 |
| CN111179232A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 基于图像处理的钢筋尺寸检测系统及方法 |
| CN111524128A (zh) * | 2020-04-29 | 2020-08-11 | 三一海洋重工有限公司 | 钢结构检测方法和系统、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 以人工智慧輔助工地鋼筋查驗(1/2) 科技部補助產學合作研究計畫 2020/02/26 https://www.grb.gov.tw/search/planDetail?id=13537849 * |
| 網路文獻 陳俊杉、張書瑋、韓仁毓、張家銘、陳柏華，"以人工智慧輔助工地鋼筋查驗(1/2)"，科技部補助產學合作研究計畫成果精簡進度報告(MOST 108-2622-E-002-018-CC2)，2020年2月26日；網址：https://www.grb.gov.tw/search/planDetail?id=13008198 * |
| 網路文獻 陳俊杉、張書瑋、韓仁毓、張家銘、陳柏華，"以人工智慧輔助工地鋼筋查驗(1/2)"，科技部補助產學合作研究計畫成果精簡進度報告(MOST 108-2622-E-002-018-CC2)，2020年2月26日；網址：https://www.grb.gov.tw/search/planDetail?id=13008198。 以人工智慧輔助工地鋼筋查驗(1/2) 科技部補助產學合作研究計畫 2020/02/26 https://www.grb.gov.tw/search/planDetail?id=13537849 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202213251A (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zou et al. | CNN-based statistics and location estimation of missing components in routine inspection of historic buildings | |
| Ding et al. | Crack detection and quantification for concrete structures using UAV and transformer | |
| CN113252700B (zh) | 一种结构裂缝检测方法、设备及系统 | |
| CN111325788B (zh) | 一种基于街景图片的建筑物高度确定方法 | |
| Pantoja-Rosero et al. | Damage-augmented digital twins towards the automated inspection of buildings | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| Pathak et al. | An object detection approach for detecting damages in heritage sites using 3-D point clouds and 2-D visual data | |
| CN115409069A (zh) | 村镇建筑的识别方法、分类方法、装置、电子设备和介质 | |
| Li et al. | A deep learning-based fine crack segmentation network on full-scale steel bridge images with complicated backgrounds | |
| NL2027073B1 (en) | Automatic urban three-dimensional skyline contour generation and diagnosis method based on occlusion rate | |
| CN103345542A (zh) | 一种基于三维可视化技术的桥梁病害标记方法 | |
| US11423611B2 (en) | Techniques for creating, organizing, integrating, and using georeferenced data structures for civil infrastructure asset management | |
| US11587299B2 (en) | Systems and methods for detection of anomalies in civil infrastructure using context aware semantic computer vision techniques | |
| CN116091431A (zh) | 箱梁病害检测方法、装置、计算机设备和存储介质 | |
| CN104200213B (zh) | 一种基于多部件的车辆检测方法 | |
| CN113313659A (zh) | 一种多机协同约束下高精度图像拼接方法 | |
| CN102944227A (zh) | 一种基于fpga实现实时提取恒星星像坐标的方法 | |
| TWI766376B (zh) | 鋼筋框架自動查驗系統、電腦可讀取儲存裝置及其運作方法 | |
| Pang et al. | Multi-scale feature fusion model for bridge appearance defect detection | |
| Kim et al. | Automated two-dimensional geometric model reconstruction from point cloud data for construction quality inspection and maintenance | |
| CN114494323A (zh) | 一种障碍物检测方法、装置、设备及存储介质 | |
| CN113673478B (zh) | 基于深度学习全景拼接的港口大型设备检测与识别方法 | |
| TWI468849B (zh) | 建築物紋理擷取裝置及其方法 | |
| US20220406018A1 (en) | Three-dimensional display device, three-dimensional display method, and three-dimensional display program | |
| CN117705062A (zh) | 基于无人机巡检的建筑表观损伤定位方法 |