KR101803164B1 - 로봇 공학용 다중 감지 스테레오 비전 방법, 시스템 및 장치 - Google Patents

Abstract

본 발명의 실시예들은 로봇 공학, 네비게이션, 기계 비전, 제작 및 다른 분야들에 사용하기 적절한 다중 감지 스테레오 비전 센서들을 포함한다. 일부 경우들에서, 센서는 장면에서 대상들의 위치들 및/또는 센서 그 자체의 위치를 판정하기 위해 변위 맵들을 발생하는데 사용하기 위한 이미지 데이터를 발생하는 스테레오 카메라를 포함한다. 스테레오 센서는 바람직하지 않은 벗어남을 방지하기 위해 단일 프레임에 체결되는 이미지 센서들 및 프로세서로부터 열을 내보내는 열 패드를 포함할 수 있다. 프로세서는 센서 상에 스테레오 변위 맵들을 직접 연산하기 위한 효율적인 수단을 제공할 수 있다. 센서는 스테레오 카메라를 교정하고 특정 환경들에서 그의 정확성을 개선하기에 적절한 범위 데이터를 제공하는 레이저 범위 측정기를 또한 포함할 수 있다. 일부 경우들에서, 레이저는 스핀들에 커플링되며, 그 후 이는 슬립핑 클러치를 통하여 기어 트레인에 의해 구동된다.

Description

로봇 공학용 다중 감지 스테레오 비전 방법, 시스템 및 장치{METHODS, SYSTEMS, AND APPARATUS FOR MULTI-SENSORY STEREO VISION FOR ROBOTICS}

관련 출원의 상호 참조

본 출원은 35 U.S.C. §119(e) 하에서, 2013년 3월 15일자로 출원되고, 발명의 명칭이 "로봇 공학용 다중 센서 스테레오 비전 방법, 시스템 및 장치(Methods, Systems, and Apparatus for Multi-Sensor Stereo Vision for Robotics)" 인 미국 가출원 제61/792,468호의 우선권을 주장하며, 상기 출원은 그 전체가 인용에 의해 본원에 포함된다.

3 차원(3D) 감지는 다양한 영역들 및 환경들에서 유용하다. 이는 로봇들, 자동차들 및 원격 작동식 차량들을 안전하게 안내하고 지형을 가로지르는 것을 가능하게 하며 나무들, 구조물들 및 급경사와 같은 정적인 장애물들 그리고 사람, 동물 및 차량들과 같은 동적인 장애물들을 회피하게 한다. 3D 감지는 또한 로봇의 지역적 환경의 맵핑(mapping) 그리고 더 큰 주변 구역들의 더 큰 규모의 맵핑을 가능하게 한다. 산업 환경들에서, 본원에 설명된 3 차원 센서들은 기계류 주위에 정적인 또는 적응적인 안전 커튼(curtain)들을 생성할 수 있고/있거나 자동화 조립 또는 제작 라인들을 통하여 이동하는 부품들을 세거나 점검할 수 있다.

높은 업데이트율의 스테레오 데이터가 함께 상호 작용될 근접-필드 장애물들, 목표들 또는 대상들을 감지하는데 사용될 수 있다. 휴머노이드(humanoid) 로봇의 "머리(head)"로서 장착된다면, 스테레오 카메라는 사람의 눈들이 하는 것과 정확하게 동일한 역할을 수행할 수 있다 - 휴머노이드가 반응적인 파악, 경로 구상, 단계 계획, 대상 인지, 대상 추적 및 많은 다른 형태들의 3D 연산을 가능하게 하기 전에 구역의 실시간 3D 묘사를 생성한다.

본 발명의 실시예들은 로봇 공학, 네비게이션, 기계 비전, 제작 및 다른 분야들에 사용하기 적합한 스테레오 비전/레이저 범위 측정 센서들의 조합을 포함한다. 일부 경우들에서, 이러한 센서들은 비디오 이미지들, 스테레오 이미지들 및 레이저 범위 측정으로부터 비롯되는 이미지를 제공하는 스캐닝 레이저들을 갖는 스테레오 카메라들을 포함한다. 이러한 센서들은 동작을 계산하는데 사용될 수 있고 이로부터 레이저 이미지들은 센서가 그 주위들에 대하여 이동할 때(또는 주위가 변할 때) 연이어서 월드 맵으로 "함께 합쳐질 수 있다(stitched together)". 게다가, 스테레오 카메라 및 레이저 범위 측정기는 서로의 범위 데이터를 "자체 검사(self-check)"하는데 사용될 수 있다. 이는 센서가 특정 타입들의 에러들을 검출하는 것을 가능하게 하고, 센서가 일부 상황들에서 자가 교정하는 것을 가능하게 한다.

2 개의 센서들은 오프셋 능력들을 가질 수 있으며: 레이저 범위 측정기는 높은 정밀도로 긴 범위들에 걸쳐(예컨대 약 0.5 m 내지 약 30 m) 작동할 수 있고, 상당히 낮은 데이터율(예컨대, 약 43,000 포인트/초)을 가질 수 있으며, 모든 또는 거의 모든 표면들을 양호하게 감지할 수 있지만, 먼지와 같은 공기 중의 방해물(obscurant)을 이미징하는데 어떠한 문제를 가질 수 있다. 스테레오 카메라는 더 빠르고(예컨대, 15,000,000 포인트/초 초과), 더 짧은 범위에 걸쳐 작동하고(예컨대, 7.0 ㎝ 베이스라인에 의해 약 0.5 m 내지 약 5.0 m), 공기 중의 방해물들에 걸친 이미징 시에 더 양호하게 수행할 수 있지만, 특색 없는 표면들에 대한 범위를 감지하지 못할 수 있다.

일부 실시예들에서, 레이저 펄스들은 서로 그리고 외부 클록(clock)과 기하학적으로 그리고 시간적으로 동기화된다. 게다가, 레이저 펄스들 및 카메라 이미지들은 서로에 대하여 정밀하게 시간 조정된다. 이는 교정을 돕는다. 이는 또한 센서가 이동할 때이더라도 레이저 데이터를 사용한 정확한 3D 모델들의 구성을 가능하게 하며: 카메라 이미지들로부터의 동작 추정들은 레이저 범위 측정기 데이터 포인트들의 획득 동안 센서 이동에 대한 보상을 가능하게 한다.

센서의 실시예들은 열 극한들, 기계적 쇼크, 진동 및 습기를 포함하는 환경적으로 튼튼함을 위해 구성된 단일 유닛에 일체형인 구성요소들을 포함할 수 있다. 구체적으로, 카메라/렌즈 디자인은 열 변화들 및/또는 기계적 쇼크로 인한 교정의 벗어남에 대하여 저항하도록 구성될 수 있다. 유사하게, 센서 데이터를 처리하는데 사용되는 스테레오 알고리즘들 및 제어는 열악한 조명 및 나쁜 날씨 상황들 뿐만 아니라 공기 중의 먼지 및 다른 입자들의 어려운 환경들에서의 작동을 위해 맞춰질 수 있다.

로봇 공학 용도를 위해 적합한 것들을 포함하는 특정 이행들에서, 센서는 관성 측정 유닛(inertial measurement unit; IMU)에 포함되거나 또는 이에 작동 가능하게 커플링될 수 있다. 이러한 IMU 에 커플링되는 프로세서는 네비게이션 등에서의 사용을 위한 로봇에 대한 포즈 해법(pose solution)을 제공하기 위해 포즈 추정 소프트웨어를 실행한다. 이러한 포즈 해법은 IMU, 스테레오(예컨대, 시각적 주행 거리 측정), 휠 엔코더, 위성 항법 장치(Global Positioning Satellite; GPS) 수신기 및/또는 레이저 범위 측정기로부터 비롯될 수 있다.

특정 실시예들에서, 센서에 있거나 커플링되는 프로세서는 센서 유닛이 그의 교정 상태를 신속하게 평가하는 것을 가능하게 하는 하나 이상의 교정 알고리즘들을 실행한다. 유닛이 (예컨대, 자동으로) 교정에서 벗어난 것을 검출한다면, 이는 "자체 치유(self-healing)"로서 공지된 프로세스에서 교정을 "바로잡기(fix)" 위한 그의 교정 파라미터들을 재조정할 수 있다. 유닛은 사용자 개입을 요구하지 않으면서 자체 치유에 관하여 사용자에게 알려줄 수 있다.

예시적인 센서 유닛은 목표들 없이 (예컨대 자동으로) 교정될 수 있다. 보통 카메라 및 레이저 시스템들은 장면에서 정립된 특정 목표들(예컨대 삼각대 상의)에 의해 교정된다. 예컨대, 시스템은 장면에서 기회의 하나 이상의 "양호한" 목표들을 검출하고 스테레오 카메라와 레이저 범위 측정기 양자를 자동으로 교정할 수 있다.

본 발명의 실시예들은 환경에서 하나 이상의 대상들의 위치들(시스템 자체의 위치 포함)을 추정하기 위한 시스템들 및 방법들을 포함한다. 하나의 예에서, 시스템은 제1 촬영기(imager), 제2 촬영기 그리고 제1 및 제2 촬영기들에 작동 가능하게 커플링되는 프로세서를 포함한다. 작동 시에, 제1 촬영기는 제1 시계(perspective)로부터 환경의 둘 이상의 기준 이미지를 획득하고 제2 촬영기는 제2 시계로부터 환경의 둘 이상의 비교 이미지를 획득한다. 프로세서는 둘 이상의 기준 이미지의 제1 기준 이미지와 둘 이상의 비교 이미지의 제1 비교 이미지로부터 환경의 제1 변위 맵(disparity map)을 합성한다. 프로세서는 둘 이상의 기준 이미지의 제2 기준 이미지와 둘 이상의 비교 이미지의 제2 비교 이미지로부터 환경의 제2 변위 맵을 또한 합성한다. 프로세서는 제1 변위 맵을 적어도 부분적으로 기초로 하여 대상(들)의 위치의 제1 위치 추정 그리고 제2 변위 맵을 적어도 부분적으로 기초로 하여 대상(들)의 위치의 제2 위치 추정을 판정한다.

일부 경우들에서, 프로세서는 제1 위치 추정과 제2 위치 추정 사이의 차이를 추정할 수 있다. 프로세서는 또한 제1 위치 추정과 제2 위치 추정 사이의 차이를 보정할 수 있다. 예컨대, 시스템은 레이저 광으로 대상을 비추는 레이저 그리고 검출된 레이저 광을 기초로 하여 대상에 대한 거리를 나타내는 범위 신호를 제공하기 위해 대상에 의해 분산 및/또는 반사되는 레이저 광을 검출하는 센서를 포함할 수 있다. 프로세서는 제1 위치 추정, 제2 위치 추정 또는 제1 및 제2 위치 추정들 양자에 범위 신호를 비교함으로써 제1 위치 추정과 제2 위치 추정 사이의 차이를 판정할 수 있다.

본 발명의 다른 실시예들은 환경에서 하나 이상의 특징부들을 이미징하기 위한 시스템들 및 방법들을 포함한다. 예시적인 시스템은 제1 촬영기, 제2 촬영기 그리고 제1 및 제2 촬영기들에 작동 가능하게 커플링되는 프로세서를 포함한다. 작동 시에, 제1 촬영기는 제1 시계로부터 환경의 둘 이상의 기준 이미지를 획득하고 제2 촬영기는 제2 시계로부터 환경의 둘 이상의 비교 이미지를 획득한다. 프로세서는 둘 이상의 기준 이미지의 제1 기준 이미지와 둘 이상의 비교 이미지의 제1 비교 이미지로부터 환경의 제1 변위 맵을 합성한다. 프로세서는 둘 이상의 기준 이미지의 제2 기준 이미지와 둘 이상의 비교 이미지의 제2 비교 이미지로부터 환경의 제2 변위 맵을 또한 합성한다. 프로세서는 제1 변위 맵과 제2 변위 맵의 특징부를 확인할 수 있고, 제1 변위 맵과 제2 변위 맵 사이의 특징부의 외양의 차이를 추정할 수 있다.

본 발명의 실시예들은 또한 레이저 광의 스캐닝 빔의 오정렬을 검출하기 위한 시스템 및 방법들을 포함한다. 예시적인 시스템은 레이저, 레이저와 광 통신 및/또는 기계적 연관된 스캐너, 센서 그리고 센서에 작동 가능하게 커플링되는 프로세서를 포함한다. 작동 시에, 레이저는 레이저 광의 스캐닝 빔을 제공하도록 스캐너가 스캔하는 레이저 빔을 제공한다. 센서는 환경에서 적어도 하나의 대상에 의해 분산 및/또는 반사되는 레이저 광을 검출하고 검출된 레이저 광의 제1 측정을 나타내는 제1 신호 그리고 검출된 레이저 광의 제2 측정을 나타내는 제2 신호를 제공한다. 프로세서는 제1 신호를 기초로 하여 환경의 제1 묘사를 그리고 제2 신호를 기초로 하여 환경의 제2 묘사를 발생한다. 프로세서는 제1 묘사와 제2 묘사 사이에 적어도 하나의 차이를 추정하고 제1 묘사와 제2 묘사 사이의 차이(들)를 기초로 하여 레이저, 스캐너 및/또는 센서의 오정렬을 판정한다. 일부 경우들에서, 프로세서는 오정렬의 판정 시에 제1 측정과 제2 측정 사이의 레이저, 스캐너 및/또는 센서의 이동을 고려한다.

특정 예들에서, 센서는 스테레오 이미지 센서를 포함하고 프로세서는 제1 묘사 및/또는 제2 묘사를 기초로 하여 스테레오 센서를 교정하도록 구성된다. 이러한 예들에서, 프로세서는 제1 묘사를 적어도 부분적으로 기초로 하여 레이저, 스캐너 및/또는 스테레오 이미지 센서의 제1의 3 차원 위치를 추정할 수 있다. 프로세서는 레이저, 스캐너 및/또는 스테레오 이미지 센서의 제2의 3 차원 위치 추정을 또한 판정할 수 있고 제1의 3 차원 위치 추정과 제2의 3 차원 위치 추정을 기초로 하여 차이를 추정할 수 있다.

본 발명의 다른 실시예는 스테레오 촬영기 및 범위 측정기를 포함하는 다중 감지 스테레오 비전 시스템의 교정 방법을 포함한다. 하나의 예에서, 이 방법은, 스테레오 촬영기에 의해 제공되는 변위 맵으로부터 적절한 프로세서 또는 다른 연산 기기를 사용하여 변위 맵에 나타나는 대상의 제1의 3 차원 위치 추정을 판정하는 단계를 포함한다. 프로세서는 또한 범위 측정기에 의한 측정으로부터 대상의 제2의 3 차원 위치 추정을 판정한다. 프로세서는, 예컨대 변위 맵에 의해 형성되는 체적부 상에 제2의 3 차원 위치 추정의 좌표를 투영함으로써 그리고 제2의 3 차원 위치 추정의 좌표들과 제1의 3 차원 위치 추정의 좌표들 사이의 거리를 판정함으로써 제1의 3 차원 위치 추정과 제2의 3 차원 위치 추정 사이의 차이를 판정한다. 프로세서는 제1의 그리고 제2의 3 차원 위치 추정들의 차이를 기초로 하여 다중 감지 스테레오 비전 시스템을 교정한다.

특정 경우들에서, 프로세서는 스테레오 촬영기에 의한 제1 시계로부터 본 장면의 제1의 2 차원 이미지 그리고 스테레오 촬영기에 의한 제2 시계로부터 본 장면의 제2의 2 차원 이미지를 얻음으로써 제1의 3 차원 위치 추정을 판정한다. 프로세서는 제1의 2 차원 이미지와 제2의 2 차원 이미지로부터 변위 맵을 합성한다.

범위 측정기의 일부 실시예들은 레이저 범위 측정기를 포함한다. 이러한 실시예들에서, 제2의 3 차원 위치 추정을 판정하는 단계는 레이저 광으로 대상을 비추는 단계, 대상에 의해 분산 및/또는 반사된 레이저 광을 검출하는 단계 그리고 적어도 부분적으로는 검출된 레이저 광을 기초로 하여 제2의 3 차원 위치를 판정하는 단계를 포함한다.

본 발명의 또 다른 실시예는 이미지 데이터를 기초로 하여 환경의 변위 맵을 발생하기 위한 프로세싱 유닛을 포함한다. 예시적인 프로세싱 유닛은 둘 이상의 촬영기들로부터 이미지 데이터를 수신하기 위한 적어도 하나의 인터페이스; 이미지 데이터를 정정하기 위해 적어도 하나의 인터페이스에 작동 가능하게 커플링되는 적어도 하나의 정정 프로세싱 블록; 그리고 이미지 데이터를 기초로 하여 변위 맵을 발생하기 위해 적어도 하나의 정정 프로세싱 블록에 작동 가능하게 커플링되는 적어도 하나의 스테레오 프로세싱 블록을 포함한다. 일부 경우들에서, 정정 프로세싱 블록 및/또는 스테레오 프로세싱 블록은 필드 프로그램 가능 게이트 어레이로 이행된다.

예컨대, 인터페이스는 제1 인터페이스 및 제2 인터페이스를 포함할 수 있다. 작동 시에, 제1 인터페이스는 이미지 데이터의 제1 부분의 제1 직렬 묘사를 이미지 데이터의 제1 부분의 제1 병렬 묘사로 변형한다. 그리고 제2 인터페이스는 이미지 데이터의 제2 부분의 제2 직렬 묘사를 이미지 데이터의 제2 부분의 제2 병렬 묘사로 변형한다.

스테레오 프로세싱 블록은 세미 글로벌 블록 매칭(Semi-Global Block Matching; SGBM) 알고리즘, 세미 글로벌 매칭(Semi-Global Matching; SGM) 알고리즘 및/또는 스테레오 블록 매칭 알고리즘에 따라 변위 맵을 발생할 수 있다. 일부 경우들에서, 스테레오 프로세싱 블록은 변위 체적부의 동적으로 재구성 가능한 부분을 찾는다. 하나의 스테레오 프로세싱 블록은 상이한 해상도들에서 이미지 데이터를 처리하기 위해 동적으로 재구성될 수 있다. 프로세싱 유닛은 또한 둘 이상의 촬영기들이 미지 데이터를 획득하는 프레임율을 동적으로 변화시킬 수 있다.

특정 실시예들에서, 정정 블록은 적어도 하나의 메모리-투-메모리 블록(memory-to-memory block)을 포함한다. 이러한 메모리-투-메모리 블록은 전단(frontend), 전단에 작동 가능하게 커플링되는 지연 라인 그리고 지연 라인에 작동 가능하게 커플링되는 후단(backend)을 포함할 수 있다. 작동 시에, 전단은 메모리로부터 이미지 데이터를 메모리로부터 이미지 데이터를 가져온다 지연 라인은 메모리의 지연 시간(latency)과 동일한 또는 더 큰 기간 동안 적어도 하나의 이미지 프로세싱 명령을 저장한다. 그리고 후단은 적어도 부분적으로는 메모리로부터 가져오는 이미지 데이터를 기초로 하여 정정된 출력을 발생한다.

특정 프로세싱 유닛들은 이미지 데이터의 병렬 표시를 예비 처리(pre-process)하기 위해, 인터페이스에 작동 가능하게 커플링되는 적어도 하나의 예비 프로세싱 블록을 또한 포함할 수 있다. 예컨대, 예비 프로세싱 블록은 데이터의 병렬 묘사의 필터링, 히스토그램(histogram) 발생, 선형화, 비네트(vignette) 보정, 디모자이싱(demosaicing), 화이트 밸런싱 및/또는 색공간 변환을 수행할 수 있다.

본 발명의 또 다른 실시예들은 레이저 스캐닝 시스템들 및 방법들을 포함한다. 예시적인 레이저 스캐닝 시스템은 레이저, 레이저에 기계적으로 커플링되는 스핀들, 스핀들에 토크를 가하기 위한 기어 및 기어와 스핀들 사이에서 눌리는 슬립핑 클러치 마찰 패드를 포함한다. 작동 시에, 레이저는 레이저 빔을 발생한다. 스핀들은 레이저 빔을 스캔하도록 제1 축선을 중심으로 레이저를 회전시킨다. 기어는 스핀들에 토크를 가한다. 그리고 슬립핑 클러치 마찰 패드는 기어에 의해 가해지는 토크의 적어도 일부를 최대 임계 토크까지 스핀들에 전달하고 기어가 임계 토크 초과의 토크에서 스핀들에 대하여 미끄러지는 것을 가능하게 한다. 일부 경우들에서, 임계 토크는 스핀들에 가해지는 온도와 힘의 함수로서 일정하게 유지된다.

레이저 스캐닝 시스템은 스핀들, 기어 및 슬립핑 클러치 마찰 패드의 적어도 일부를 담는 하우징을 또한 포함할 수 있다. 게다가 레이저 스캐닝 시스템은 또한 하우징에 대한 스핀들의 위치를 측정하는, 스핀들에 기계적으로 커플링되는 엔코더를 또한 포함할 수 있다. 일부 경우들에서, 기어는 웜(worm)과 맞물리는 웜 기어이고, 이 웜은 웜 기어를 구동하며 모터에 커플링되고, 이 모터는 결국 웜을 회전시켜서 웜 기어를 구동하게 된다. 레이저 스캐닝 시스템은 모터의 축방향 및 방사방향의 이동을 가능하게 하기 위해 모터에 기계적으로 커플링되는 유연 모터(compliant motor) 장착부를 또한 포함할 수 있다. 그리고 레이저 스캐닝 시스템은 스핀들에 기계적으로 커플링되고 레이저 및 전력원과 전기 통신하는 슬립 링을 포함할 수 있고 레이저 스캐닝 시스템은 레이저에 전력을 공급하기 위해 슬립 링을 통하여 레이저와 전기 통신한다.

본 발명의 또 다른 실시예들은 스테레오 비전 시스템들 및 방법들을 포함한다. 예시적인 스테레오 비전 시스템은 적어도 하나의 장착 표면을 형성하고 재료의 하나의 피스로 이루어질 수 있는 단일 프레임, 장착 표면에 장착되는 제1 촬영기 그리고 장착 표면에 장착되는 제2 촬영기를 포함한다. 스테레오 비전 시스템은 또한 제1 촬영기와 제2 촬영기에 작동 가능하게 커플링되는 프로세서 및 제2 촬영기를 프로세서에 커플링하는 가요성 케이블을 또한 포함할 수 있다. 제1 및 제2 촬영기들은 동일 평면, 평행한 평면들 또는 교차하는 평면들에 배치될 수 있다. 제1 및 제2 촬영기들은 하나 이상의 볼트들 및 핀들을 사용하여 장착 표면에 체결될 수 있다.

작동 시에, 제1 촬영기는 제1 시계로부터 환경의 제1 이미지를 획득하고 제2 촬영기는 제1 시계와는 상이한 제2 시계로부터 환경의 제2 이미지를 획득한다. 프로세서는 제1 이미지 및 제2 이미지로부터 스테레오 이미지 데이터를 발생한다.

본 발명의 또 다른 실시예는 센서 시스템들 및 방법들을 포함한다. 하나의 예에서 센서 시스템은 적어도 하나의 센서, 공동 그리고 적어도 하나의 외부 표면을 형성하는 하우징, 공동 내측이며 외부 표면과 열 전달하는 내부 벽, 공동 내에 배치되고 적어도 하나의 센서에 작동 가능하게 커플링되는 프로세서 및 내부 벽 그리고 프로세서와 열 교류하는 열 전도성 재료를 포함한다. 센서는 프로세서가 처리하는 센서 데이터를 제공한다. 그리고 열 전도성 재료는 프로세서에 의해 발생되는 열은 내부 벽을 통하여 외부 표면으로 전도하여서 프로세서에 의해 발생되는 열을 소실시킨다.

센서는 또한 공동 내에 배치될 수 있고 제1 촬영기 및 제2 촬영기를 포함할 수 있으며, 이들 모두는 예컨대 핀들 및/또는 볼트들을 사용하여 장착 표면에 장착된다. 제1 촬영기는 제1 시계로부터 환경의 제1 이미지를 획득하고, 제2 촬영기는 제1 시계와는 상이한 제2 시계로부터 환경의 제2 이미지를 획득한다.

대안적인 실시예에서 센서 시스템은 센서, 하우징 및 프로세서를 포함한다. 하우징은 공동을 형성하고 적어도 하나의 외부 표면을 형성하는 적어도 하나의 벽을 포함한다. 프로세서는 벽에 접하여 공동 내에 배치되고 센서에 작동 가능하게 커플링된다. 작동 시에, 프로세서는 열을 발생하며, 이 열은 열 전도를 통하여 외부 표면으로 벽을 통하여 소실된다.

본 발명의 실시예는 스테레오 비전 시스템들 및 방법들을 포함한다. 하나의 예에서 스테레오 비전 시스템은 하우징, 하우징 내에 배치되는 제1 센서 어레이, 하우징 내에 배치되는 제2 센서 어레이 및 하우징 내에 배치되는 광원을 포함한다. 작동 시에, 제1 센서 어레이는 하우징 내의 제1 구멍을 통하여 제1 시계로부터 환경의 제1 이미지를 획득하고 제2 센서 어레이는 하우징의 제2 구멍을 통하여 제1 시계와는 상이한 제2 시계로부터 환경의 제2 이미지를 획득한다. 광원은 하우징의 제3 구멍을 통하여 하우징 외측의 환경을 비춘다. 일부 예들에서 스테레오 비전 시스템은 제1 센서 어레이 상에 환경의 제1 부분을 이미징하기 위해, 제1 구멍에 배치되고 제1 센서 어레이와 광 통신하는 제1 렌즈 그리고 제2 센서 어레이 상에 환경의 제2 부분을 이미징하기 위해, 제2 구멍에 배치되고 제2 센서 어레이와 광 통신하는 제2 렌즈를 또한 포함한다.

전술한 컨셉들 및 이하에 더 상세하게 논의될 부가적인 컨셉들(이러한 컨셉들이 상호적으로 일치하지 않는다면)의 모든 조합들이 본원에 개시되는 본 발명의 요지의 일부로서 고려되는 것이 이해되어야 한다. 특히, 본 개시의 끝에 나타나는 청구된 요지의 모든 조합들은 본원에 개시된 본 발명의 요지의 일부인 것으로 고려된다. 인용에 의해 포함된 임의의 개시에 또한 나타날 수 있는 본원에 명확하게 이용된 용어들은 본원에 개시된 특별한 컨셉들과 가장 일치하는 의미를 따라야 하는 것이 또한 이해되어야 한다.

본 특허 또는 출원 파일은 컬러로 실행된 적어도 하나의 도면을 갖는다. 컬러 도면(들)을 갖는 본 특허 또는 특허 출원 공보는 요청시 그리고 필요한 요금의 지불 시에 사무국에 의해 제공될 것이다.
통상의 기술자는 도면들은 주로 예시의 목적을 위한 것이며 본원에 설명된 본 발명의 요지의 범주를 제한하려는 것이 아님을 이해할 것이다. 도면들은 반드시 축척대로일 필요는 없으며, 일부 예들에서, 본원에 개시된 본 발명의 요지의 다양한 양태들이 상이한 특징부들의 이해를 용이하게 하기 위해 도면들에서 과장되거나 확대되어 도시될 수 있다. 도면들에서, 유사한 참조 부호들은 일반적으로 유사한 특징부들(예컨대, 기능적으로 유사하고/하거나 구조적으로 유사한 요소들)을 나타낸다.
도 1a는 본 발명의 실시예들에 따른 레이저 스캐닝 장치에 장착되는 레이저 범위 측정기 및 프레임에 장착되는 스테레오 비전 센서들을 포함하는 다중 감지 스테레오 비전 시스템을 도시한다.
도 1b는 본 발명의 실시예들에 따른 도 1a에 도시된 다중 감지 스테레오 비전 시스템의 블록 다이어그램이다.
도 2a는 본 발명의 실시예들에 따른 다중 감지 스테레오 비전 시스템의 다른 구성요소들 및/또는 레이저 범위 측정기와 스테레오 센서 헤드를 정렬하기 위한 평행 핀(dowel pin)들을 도시하는 스테레오 센서의 사시도이다.
도 2b 및 도 2c는 본 발명의 실시예들에 따른 레이저 조립체를 위한 정렬 평행 핀들 또는 다른 부착물들을 포함하지 않는 스테레오 센서 헤드의 사시도들이다.
도 3a 내지 3d는 본 발명의 실시예들에 따른 단일 프레임을 갖는 스테레오 센서 헤드, 광원들 및 스테레오 카메라들을 위한 별개의 구멍들 및 렌즈들, 내부 열 전도 벽 그리고 전자기기들로부터 열을 내보내기 위한 열 전도성 패드의 절개도들이다.
도 4a 및 도 4b는 본 발명의 실시예들에 따른 스테레오 센서 헤드 내측의 센서 조립체 및 관 구성요소 트레인의 절개도들이다.
도 5a 내지 도 5d는 본 발명의 실시예들에 따른 스테레오 센서 헤드에서의 사용을 위한 전자기기 조립체에 정합되는 광학 조립체의 사시도들이다.
도 6a 및 도 6b는 각각 본 발명의 실시예들에 따른 스테레오 센서 헤드에서의 사용을 위한 전자기기 조립체의 평면도 및 입면도이다.
도 7a 및 도 7b는 각각 본 발명의 실시예들에 따른 다중 감지 스테레오 비전 시스템에서의 사용을 위해 적절한 대안적인 스테레오 센서 헤드의 사시도 및 절개도이다.
도 8a 내지 도 8d는 본 발명의 실시예들에 따른 레이저 스캐너 및 구동 트레인의 도면들이다.
도 9a 내지 도 9c는 본 발명의 실시예들에 따른 글로벌 또는 세미 글로벌 블록 매칭 알고리즘을 사용하여 스테레오 데이터를 처리하도록 구성되는 프로세서(예컨대, 필드 프로그램 가능 게이트 어레이(FPGA))를 예시한다.
도 10은 스테레오 센서 교정을 위한 프로세스를 예시하는 흐름도이다.
도 11은 레이저 센서(LIDAR) 교정을 위한 프로세스를 예시하는 흐름도이다.
도 12는 스테레오 센서 교정을 위한 레이저를 위한 프로세스를 예시하는 흐름도이다.
도 13a 내지 도 13d는 스테레오 이미징 시스템에서의 좌측 및 우측 카메라에 의해 획득되는 4 개의 이미지를 도시한다: 좌측 카메라에 의해 획득되는 제1 이미지(도 13a); 우측 카메라에 의해 획득되는 제1 이미지(도 13b); 좌측 카메라에 의해 획득되는 제2 이미지(도 13c); 및 우측 카메라에 의해 획득되는 제2 이미지(도 13d).
도 14a는 도 13a 및 도 13b에 도시된 이미지를 기초로 한 변위 맵을 도시한다.
도 14b는 도 13c 및 도 13d에 도시된 이미지를 기초로 한 변위 맵을 도시한다.
도 15는 좌측 및 우측 이미지들(각각 상부 좌측 및 우측)로부터의 입력 이미지 정보(각각 하부 좌측 및 우측)를 갖는 또는 갖지 않는 변위 맵의 합성을 예시한다.
도 16a 및 도 16b는 각각 도 14a 및 도 14b의 변위 이미지들에 겹쳐진 이미지 데이터를 도시한다.
도 17a 및 도 17b는 각각 도 14a 및 도 14b에 도시된 변위 맵의 3 차원 투영도들을 도시한다.
도 18a 및 도 18b는 각각 센서를 방해하는 연기가 있는 및 연기가 없는 스테레오 이미지 데이터 및 레이저 포인트 클라우드 데이터로부터 합성되는 이미지를 도시한다.

지금까지, 3D 스테레오 시스템 및 3D LIDAR 시스템들은 많은 분야들에 대하여 너무 크고, 너무 무겁고 너무 많은 전력을 소비해 왔다. 본 발명의 실시예들은 이러한 문제들을 다양한 방식들로 다루며; 일부 예들에서, 그 결과는 소형 로봇들, 차량들, 휴머노이드들 그리고 센서 크기, 중량 및 전력 소비에 제한들을 갖는 다른 환경들에서 이용되기에 충분히 작고, 충분히 가볍고 그리고 충분히 낮은 전력인 3D 센서이다. 종래의 센서들과 비교하면, 예시적인 3D 감지 시스템들은 거의 더 작은 승수이고 거의 10 배 더 적은 전력을 소비하는 유사한 또는 확장된 감지 능력들을 패키지로 제공한다. 일부 실시예들에서, 감소된 전력 소비 및 크기는 매립된 FPGA, 일체형 장착 및 구조적 프레임들, 콤팩트하고 효율적인 열 디자인, 그리고 콤팩트하고, 저전력 및 자체 보호 구동 트레인을 통하여 달성된다.

본 발명의 센서들의 예들은 LIDAR 및 스테레오 데이터를 큰 구역의 맵핑에 특히 유용한 단일 데이터 스트림으로 융합한다. LIDAR 데이터는 정확한 경향이 있지만 때때로 환경에서의 레이저의 위치의 연속적인 포즈 추정 없이 함께 합치기에 충분히 고밀도가 아니다. 스테레오 데이터는 충분히 고밀도인 경향이 있으며 시각적 주행 거리 측정 또는 3D 특징부 매칭 및 추적을 통하여 연속적인 포즈 추정을 제공하기에 충분한 프레임율을 갖는다. 부가적으로, 스테레오 데이터는 LIDAR 데이터를 검사하고 보정하는데 사용될 수 있으며 그 역도 가능하고, 이는 단독 기기들로서 존재할 수 있는 것보다 더 기하학적으로 정확하고, 안정적이고 건실한 시스템을 초래한다.

다중 감지 스테레오 비전 시스템

도 1a 및 도 1b는 콤팩트하고, 경량의 레이저 스캐닝 메커니즘(300)을 통하여 LIDAR 에 기계적으로 커플링되는 스테레오 센서 헤드(200)를 포함하는 예시적인 다중 감지 스테레오 비전 시스템(100)을 도시한다. 시스템(100)은 또한 가시 및/또는 적외선(IR) 발광 다이오드(LED)(400)를 포함한다. 도 1a에 도시된 바와 같이, 스테레오 센서 헤드(200)는 각각의 윈도우(202a 및 202b)(총괄하여, 윈도우(202))들 뒤에 장착되는 카메라(210a 및 210b)(총괄하여, 카메라(210))들을 포함한다. 스테레오 센서 헤드(200)는 또한 수직으로 장착된 LED(400)들의 상을 포함하며, 이들 각각은 그 자체의 각각의 윈도우에 장착된다.

도 1b는 도 1a에 도시된 스테레오 비전 시스템(100)의 블록 다이어그램이다. 카메라(210)들 외에 스테레오 비전 시스템(100)은 또한 LED 구동기 모듈(410) 그리고 적절한 버스를 통하여 서로 직접 작동 가능하게 커플링되고 또한 커넥터(102)를 통하여 또는 다른 적절한 버스를 통하여 하나 이상의 외부 구성요소들에 작동 가능하게 커플링되는 프로세싱 모듈(500)을 포함한다. LED 구동기 모듈(410)은 퓨즈 및 필터(412) 그리고 메인 보드(500)에 함께 전력을 제공하는 12 볼트 DC-투-DC 컨버터(414)를 포함한다. 복수의 LED 구동기(402)들이 각각의 LED(400)들을 구동하기 위해 융합되고 필터링된 전력을 끌어온다. 프로세싱 모듈(500)은 도 1b에 필드 프로그램 가능한 게이트 어레이(FPGA)로서 도시된 프로세서(510) 뿐만 아니라 메모리(도시되지 않음), 데이터 연결부(512)들, 보조 입력부들 및 출력부들(514) 그리고 관성 측정 유닛(IMU) 구성요소(516)들, 및 전력 모니터(518)를 포함한다. 통상의 기술자에 의해 쉽게 이해되는 바와 같이, 프로세싱 모듈(500)은 FPGA 대신 또는 FPGA 외에 주문형 반도체(ASIC)와 같은 다른 구성요소들을 또한 포함한다.

도 1b는 각각의 카메라(210)가 CMOSIS CMV2000/4000 센서들과 같은 각각의 촬영기(212a 및 212b)(총괄하여, 촬영기(212)들); 각각의 촬영기 인쇄 회로 보드(PCB)(214a 및 214b)(총괄하여, 촬영기 PCB(214)들); 그리고 각각의 윈도우(216a 및 216b)(총괄하여, 윈도우(216)들)를 포함하는 것을 도시한다. 카메라(210)들은 도 1b에 도시된 바와 같이 각각 트리거 및 신호 라인들을 통하여 프로세싱 유닛(500)의 프로세서(510)에 작동 가능하게 커플링된다.

스테레오 카메라 조립체

센서들 및 광학 기기(통일된 광학 프레임/하위 조립체)에 대한 인쇄 회로 보드(PCB)들의 핀 연결(pinning) 및 레지스터링(registering)

스테레오 시스템의 제조의 하나의 어려운 점은 시간에 걸친 교정 모델의 정확성을 보장하는 것이다. 렌즈 또는 촬영기의 임의의 이동은 광 왜곡 또는 이동을 야기할 수 있어서 교정 모델은 이 유닛의 특징에 더 이상 매칭되지 않는다. 이는 좌측 이미지로부터 우측 이미지로의 특징부들의 매칭에서 어려움을 초래하고 결과적인 변위 맵의 정확도 및 완성도의 손실을 초래한다.

전통적으로, 스테레오 카메라들은 공통 하우징에 대하여 별개로 장착된 카메라들을 갖는다. 이러한 2 개의 카메라들 사이의 정렬은 따라서 볼트들, 평행 핀들 또는 양자에 의해 유지된다. 촬영기에 대한 각각의 카메라 렌즈 내의 정렬은 또한 볼트들, 평행 핀들 또는 양자에 의해 유지된다. 각각의 이러한 위치들에는 구성요소들의 이동 및 교정 정확성의 손실을 야기하는 외부 충격에 대한 가능성이 있다.

본 발명의 스테레오 카메라 센서 유닛들은 촬영기들 도는 렌즈들의 이동을 방지하기 위한 복수의 디자인 수단들을 포함한다. 먼저, 별개의 구성요소 장착 대신 단일 피스 광 서브 프레임이 사용된다. 이는 양쪽의 촬영기들과 양쪽의 렌즈들이 단일 기계가공된 구성요소에 직접 장착되는 것을 의미한다. 이는 기존의 별개의 장착보다 더 정확한 최초 장착, 그리고 시간에 걸친 더 정확한 정렬을 가능하게 한다.

예컨대, 촬영기들은 이들이 광 서브 프레임의 단일 표면에 직접 볼트 연결되기 때문에, 서로 평면에 있는 것이 보장된다. 기존의 별개의 장착은 하나의 촬영기가 다른 촬영기의 전방 또는 후방에, 또는 약간의 각도로 기울어지는 것을 가능하게 한다. 비록 이러한 종류의 장착 에러들이 시스템의 교정 모델에 요인이 될 수 있고 이들의 효과들이 결과적인 데이터로부터 제거될 수 있지만, 정확한 렌즈 및 촬영기 정렬을 갖는 것이 더 좋을 수 있다.

부가적으로는, 광 서브 프레임은 별개의 장착보다 시간에 걸쳐 더 양호한 교정 정확성을 유지한다. 이는 렌즈와 촬영기 사이 그리고 좌측 및 우측 렌즈/촬영기 쌍들 사이의 볼트들 또는 평행 핀들의 수의 감소로 인한 것이다. 연결부들의 수가 적어질수록, 시스템은 더 견고해지고, 장착 및 정렬은 시간에 걸쳐 더 안정적이다.

도 2a는 스테레오 센서 헤드(200)의 사시도이며 플라스틱, 금속 또는 임의의 다른 적절한 재료로 만들어질 수 있는 센서 헤드 외부 하우징(204)을 도시한다. 하우징(204)은 재료의 단일 피스로 몰딩되거나 기계가공될 수 있거나 또는 다중 피스들로 형성될 수 있다. 하우징(204)은 스테레오 센서 헤드(200)를 레이저 스캐닝 메커니즘(300)(도 1a)에 정렬하기 위해 레이저 스캐닝 메커니즘(300) 및/또는 다른 특징부들 상의 리셉터클들(도시되지 않음)에 끼워지는 평행 핀(206a 및 206b)(총괄하여, 평행 핀(206)들)을 포함한다. 하우징(204)은 센서 헤드(200)로부터 외부 전력 공급부, 프로세서, 메모리, 안테나, 통신 인터페이스 또는 다른 전기 및/또는 기계적 구성요소로 뻗어있는 케이블을 위한 밀봉된 통로(208) 또는 다른 구멍을 또한 형성할 수 있다.

도 2b 및 도 2c는 레이저 조립체를 위한 정렬 평행 핀들 또는 다른 부착물들을 포함하지 않는 스테레오 센서 헤드(250)의 도면들을 도시한다. 도 2a에 도시된 스테레오 센서 헤드(200)와 유사하게, 스테레오 센서 헤드(250)는 재료의 단일 피스로 몰딩되거나 기계가공되거나 또는 다중 피스들로 형성될 수 있는 하우징(254)을 포함한다. 조립될 때, 하우징(254)은 카메라(210)들 및 연관된 전자 기기(도시되지 않음)를 유지하기 위한 공동 그리고 카메라(210)들, 광들, 전력/데이터 커넥터(102)들 및 LED 커넥터들을 위한 구멍들을 형성한다.

도 7a 및 도 7b는 도 2a에 도시된 하우징(204)보다 더 넓은 하우징(704)을 갖는 대안적인 스테레오 비전 시스템(700)을 도시한다. 하우징(704)은 그의 후방 패널 상의 정적인 O-링들, 질소 퍼지 밸브 및/또는 압력 밸브에 의해 밀봉될 수 있다. 하우징(704)은 정확한 위치지정을 위해 평행 핀들 및 중실 본체 키-잠금 인서트(또한 도 2c의 더 좁은 하우징(204)의 좌측 및 우측 후방 에지들에서 볼 수 있음)들을 갖는 장착부(706)들을 포함한다. 이러한 하우징(704)은 또한 각각의 카메라(710a 및 710b)(총괄하여, 카메라(710)들)들을 위한 한 상의 윈도우(702a 및 702b)(총괄하여, 윈도우(702)들)들을 포함한다. 이러한 카메라(710)들은 커넥터(720a 및 720b)들에 연결되는 하나 이상의 가요성 리본 케이블들을 통하여 프로세서에 커플링될 수 있다. 다른 예들에서와 같이, 윈도우(702)들은 낮은 광 왜곡을 갖는 내충격 유리 또는 플라스틱으로 만들어질 수 있다. 하지만 이러한 경우, 윈도우(702)들 및 카메라(710)들은 더 넓은 베이스라인을 제공하기 위해 더 넓게 분리되고, 이는 결국 3D 깊이 정확성을 개선하고 사용 가능한 범위를 증가시킨다. 게다가. 하우징(700)은 카메라(710)들 사이에 수평으로 분산되는 각각의 윈도우(714)들 뒤에 4 개의 LED 어레이(712)들을 갖는다. 이러한 LED 어레이(712)들은 개선된 이미징 정확도 및 정확한 포커스 조정을 위해 가시 조명, IR 조명 또는 가시 및 IR 조명의 조합을 제공할 수 있다.

필드 프로그램 가능한 게이트 어레이들로부터 열을 전도하기 위한 열 전도성 패드들

시스템의 가장 큰 열 발생기는 프로세서(510)이며, 이는 메인 프로세싱 필드 프로그램 가능한 게이트 어레이(FPGA) 또는 주문형 반도체(ASIC)를 포함할 수 있다. 적절하게 냉각되지 않는다면, 프로세서(510)는 과열될 수 있고 시스템이 상승된 주변 온도들에서 작동된다면 물리적 손상을 겪을 수 있다. 프로세서(510)가 밀봉된 하우징 내측에 있기 때문에, 프로세서(510)로부터 열을 제거하는 것은 어려울 수 있다.

도 3a 내지 도 3d는 센서 헤드(200)의 절개도들을 도시한다. 이러한 도면들은 프로세싱 유닛(500), 촬영기(212)들 및 촬영기 PCB(214)들을 포함하는 전자기기 조립체(600)(도 6a 및 도 6b에 더 상세하게 도시됨)를 도시한다. 도 3a 및 도 3c에 도시된 바와 같이, 단일 프레임(240)은 각각 이들 각각의 광학 기기(도 4a에 도시된 렌즈(230)(들))와 적절하게 촬영기(212)를 유지한다. 단일 프레임(240)은 온도 변동들이 스테레오 이미징 정밀도에 영향을 미치는 것을 방지하기 위해 촬영기(212)들이 서로에 대하여 정렬된 채로 남아있는 것을 보장하기 위해 비교적 낮은 열 팽창 계수를 갖는 재료의 단일 피스(예컨대, 플라스틱 또는 금속 피스)로 기계가공, 몰딩 또는 다른 방식으로 제작될 수 있다. 프레임(240)은 촬영기(212) 및 이들에 부착된 PCB(214)들이 볼트 연결되는 별개의 평면 내 장착 표면(260)들 또는 단일 연속적인 장착 표면을 가질 수 있다. 하나의 단일 프레임(240) 상의 평면 내 장착 특징부(260)들에 촬영기(212) 및 촬영기 PCB(214)들의 볼트 연결 및 핀 연결은 촬영기(212)들의 장착 정확성 및 장착 안정성을 개선하고, 이는 시스템의 교정이 시간에 걸쳐 더 정확하기 때문에 더 높은 품질의 3D 데이터를 초래한다. 특정 실시예들에서, 전자기기 조립체(600)는 촬영기(212)들과 광학 기기들 사이의 더 큰 정렬 정밀도를 위해 단일 프레임(240)에 직접 장착된다.

도 3a 내지 도 3d는 하우징(204)에 일체형인 열 전도 벽(280)과 프로세서(510)(예컨대 ASIC 또는 FPGA) 사이의 열 전도성 패드(282)를 또한 도시한다. 이러한 내부 벽(280)은 외부 환경에 직접 노출되지 않지만, 많은 외부 면들을 갖는 하우징(204)의 일부이다. 그리하여, 프로세서(510)로부터의 열은 패드(282)를 통하여 지나가고, 내부 벽(280)을 가열한다. 열은 이 벽(280)을 통하여 하우징(204)의 나머지로 유동하고, 이는 그의 많은 외부 면들을 통하여 열을 외측 세계로 소실시킨다. 일부 경우들에서, 외부 벽은 증가된 열 소실을 위해 하나 이상의 후미부(fin)(724)(도 7b)를 포함할 수 있다. 전체적으로, 이러한 디자인은 열원(예컨대, 프로세서(510))과 외측 세계 사이의 낮은 임박함을 갖는 열 경로를 생성한다. 이는 팬(fan)과 같은 임의의 능동적인 냉각 수단을 요구하지 않으며, 이는 시스템의 밀봉 온전함을 유지한다. 다른 실시예들에서, 하우징(204)은 프로세서(510)가 외부 벽에 접하도록 구성될 수 있으며, 이는 프로세서(510)와 외부 공기 사이의 열 경로의 길이를 감소시킨다.

스테레오 비전을 위한 광학 조립체

도 4a, 도 4b 그리고 도 5a 내지 도 5d는 스테레오 센서(200)의 카메라(210)들 중 하나를 위한 광학 조립체(220)의 다양한 도면들을 도시한다. 도 4a에 도시된 바와 같이, 광학 하위 조립체 광학 기기(220)는 촬영기(212) 상으로 장면을 이미징하기 위해 하나 이상의 렌즈(230) 및/또는 다른 광학 요소들을 포함한다. 광학 하위 조립체(220)는 O-링 밀봉부(222)를 사용하여 하우징(204)에 대하여 위치되는 커스텀 윈도우(202)를 또한 포함한다. 발포체(226)는 광을 차단하고 이미지 품질을 저하시킬 수 있는 반사들을 방지하며 포커스 심(focus shim)(228)들은 렌즈(230)를 하우징(204) 및 촬영기(212)에 대하여 제 위치로 유지한다. 평행 핀(262)들은 단일 프레임(240)에 대하여 각각의 촬영기(212)를 정렬시키고, 볼트(264)들은 촬영기(212)들을 단일 프레임(240)에 체결한다.

광들 및 센서 렌즈들을 위한 별개의 윈도우들

도 7a 및 도 7b에 도시된 바와 같이, 스테레오 센서 헤드(700)는 촬영기 광학 기기 및 시스템 조명을 위한 별개의 광학 윈도우들을 가질 수 있다. 외부로의 조명은 부분적으로는 윈도우로부터 광원(예컨대, 발광 다이오드)을 유지하는 공동으로 반사될 수 있거나 윈도우 자체에 의해 흡수될 수 있다. 윈도우들 내측의 조명 손실은 먼지, 물, 오물 또는 임의의 다른 잔해들 - 심지어 빔 출구 위치로부터 선형으로 오프셋된 잔해들을 비춘다. 따라서, 이미징 광학 기기와 동일한 윈도우 뒤의 조명은 시스템 렌즈들의 시야의 잔해를 비추고, 이는 비춰지지 않은 잔해들보다 더 많은 장면의 간섭을 야기할 수 있다. 손실 조명이 이미지 품질을 저하시키는 것을 방지하기 위해, 시스템은 렌즈들 및 조명 전방에 별개의 윈도우들을 이용한다.

조명원(LED, 712)의 전방의 윈도우(714)들은 어느 정도 광을 분산시키기 위해 흐려질 수 있다. 흐려짐은 그림자들의 선명도를 감소시키고 나오는 광이 더 부드럽고 덜 강하게 되는 것을 야기하며, 광 분포에서의 "핫 스폿(hot sopt)들"을 감소시킨다. 이러한 분산 광은 더 균일한 조명을 제공하고 그림자들을 감소시킴으로써 스테레오 알고리즘이 좌측으로부터 우측으로 특징부들을 매칭하는 것을 더 용이하게 할 수 있다.

광

시스템의 조명의 시야는 렌즈들 및 촬영기들의 시야와 밀접하게 매칭된다. 이는 시스템이 사용자 또는 스테레오 카메라에 광학적으로 보이지 않는 장면의 일부들을 비추는 전력을 낭비하지 않는 것을 의미한다. 그 결과, 시스템 전력 효율이 더 높다.

시스템은 가시 조명, 적외선 조명 또는 양쪽의 가시 및 IR 조명을 제공하는 소스들을 포함할 수 있다. 촬영기들은 IR 민감성이고, IR 조명을 위한 옵션은 시스템이 가시 광 없이도 야간에 작동하는 것을 가능하게 한다.

다양한 베이스라인들을 가능하게 하는 분리 가능한 촬영기 보드

도 6a 및 도 6b는 전자기기 조립체(600)를 더욱 상세하게 도시한다. 전자기기 조립체(600)는 이미지 센서 어레이(212), 이미지 센서 PCB(214)들 그리고 프로세싱 유닛(500)을 포함한다. 이러한 구성요소들은 메인 논리 PCB(290)에 기계적으로, 열적으로 그리고 전기적으로 커플링되고, 이는 또한 능동적인 전자기기 구성요소들 및 다양한 데이터 및 전력 연결부(294)들에 전력을 제공하는 전력 공급부(292)를 지지한다. 도 6a에 도시된 바와 같이, PCB(290)는 비교적 작을 수 있고, 약 4 인치의 길이 및 약 2 인치의 높이를 갖는다.

촬영기 인쇄 회로 보드(PCB)들은 메인 논리 PCB(290) 및 프로세서 PCB(프로세싱 모듈)(500)로부터 분리되고, 이는 더 긴밀한 시스템 팩킹(packing) 뿐만 아니라 새로운 시스템 베이스라인(기하학적)으로의 더 쉬운 적응을 가능하게 한다. 도 6a 및 도 6b에 도시된 바와 같이, 메인 논리 PCB(290) 안으로 직접 플러깅하는 촬영기 PCB(214) 대신, 하나 또는 양쪽의 촬영기 PCB(214)들은 가요성 리본 케이블 또는 다른 적절한 가요성, 팽창 가능 또는 연장 가능한 커넥터를 통하여 메인 논리 PCB(290)에 연결될 수 있다. 예컨대, 도 7b는 가요성 리본 케이블을 통하여 촬영기(라벨이 붙여지지 않음)들을 메인 논리 PCB(298)에 커플링하기 위한 커넥터(720a 및 720b)들을 도시한다. 이러한 케이블들은 다양한 길이들로 생성될 수 있으며, 시스템 베이스라인들이 수 인치들로부터 수 피트(feet)(예컨대, 6 내지 10 피트)로 변하는 것을 가능하게 한다. 프로세서 논리(500)는 프로세서(510)와 좌측 및 우측 카메라(210)들 사이의 전기 길이 차이에 따라 약간 변한다. 전기 길이 차이를 고려하기 위해, 프로세서(510)는 더 가까운 카메라(예컨대, 카메라(210B))에 트리거 신호를 전송하기 바로 전에(예컨대, 수 나노 초 전에) 더 먼 카메라(예컨대, 카메라(210a))에 대한 트리거 신호를 전송할 수 있으며 이에 의해 카메라(210)들이 동시에 각각의 트리거 신호들을 수신한다. 부가적으로, 프로세서(FPGA)(510) 상의 클록 회복 논리는 좌측 카메라와 우측 카메라(210) 사이의 클록 오프셋들을 보상하기 위해 유사하게 수정될 수 있다. 촬영기(212)들은 또한 가요성 케이블들 및/또는 스테레오 헤드들의 전용 촬영기 PCB 들의 사용 없이 이러한 배열을 지지하기에 충분히 넓은 베이스라인들을 가지면서 메인 논리 PCB(290)에 직접 장착될 수 있다.

레이저 범위 측정기 및 레이저 스캐닝 메커니즘

도 8a 내지 도 8d는 낮은 전력 드로우(예컨대, 약 2 와트 내지 약 15 와트), 낮은 회전 속도(예컨대, 0 내지 60 rpm) 그리고 낮은 스핀들 백래시(backlash)(예컨대, 약 0.1 도 내지 약 0.5 도)로 작동하는 콤팩트한, 가벼운 레이저 스캐닝 메커니즘(300)을 도시한다. 작동 시에, 레이저 스캐닝 메커니즘(300)은 제1 축선(3)을 중심으로 레이저(310)를 왕복운동시키거나 연속적으로 회전시켜서 보통의 2D 레이저 범위 센서들로부터 부분적으로 구형의 3D 범위들을 생성하기 위해 레이저(310)로부터 나오는 평면형 레이저 빔(예컨대 최대 약 180 또는 270도)을 스윕 또는 스캔한다. 레이저 빔은 위험을 생성하지 않으면서 신뢰할 수 있게 검출 가능한 복귀를 발생하기에 충분히 높은 전력에서 아이 세이프(eye-safe) 파장(예컨대, 950 ㎚와 같은, 스펙트럼의 거의 적외선 부분의 파장)일 수 있다. 스폿 크기 및 빔 발산 각도는 광학 기기 분야에서 이해되는 바와 같이 정확한 범위를 보장하도록 선택될 수 있다.

레이저 스캐닝 메커니즘(300)은 외부 세계와 메커니즘 공동(321) 사이의 제1 밀봉부(380) 그리고 메커니즘 공동(321)과 전자기기 공동(323) 사이의 제2 밀봉부(337)를 포함한다. 이는 또한 전기가 통과하는(도 8b의 와이어 통로(360)) 연속적인 스핀들 회전을 제공한다. 스캐닝 메커니즘(300) 및 그의 기어트레인은 외부 하중들, 특히 작은 기어 치형부를 손상시킬 수 있는 쇼크들 및 충격들로부터 보호된다.

일 실시예에서, 스캐닝 메커니즘(300)은 단일 스테이지 웜 감소 기어링을 포함한다. 단일 맞물림에서의 높은 기계적 감소(예컨대, 50 : 1)로 인해, 낮은 백래시가 얻어질 수 있다. 부상(floating) 웜(330)은 개선된 백래시를 제공하며, 이는 표준 웜 구동트레인에 걸친 메커니즘의 부품들 사이의 유격의 정도인데 이는 조립체가 제 위치에 볼트 연결되기 전에 기어 위치들의 조정이 가능하기 때문이다. 이러한 부상 웜(330)은 모터(352)를 갖는 하위 조립체(332), 웜 축(331), 밀봉된 베어링(340)들, 및 하위 조립체(332) 및 다른 구성요소들을 갖는 하우징(370)을 포함한다. 하위 조립체(332)는 센서 유닛 안에 설치되고 그의 웜(330)은 큰 웜 기어(324)와 맞물린다. 백래시는 하위 조립체(332)의 작은 이동들에 의해 좌측 그리고 우측, 위 그리고 아래로 조정될 수 있다. 일단 백래시가 감소되거나 최소화되면, 하위 조립체(332)는 하나 이상의 웜 장착 볼트(334)들에 의해 제 위치로 잠금된다.

스캐닝 메커니즘(300)은 유연 모터 장착부(350), 축(331) 상의 2 개의 베어링들 그리고 축(331) 안으로 프레스되는 모터 샤프트 상의 2 개의 베어링들을 포함한다. 작동 시에, 유연 모터 장착부(350)는 축(331)의 과한 강요를 방지한다. 이는 유연 모터 장착부(350)가 모터 및 모터 샤프트가 축방향으로 그리고 방사방향으로 이동하는 것을 가능하게 하면서, 회전에 저항하고 토크가 웜 축(331)으로 전달되는 것을 가능하게 한다. 유연 모터 장착부(350)는 강, 플라스틱 또는 임의의 다른 적절한 재료로 만들어질 수 있다.

웜(330) 및 웜 기어(324)를 갖는 기계적 공동(321)과 모터(352)를 갖는 전자기기 공동(323) 사이의 밀봉을 유지하기 위해, 스캐닝 메커니즘(300)은: 메인 스핀들(322) 상의 밀봉된 베어링들; 부상 웜 하위 조립체(332) 상의 밀봉된 베어링들; 및 부상 웜 하우징(336) 내부로 디자인되며 메인 하우징(370)을 밀봉하면서 또한 부상 웜 조립체(332)가 약간 이동되는 것을 가능하게 하여서 백래시 조정을 가능하게 하는 정적 보어 밀봉부를 포함한다. 게다가, 슬립 링(326)이 전기가 통과하는 연속적인 기계적 회전을 가능하게 하기 위해 시스템의 중공 스핀들(322) 안으로 매립된다.

웜 기어(324)의 슬립핑 클러치(325)는 외부 비틀림 충격 또는 쇼크 하중들의 경우 기계적 손상으로부터 웜 기어의 치형부 및 웜의 치형부를 보호한다. 슬립핑 클러치(325)는 스핀들(322)과 웜 기어(330) 사이에 끼워지는 마찰 패드(328), 웜 기어(324)를 마찰 패드(328)로 프레스하는 하나 이상의 스프링(388)들, 그리고 스프링(388)(들)을 압축하는 일련의 스페이서(심 적층(386)) 및 베어링들을 포함한다. 마찰 패드(328)는 유리 섬유, G10 Garolite, 브레이크 패드 재료 또는 높은 마찰, 적거나 없는 압축성, 높은 표면 내구성 및 강도(마모를 방지하기 위해)를 나타내는 임의의 재료로 만들어질 수 있다. 웜 기어(324), 마찰 패드(328) 그리고 스핀들(322) 사이의 회전 드래그 미만의 회전 하중들은 모든 피스들이 단단하게 함께 볼트 연결되어 있다면 이러한 시스템을 통하여 전달된다. 하지만 더 큰 회전 하중들이 웜 기어(324)가 스핀들(322)에 대하여 미끄러지기 시작하는 것을 야기하고 따라서 웜(330) 및 웜 기어 치형부는 심지어 쇼크 하중들이라도, 높은 하중들에 노출되지 않는다. 이러한 슬립핑 클러치는 시스템이 전력이 공급된 이동 하에 있을 때 그리고 시스템이 전력이 중단될 때 작동한다. 일단 높은 하중 조건이 제거되면, 기어트레인은 사건이 발생하지 않으며, 구성요소들이 교체되거나, 재설정되거나 수리될 필요가 없다면 정상 회전을 재개한다.

도 8c 및 도 8d는 구동트레인이 레이저 데이터를 3D 공간으로 정확하게 투영하기 위해 스핀들 위치를 측정하기 위해 절대 샤프트 위치 엔코더(392) 및 엔코더 장착부(390)를 또한 포함할 수 있는 것을 도시한다. 커스텀 엔코더 장착부(390)는 스핀들(322)에 볼트 연결되고 정렬되는 플랜지를 포함한다. 절대 샤프트 위치 엔코더(392)는 커스텀 엔코더 장착부(390)와 스핀들(322) 사이에 끼이는 천공된 또는 마킹된(marked) 링을 포함한다. 작동 시에, 포토다이오드(photodiode) 또는 다른 센서가 스핀들의 각도 위치의 표시를 제공하기 위해 절대 샤프트 위치 엔코더(392) 상의 마킹을 감지한다.

프로세서 이행

도 9a 내지 도 9c는 본 발명의 센서 유닛들에 사용하기에 적절한 FPGA 또는 ASIC 를 사용하는 프로세서(510)의 이행을 예시한다. 이러한 프로세서 이행은 스테레오 카메라(200)를 위한 이미지 센서(210)들에 대한 하나 이상의 촬영기 인터페이스(520a 및 520b)(총괄하여, 인터페이스(520)들)들을 포함한다. 예비 프로세싱 블록(522a 및 522b)(총괄하여, 예비 프로세싱 블록(522)들)들은 이미지 센서(210)들로부터 저전압 차등 신호(LVDS) 라인들에 걸쳐 직렬화된(serialized) 데이터를 수신하고 프로세싱 파이프 라인의 나머지를 위한 표준 평행 묘사로 이 직렬화된 데이터를 변환한다. 촬영기 인터페이스(520)는 동적 클록/데이터 정렬을 수행한다. 이들은 또한 유입하는 시리얼 데이터의 공지된 형태로의 잠금 및 직렬화된 데이터의 에러들의 검출에 대하여 또한 반응적일 수 있다.

도 9b에 예시된 바와 같이, 예비 프로세싱 블록(522)들은 또한 이하를 포함하지만 이에 제한되지는 않는, 다양한 예비 프로세싱 업무들 중 임의의 하나를 수행하도록 또한 구성될 수 있다:

- 노이즈 제거(de-noise): 고정식 패턴 노이즈 제거(블록 902) 및 무작위 노이즈 필터링 아웃(블록 914);

- 클립핑(clipping), 블랙 레벌 검출, 자동 노출, 자동 획득 등을 위한 히스토그램 발생(블록 904);

- 선형화: 고 명암비(HDR) 공간으로부터(HDR 이미징이 가능하다면) 선형 세기 공간으로 변환(블록 906);

- 비네트 보정: 렌즈들에 의해 야기된 이미지의 흐린 에지들/코너들에 대한 보정(예컨대, 순람표에 저장된 데이터를 기초로 하여)(블록 908);

- 디모자이크: 예컨대 "그래디언트들의 임계 기본 가변 수를 사용하는 보간법" 알고리즘(VNG)을 사용하여, 베이어(Bayer) 컬러 이미지를 완전한 컬러 이미지로 변환: http://scien.stanford.edu/pages/labsite/1999/psych221/projects/99/ tingchen/algodep/vargra.html (그 전체가 인용에 의해 본원에 포함됨)(블록 910);

- 컬러 공간 변환: 파이프 라인 용도를 위해 센서의 RGB 컬러 공간을 표준 컬러 공간으로 변환(예컨대, RGB 또는 CIELAB)(블록 912);

- 화이트 밸런스: 장면 조명에 매칭되도록 컬러를 조정(블록 912); 및

- 필터링/하위 샘플링: 평활화(smoothing)에 의해 이미지 해상도를 감소시키고 그 후 하위 샘플링(예컨대, 사용자가 최대 해상도보다 더 낮추기를 요구한다면)(블록 916).

도 9c에 도시된 바와 같이, 프로세서(510)는, 예컨대 각각의 카메라에 대한 별개의 정정 블록을 사용하여 또는 좌측 및 우측 스테레오 카메라들에 의해 공유되는 단일 순전한 메모리-투-메모리 블록(524)을 사용하여 카메라(210)들로부터의 데이터에 정정을 또한 수행한다. 이러한 정정 메모리-투-메모리 블록(524)은 직접 메모리 엑세스(DMA) 버스(590)로의 그 자체의 연결부를 가질 수 있다(예비 프로세싱은 또한 DMA 버스에 직접 연결할 수 있다). 프로세서 리소스들을 절약하기 위해, 단일 정정 블록(524)이 좌측 이미지 경로와 우측 이미지 경로 양자 사이에서 공유된다.

정정 모듈(524)은 렌즈들에 의해 유도된 임의의 왜곡을 제거하기 위해 이미지 데이터를 변형시킨다. 팩킹된 명령 스트림이 더 적은 수의 절대 좌표들이 배치된 상대 좌표들의 시퀀스로서 입력 픽셀 좌표들을 효율적으로 엔코딩하는데 사용된다. 명령 디코더(decoder)(952)들이 DMA 버스(590)를 통하여 메모리(514)로부터 이러한 명령 스트림을 판독하고 이를 순수한 절대 픽셀 좌표들의 시퀀스로 디코딩한다. 다른 실시예들은 명령 스트림을 제거함으로써 메모리 대역폭을 절약하기 위해, 그리고 전체 명령 스트림(비싼 프로세스임)을 재생할 필요 없이 교정을 변경하는 것을 가능하게 하기 위해, 교정 파라미터들로부터 직접 좌표들을 동적으로 발생할 수 있다.

도 9c에 도시된 정정 모듈(524) 이행은 소스 이미지를 샘플링하기 위해 이중 선형 보간법을 사용하고, 메모리 엑세스 효율을 개선하기 위해 캐싱(caching)에 의존한다. 멀티 뱅크(multi bank) 캐시(964)는 모든 4 개의 입력 픽셀들(이중 선형 보간법을 위해 요구됨)이 동시에 판독되는 것을 가능하게 한다. 디자인은 완전히 파이프 라인식이고 거의 1 픽셀/사이클의 처리량을 지속할 수 있다. 캐시 태그 색인과 캐시 데이터 판독 사이의 지연 라인은 데이터가 실질적으로 필요하게 되기 전에 캐시 손실들이 해결되는 것을 가능하게 한다.

일부 실시예들에서, 지연 라인은 정정 블록(524)의 전단(954)과 후단(958) 사이에 배치되는 선입선출(first in, first out(FIFO)) 명령 버퍼(960)일 수 있다. 전단(954)은 명령 디코더(952)로부터 픽셀 좌표들을 수신하고, 주어진 출력 픽셀에 대한 입력 픽셀들을 판정하고, 그 후 이러한 입력 픽셀들이 이미 정정 볼록의 캐시(964)에 있는지를 판정하기 위해 정정 블록의 캐시 태그(956)를 검사한다. (캐시 태그(956)는 현재 캐시(964)에 무엇이 있는지를 추적하며, 따라서: 1) 전단(954)은 어떠한 요청들이 DMA 제어기(962)로 전송되는지를 알고; 2) DMA 제어기(962)는 특별한 캐시 입장을 기준으로 하여 특별한 명령들이 더 이상 없을 때를 알며, 그리하여 이는 이러한 입장을 안전하게 겹쳐쓰고; 3) 후단(958)은 DMA 제어기(962)가 캐시(964)로의 페칭(fetching)을 마무리한 때를 안다.) 이러한 입력 픽셀들이 정정 블록의 캐시에 없다면, 전단(954)은 DMA 버스(590)를 통하여 손실된 픽셀(들)을 페칭하도록 메인 메모리(514)에 하나 이상의 판독 요청들을 발행하도록 DMA 제어기(962)에게 지시를 내린다. 후단(958)은 출력 픽셀을 발생하기 위해 입력 픽셀(이중 선형 샘플링을 위한 것들 4 개)들을 사용한다. 메인 메모리가 느릴 수 있고(예컨대, 100 사이클들을 초과하는 지연 시간 때문에), 후단(958)의 지체(stalling)는 바람직하지 않을 수 있기 때문에(예컨대, 바람직한 평균 처리량이 파이프 라인 이동을 평활하게 유지하기 위해 1 픽셀/사이클에 근접할 수 있기 때문에), 메인 메모리로부터의 손실된 픽셀들을 페칭하는 것과 연관된 지연 시간을 숨기는 것이 바람직할 수 있다.

일부 이행들에서, 정정은 분기 또는 상호 픽셀 의존성들 없이, 매우 순차적 프로세스이어서, 메모리 지연 시간의 숨김은 전단으로부터 후단으로 가는 명령들을 지연시킴으로써 달성될 수 있다. 예컨대, 명령들은 후단이 새로운 데이터를 요구하기 전에 메모리 판독(들)이 완료되는 신뢰할 수 있는 확실성을 제공하기 위해 최악의 경우의 메모리 지연 시간과 동일하거나 더 큰 기간 동안 지연 라인을 사용하여 지연될 수 있다(FIFO 버퍼(960)).

프로세서(510)들은 또한 카메라들로부터의 예비 프로세싱되고, 정정된 데이터를 스테레오 이미지들로 변형하기 위해 스테레오 알고리즘 블록(592)을 사용하는 적절한 스테레오 프로세싱 알고리즘을 이행한다. 예컨대, 프로세서(510)는 개방 소스 코어를 사용하여(예컨대, http://danstrother.com/2011/06/10/fpga-stereo-vision-core-released/ 참조, 이는 그 전체가 인용에 의해 본원에 포함됨) 스테레오 블록 매칭(StereoBM) 알고리즘을 이행할 수 있다. 이는 또한 세미 글로벌 블록 매칭(SGBM) 알고리즘, 세미 글로벌 매칭(SGM) 알고리즘(예컨대, http://www.dlr.de/rm/en/Portal/Data/3/Resources/papers/modeler/cvpr05hh.pdf 참조, 이는 그 전체가 인용에 의해 본원에 포함됨), 또는 임의의 다른 적절한 스테레오 알고리즘을 이행할 수 있다.

일부 경우들에서, 스테레오 프로세싱 블록(592)은 (도 9b에 도시된 예비 프로세싱 파이프 라인에 의해 발생되는 축척이 맞지 않는 또는 축척대로인 이미지를 다루기 위해 바람직한 또는 필요한 바와 같이) 상이한 해상도 이미지 입력들을 처리하는 것을 가능하게 하기 위해 동적으로 재구성될 수 있다. 더 높은 해상도 입력들은 더 많은 3D 포인트들을 산출하고 더 높은 깊이 정확성은 하지만 더 많은 프로세싱을 요구한다. 스테레오 프로세싱 블록(592)은 상이한 변위 범위들(체적들)을 검색하기 위해 또한 동적으로 재구성될 수 있다. 더 큰 변위 검색 범위는 더 큰 깊이 범위를 초래할 수 있지만, 더 많은 프로세싱을 요구한다. 스테레오 프로세싱 블록(592)은 독립적으로 조정된 이미지 폭, 이미지 높이 그리고 변위 검색 범위를 고려할 수 있다. 이미지 해상도 및 변위 검색 범위를 동적으로 조정할 수 있게 되는 것은 스테레오 프로세싱 블록(592)이 해상도, 범위 그리고 프레임율 사이의 실시간 밸런싱을 수행하는 것을 가능하게 한다. 스테레오 프로세싱 블록(592) 그 자체는 이미지 데이터를 밀봉하는 것에 대하여 반드시 반응적일 필요는 없음에 주의해야 하며, 이미지 스케일링은 도 9b에 도시된 예비 프로세싱 파이프 라인에서 완료될 수 있다.

검색된 변위 범위를 동적으로 재구성하는 능력은 프로세서(510)가 얼만큼의 3D 깊이가 검색되는지를 조정하는 것을 가능하게 한다. (더 큰 변위 검색 범위들은, 비용의 증가된 계산시, 카메라에 근접한 대상들을 신뢰할 수 있게 감지하기 위한 능력을 초래한다.) 검색된 깊이/변위 체적은 통상적으로 센서를 향하여 다시 무한으로부터 연장한다(0의 변위는 무한을 나타내며, 증가하는 변위들은 점진적으로 더 가까운 포인트들을 묘사한다). 변위 검색 범위가 증가할수록, 검색된 깊이 체적의 가까운 단부는 센서에 더 가까워진다.

게다가, 프로세서(510)는 표준 파이프 라인 포맷을 취하고 이를 이더넷 연결(Ethernet MAC)(560)에 걸쳐 전송하기 전에 사용자 요청 포맷(예컨대, 컬러 공간, 해상도, 바이트 포맷)으로 이를 변환하는 출력 포맷팅 블록(572)을 포함할 수 있다. 이는 중앙 처리 유닛(CPU)(542)으로부터의 네트워크 패킷들의 발생을 오프로드(offload)하는 네트워크 프로토콜 오프로드 블록(570)을 또한 포함할 수 있다. 프로세서(510)는 Harris Corners 알고리즘 또는 임의의 다른 적절한 알고리즘을 사용하여 이미지 내의 "특징부들"(예컨대, 다중 프레임들에 걸친 추적을 위해 비교적 독특하고 좋은 포인트들)을 검출하는 특징부 검출 블록(부가적인 알고리즘 블록(594))을 포함할 수 있다. 그리고 특징부 검출 블록에 커플링되며, 검출된 특징부들을 처리하고 프레임들 사이에 이들을 매칭하기 위해 시도하는 특징부 추적 블록을 포함할 수 있다. 어떻게 특징부들이 프레임들 사이에서 이동되는가를 알게 됨으로써, 카메라들의 동작을 추정하는 것이 가능하게 된다.

통상의 기술자에 의해 이해되는 바와 같이, 펌웨어(firmware)는 FPGA 논리에서 이행되는 이미지 프로세싱 파이프라인을 구성하고 감시할 수 있다. 예시적인 펌웨어는 FPGA 에서 간단한 소프트 코어 CPU(자일링스 마이크로 블레이즈(Xilinx Microblaze))(542)에서 실행될 수 있다. 표준 자일링스 공급형 주변 장치들이 시스템의 나머지를 생성하는데 사용될 수 있으며, 이는: DRAM 제어기(564), AXI DMA 버스(590), 이더넷 MAC(560) 그리고 보조 I/O 소스들(예컨대, I2C, RS232 등)에 커플링되는 저속 입력/출력(I/O) 구동기(540)들을 포함한다.

센서 교정

교정 에러들의 검출

신뢰성의 일 양태는 시스템 에러들 및 반응을 적절하게 검출하는 것을 가능하게 한다. 필드형 센서들 - 특히 카메라들을 포함하는 센서들 - 의 시스템 에러들의 소스는 교정의 벗어남이다. 쇼크, 진동 및 열 효과들이 모두 내부 구성요소들의 상대 위치들에 영향을 줄 수 있고, 이는 센서 기하학 및 이미징 파라미터들에서의 (잠재적으로는 바람직하지 않은)변화들을 유도한다. 이러한 교정 에러들을 고려하기 위해, 시스템은 이하에 설명되는 바와 같은 파라미터들의 이하의 세트들 중 하나 또는 그 초과를 회복할 수 있다: 스테레오 카메라의 렌즈 왜곡 및 기하학적 형상 투영을 설명하는 파라미터들; 스핀들에 대한 레이저 스캐너의 위치 및 배향을 설명하는 파라미터들; 및 스테레오 카메라에 대한 스핀들의 위치 및 배향을 설명하는 파라미터들.

이미지 일치성 평가: 스테레오 카메라의 렌즈 왜곡 및 기하학적 형상 투영

본 발명의 센서 유닛의 카메라들은 관찰되는 대상들의 3D 위치들과 이들이 좌측 및 우측 이미지들에 투영되는 2D 위치들 사이의 공지된 관계를 수립하기 위해 교정될 수 있다. 대상들의 투영된 위치들이 예상들과 일치하지 않을 때, 이는 교정에 문제가 있음을 나타낸다. 예컨대, 카메라들이 정확하게 교정될 때, 장면의 대상들은 좌측 및 우측 이미지들에서 동일한 스캔 라인들에 나타난다. 우측에서 이들이 그러한 것과 좌측 이미지에서 상이한 스캔 라인들에 나타나는 대상들을 보게 됨으로써, 시스템은 교정 교정의 벗어남을 검출할 수 있다. 유사하게는, 카메라들이 정확하게 교정될 때, 먼 거리에 있는 대상들은 각각의 이미지에서 동일한 좌측-우측 위치에 나타난다. 대상들이 카메라에 더 가깝게 이동할 때 이들은 2 개의 이미지들에서 점점 상이한 좌측-우측 위치들에 있는 것으로 나타난다. 이러한 좌측-우측 위치의 차이는 스테레오 변위(stereo disparity)라고 불린다. 교정 정확성의 하나의 검사에서, 사용자는 카메라가 거리를 가리키도록 지시할 수 있고, 그 후 0으로부터 멀어지는 변위들은 교정 에러들을 나타낸다. 스테레오 이미지 쌍들로부터 측정된 대상 위치들(그리고 대상 위치의 차이들)은 이하에 설명되는 바와 같은 대상 위치들의 레이저 범위 측정기 측정들과 또한 상호 연관될 수 있다.

도 10은 스테레오 카메라를 교정하기 위한 프로세스(1000)를 예시한다. 블록(1002)에서, 하나 이상의 고정 기점들이 특별한 환경 내에서 배치되거나 확인된다. 일단 기점들이 제 위치에 있으면, 시스템은, 예컨대 산업용 로봇의 엔드 이펙터(end-effector)를 사용하여, 블록(1004)에서 "포즈들"이라고 불리는 일련의 위치들 및 배향들을 통하여 이동된다. 각각의 포즈에서 결과적인 카메라 이미지들은 고정 기점(들)의 이미지 위치를 판정하기 위해 점검된다(블록 1010). 포즈 및 관찰되는 이미지 위치의 각각의 조합은 투영 등식(equation)에 대응한다(1008).

스테레오 교정 프로세스(1000)에서 수집된 데이터는 세계 좌표들에서의 기점 위치, 로봇의 엔드 이펙터에 대한 카메라의 위치 및 배향, 카메라 투영 기하학적 형상 및 렌즈 왜곡을 포함하는 미지의 파라미터들을 추정하는데 사용될 수 있다. 스테레오 교정 프로세스(1000)에서 공지된 파라미터들은 이미지의 기점의 관찰된 위치, 그리고 세계 좌표들에서의 로봇 엔드 이펙터의 위치 및 배향이다. 미지의 파라미터들은 이러한 다양한 투영 등식들을 종합하고, 관찰들에 가장 가까이 매칭되는 미지의 파라미터들을 위해 푸는 것에 의해 - 예컨대, 비선형 최소 자승법 또는 유사한 최적화를 사용하여 - 구해진다.

레이저 일치성 평가: 스핀들에 대한 레이저 스캐너의 위치 및 배향

상기 설명되고 도 1a 및 도 8a 내지 도 8d에 도시된 바와 같이, 예시적인 본 발명의 센서 유닛은 레이저 스핀들 주위로 연속하여 회전할 수 있는 레이저를 갖는 레이저 범위 측정기를 포함할 수 있다. 이는 레이저 범위 측정기가 장면의 대부분을: 레이저 범위 측정기가 지나가서 스캔할 때 빔의 좌측에 의해 한번, 그리고 그 후 180도 후에 빔의 우측이 지나갈 때, 2 회 측정하는 것을 의미한다. 레이저 교정이 정확하다면, 이러한 측정들의 2 개의 세트들은 정렬될 것이다. 오정렬은 열악한 교정을 나타내며 센서 유닛을 재교정(치유)하는데 사용될 수 있다.

도 11은 스핀들에 대한 레이저 스캐너의 위치 및 배향을 구하기 위해 비선형 최적화를 이용하는 LIDAR 교정 프로세스(1100)를 예시한다. 이러한 경우, 시스템은 고정된 장면에 고정되어 유지되고, 레이저 데이터는 스핀들이 회전되는 동안 수집된다. 스핀들의 완전한 회전 동안, 장면의 대부분들이 레이저에 의해 2 회 관찰된다. 이를 보기 위해, 장면의 특별한 대상의 좌측에 대한 레이저 스캐닝을 고려한다. 이러한 스캔은 레이저 범위 및 방위각 값들의 제1 세트를 구한다(1102). 다음에 레이저가 레이저 범위 및 방위각 값들의 제2 세트를 구하기 위해 동일한 대상을 처리하도록 우측에 대하여 대략 180 도 스핀들을 회전시키는 것을 고려한다(1112). 각각의 레이저 관찰은 스핀들 각도(1104 및 1114)를 기초로 하여 계산될 수 있는 3D 포인트(1106 및 1116) 및 스핀들에 대한 레이저 스캐너의 위치 및 배향의 추정에 대응한다. 제1의 180도 스캔(1102)과 제2의 180도 스캔(1112)의 일치성을 평가하기 위해, 프로세서는 제1 관찰(단계 1108)에 국부적으로 평면형 표면들을 피팅하는 "교정 에러" 기능을 규정하고, 그 후 일치성 측정(112)을 구하기 위해 적절한 평면형 표면 모델(1110)과 제2 관찰 사이의 거리(1118)를 연산한다. 이러한 에러 기능의 값은 교정 파라미터들에 따르며, 이들은 관찰된 레이저 범위들과 가장 일치하는 값들을 찾기 위해, 어닐링 또는 유사한 접근법으로 시뮬레이트되는, 비선형 최소 자승법 최적화를 사용하여 구해질 수 있다.

상호 센서 일치성: 스테레오 카메라에 대한 스핀들의 위치 및 배향

레이저 및 스테레오 카메라 조립체 모두가 장면의 3D 모델들을 발생할 수 있다. 이전의 검사들이 양호한 교정과 일치한다면, 이러한 모델들은 센서들 사이의 기하학적 관계가 정확한지를 확인하기 위해 서로 비교될 수 있다. 불행하게도, 스테레오 이미지의 측정 에러들은 이러한 비교를 정확하게 하는 것을 어렵게 하는 방식으로 3D 공간으로 투영된다. 이는 레이저 모델이 카메라들에 의해 보여진 경우에 레이저 모델을 이미지들에 투영하고, 이미지 공간에서의 결과를 비교함으로써 처리될 수 있다. 교정을 평가하기 위한 이러한 접근법은 자연적인 장면들 또는 목적에 의해 생성된 교정 목표들을 사용하여 이행될 수 있다.

도 12는 레이저 스핀들에 대한 스테레오 센서의 교정 또는 레지스터링을 위한 프로세스를 예시한다. 레이저 범위 측정기(LIDAR) 및 스테레오 센서가, 예컨대 도 10 및 도 11에 도시된 프로세스들을 사용하여 교정되었다면, 레이저 데이터는 3D 레이저 포인트 클라우드(1204)로 변형될 수 있고 카메라 이미지들은 이미지 내의 다수의 픽셀들에서 스테레오 변위 맵(1202)을 계산하는데 사용될 수 있다. 프로세서는 스테레오 센서의 시야(FOV)에 매칭되도록 레이저 포인트 클라우드(1204)를 다듬는다(1206). 프로세서는 시뮬레이트된 LIDAR 변위 맵(1212)을 발생하기 위해 LIDAR-투-스테레오 변형 파라미터(1210)들을 사용하여 결과적인 다듬어진 포인트 클라우드(1208)를 스테레오 센서 좌표 시스템으로 변형시킨다. 다음에, 프로세서는 유사한 측정(1216)을 발생하기 위해 시뮬레이트된 LIDAR 변위 맵(1212)을 스테레오 변위 맵(1202)에 비교하고(1214), 이는 LIDAR-투-스테레오 변형 파라미터(1210)들을 비선형적으로 최적화(1218)하는데 사용된다.

통상의 기술자에 의해 이해되는 바와 같이, 스테레오 변위는 카메라 이미지들 내의 대상들의 3D 위치들에 대응한다. 이러한 3D 위치들은 레이저로부터 3D 포인트 클라우드(1204)에 반사된다. 3D 레이저 관찰들을 스테레오 카메라의 좌표 시스템으로 변형함으로써, 예상된 변위 미이지(1212)를 발생하고 이를 스테레오 카메라로부터의 실제 변위 이미지(1202)와 비교하는 것이 가능하다. 이러한 변형은 스테레오 카메라에 대한 스핀들의 위치 및 배향에 따르며, 다시 프로세서는 예상된 변위 이미지와 관찰된 변위 이미지 사이의 유사성을 증가시키기 위해 교정 파라미터(1208)들을 찾기 위해 비선형 최적화를 사용한다.

레이저 범위 측정기 교정

본 발명의 센서 유닛들은 레이저 범위 측정기를 교정하기 위해 이하의 기술들 중 하나 또는 모두를 사용할 수 있다: (1) 공지된 기하학적 형상의 교정 목표들이 레이저에 의해 측정되고, 그 후 이러한 공지된 목표들의 관찰들이 레이저 교정 파라미터들을 역산(back-solve)하는데 사용됨; (2) 공지된 기하학적 형상 또는 미지의 위치의 교정 목표들이 레이저에 의해 관찰되고, 교정 파라미터들이 레이저 일치성을 증가시키도록 조정됨(상기 참조).

본 발명의 센서 유닛들은 공지된 대상들, 또는 교정 목표들의 측정들의 기록 그리고 관찰들과 가장 일치하는 교정 파라미터들의 세트를 검색하는 것을 수반하는 종래의 접근법들을 포함하는, 카메라 교정의 몇몇 타입들을 지지한다. 예컨대, 스테레오 카메라는 일련의 미지의 위치들 및/또는 배향들로 교정 목표의 위치를 검출할 수 있다. 결과적인 이미지들은 교정 파라미터들 및 미지의 위치들을 판정하는데 사용된다. 이는 교정 목표의 공지된 형상이 그의 위치가 공지되지 않더라도 정보를 제공하기 때문에 유효하다. 이러한 접근법은 스테레오 이미지 데이터로부터 판정되는 교정 파라미터들 및/또는 위치들의 정확성을 확인하기 위해 레이저 범위 측정기를 사용하여 그리고 레이저 범위 데이터를 사용하여 교정 목표들의 위치들 및 기하학적 형상들을 측정함으로써 증대될 수 있다.

본 발명의 센서 유닛들의 정밀한 내부 타이밍은 다른 카메라 교정 접근법을 이용 가능하게 한다. 카메라들이 적외선 필터들에 피팅되지 않을 때, 장면의 대상으로부터의 레이저 빔의 반사는 이미지들에서 스폿으로서 나타날 수 있다. 이러한 스폿은 이미지 프로세싱 기술들을 사용하여 검출될 수 있다. 그의 위치는 좌측 및 우측 이미지의 레이저 측정된 3D 포인트와 2D 위치들의 쌍 사이에 관련성을 제공한다. 레이저의 회전은 이러한 관련성들의 수집을 제공하며, 이들은 카메라 교정을 연산하기 위한 정확한 입력이다.

이전의 접근법의 일반화는 3D 레이저 측정들과 2D 이미지 위치들 사이의 관련성을 사용하지만, 레이저 스폿이 이미지들에서 보이는 것을 요구하지는 않는다. 이는 카메라들이 적외선 필터들에 피팅되지 않더라도, 또는 장면이 보여질 레이저 스폿에 대하여 너무 밝게 비춰질 때도 기술이 유효한 것을 가능하게 한다. 이러한 경우, 카메라들 및 장면은 레이저가 대부분의 3D 포인트들을 캡쳐하는 동안 움직임이 없다. 레이저 반사가 카메라들에 대하여 가시적이라면, 각각의 3D 포인트는 좌측 및 우측 이미지의 레이저 스폿을 검출함으로써 2D 이미지 위치들에 매칭될 수 있다. 대신, 매칭들은 가정된 교정 파라미터들을 사용하여 카메라 이미지들에 3D 포인트들을 투영함으로써 발견되고, 투영된 2D 위치들은 정확한 것으로 가정한다. 가정된 교정 파라미터들이 정확하지 않다면, 투영은 정확하지 않을 것이며, 3D-투-2D 관련성은 부정확할 것이며, - 장면이 충분히 풍부하다고 한다면 - 많은 결과적인 쌍들은 이미지 일치성 측정 기준을 위반할 것이다. 교정 파라미터들은 이러한 위반을 감소시키도록 조정될 수 있다.

변위 맵 합성 및 비교

도 13a 내지 도 13d는 스테레오 이미징 시스템의 좌측 및 우측 카메라들에 의해 획득되는 4 개의 이미지를 도시한다: 좌측 카메라에 의해 획득되는 제1 이미지(도 13a); 우측 카메라에 의해 획득되는 제1 이미지(도 13b); 좌측 카메라에 의해 획득되는 제2 이미지(도 13c); 및 우측 카메라에 의해 획득되는 제2 이미지(도 13d). 카메라들이 장면(환경)을 상이한 위치들/각도들로부터 보기 때문에, 이들은 상이한 시계들로부터의 이미지를 획득한다. 프로세서는 또한 당업계에서 이해되는 바와 같이 스테레오 이미지들 및 변위 맵들을 발생하기 위해 이러한 이미지의 쌍들을 사용할 수 있다. 스테레오 이미징 시스템이 획득한 것들 사이에서 이동하거나 움직인다면, 스테레오 이미지들은 상이한 시계들로부터의 장면의 스테레오 뷰(view)들을 보여줄 수 있다.

도 14a는 도 13a 및 도 13b에 도시된 좌측 및 우측 이미지를 기초로 한 제1 변위 맵을 도시한다. 그리고 도 14b는 도 13c 및 도 13d에 도시된 좌측 및 우측 이미지를 기초로 한 제2 변위 맵을 도시한다. 통상의 기술자에 의해 이해되는 바와 같이, 변위는 스테레오 쌍의 좌측 및 우측 이미지의 2 개의 대응하는 포인트들 사이의 거리를 나타낸다. 이러한 거리는 좌표들의 2 개의 쌍들 - 좌측 이미지에 대한 좌표들의 하나의 쌍 그리고 우측 이미지를 위한 좌표들의 다른 쌍 사이의 벡터로서 표현될 수 있다. 이러한 벡터의 크기는 때때로 "변위 값"으로 불린다. 스테레오 이미지의 모든 픽셀에 대한 변위 값들을 연산하는 것은, 예컨대 도 16에 예시된 바와 같이 변위 맵을 산출한다.

도 16은 또한 깊이 데이터를 포함하는 복합 이미지를 발생하기 위해 변위 맵이 이미지 데이터에 겹쳐질 수 있는 것을 또한 도시한다. 예컨대, 도 17a 및 도 17b는 각각 도 14a 및 도 14b의 변위 이미지들에 겹쳐지는 도 13의 이미지 데이터를 도시한다. 깊이 데이터는 컬러로 나타나며, 이미지의 회색 부분들은 복귀 없음(매칭이 발견되지 않음)에 대응하고, 빨강/노랑은 장면에서 가까운 포인트들을 나타내며, 녹색/파랑은 장면에서 먼 포인트들을 나타낸다.

도 17a 및 도 17b는 각각 도 14a 및 도 14b에 도시된 변위 맵들의 3D 투영들이다. 도 14a 및 도 14b의 모든 픽셀은 스테레오 센서의 교정 데이터를 사용하여 3D 공간으로 투영되고 각각 도 13a 및 도 13b로부터의 데이터에 의해 착색된다. 여기서 소스 이미지들은 흑백이지만(검정 및 흰색), 소스 이미지들은 또한 컬러일 수 있으며, 이는 컬러 3D 장면들을 초래한다. 도 17a 및 도 17b에 도시된 3D 장면들은 원래의 3D 데이터(포인트 클라우드들)를 포함하며; 데이터는 3각형이 되거나 맞물리지 않는다. 하지만 프로세서는 장면 그리고 원래의 3D 포인트 클라우드들로부터의 센서에 관하여 많은 것을 판정할 수 있으며, 이는 환경에서의 대상들의 위치들 및 배향들의 추정들을 포함하고, 스테레오 센서 자체의 위치 및 배향을 포함한다.

예컨대, 도 17a 및 도 17b가 서로의 위에 겹쳐지고 3D 특징부들(거리에 의한 파이프, 지면 그리고 빌딩)을 매칭함으로써 정렬된다면 2 개의 장면들 사이의 차이들이 검출되고 분석될 수 있다. 하나의 차이는 도 13에 도시된 소스 촬영기의 캡쳐 사이의 스테레오 카메라의 시계 변화이다. 이러한 전방 시계 이동은 도 17a 및 도 17b에 도시된 파이프들의 길이의 차이를 계산함으로써 측정될 수 있다. 부가적으로, 센서의 약간의 구름(roll)이 평면을 지면 데이터에 피팅하고 지면 평면과 각각의 소스 이미지의 가상 수평 사이의 각도의 차이를 측정함으로써 검출될 수 있다. 센서의 흔들림은 마찬가지로 빌딩과 각각의 소스 이미지의 가상 전방 축선 사이의 각도의 차이를 판정함으로써 측정될 수 있다.

프로세서는 일단 변위 맵들 및/또는 3D 포인트 클라우드들이 정렬되면 변위 맵들과 3D 포인트 클라우드들 사이의 다른 차이들을 검출할 수 있다. 예컨대, 프로세서는 장면-투-장면 3D 매칭이 덜 정확하거나 더 많은 에러를 갖는 영역들을 확인함으로써 장면 내의 목표들 또는 대상들의 이동을 검출할 수 있다. 프로세서는 걷고 있는 사람 또는 거리를 운전하는 차량에 의해 야기되는 3D 오정렬을 감지하기 위해 이러한 이동 검출을 사용할 수 있다. 프로세서는 장면의 나머지(예컨대, 장면의 고정 부분)로부터 이동하는 3D 특징부들을 고립시키고 추출할 수 있다. 일부 경우들에서, 프로세서는 (그 자체의 동작을 포함하여) 이동하는 대상들의 3D 위치 및 3D 궤적을 또한 계산할 수 있다.

도 18a 및 도 18b는 각각 센서를 방해하는 연기를 갖는 그리고 갖지 않는 레이저 포인트 클라우드 데이터 및 스테레오 이미지 데이터로부터 합성된 이미지를 도시한다. 연기가 없을 때, 레이저 포인트 클라우드는 장면의 정확한 묘사이다. 연기 그리고 먼지와 같은 방해물들은 목표들을 향해 및/또는 목표들로부터 레이저 빔이 전파될 때 이 레이저 빔을 흡수하거나 산란시킬 수 있고, 레이저 범위 측정기 데이터를 손상시킨다. 연기가 가시(또는 가능하게는 적외선) 파장들에서의 광을 통과한다면, 스테레오 센서는 장면의 정확한 묘사를 발생하는 것이 여전히 가능할 수 있다.

결론

다양한 본 발명의 실시예들이 본원에 설명되고 예시되었지만, 통상의 기술자는 기능을 수행하고 및/또는 결과들 및/또는 본원에 설명된 하나 이상의 이점들을 얻기 위한 다양한 다른 수단 및/또는 구조들을 쉽게 생각해볼 수 있을 것이며, 각각의 이러한 변형들 및/또는 수정들은 본원에 설명된 본 발명의 실시예들의 범주 내에 있는 것으로 여겨진다. 더 일반적으로는, 통상의 기술자는 본원에 설명된 모든 파라미터들, 치수들, 재료들 및 구성들은 예시적인 것을 의미하며 실제 파라미터들, 치수들, 재료들 및/또는 구성들은 본 발명의 교시들이 사용되는 특정 분야 또는 분야들에 따를 것이라는 것을 즉시 이해할 것이다. 통상의 기술자는 더 이상 통상적인 실험을 사용하지 않고 본원에 설명된 특정한 본 발명의 실시예들에 대한 많은 동등물들을 인지하거나, 알아낼 수 있을 것이다. 따라서, 전술한 실시예들은 단지 예로서 존재하며, 첨부된 청구 범위들 및 이들의 동등물들의 범주 내에서 본 발명의 실시예들은 구체적으로 설명되고 청구된 것과 다른 방식으로 실행될 수 있다는 것이 이해된다. 본 개시의 발명의 실시예들은 본원에 설명된 각각의 개별 특징부, 시스템, 품목, 재료, 키트(kit) 및/또는 방법에 관한 것이다. 게다가, 둘 또는 그 초과의 이러한 특징부들, 시스템들, 품목들, 재료들, 키트들 및/또는 방법들의 임의의 조합은, 이러한 특징부들, 시스템들, 품목들, 재료들, 키트들 및/또는 방법들이 상호 불일치하지 않는 경우에, 본 개시의 본 발명의 범주 내에 포함된다.

상기 설명된 실시예들은 임의의 수많은 방식들로 이행될 수 있다. 예컨대, 실시예들은 하드웨어, 소프트웨어 또는 이들의 조합을 사용하여 이행될 수 있다. 소프트웨어로 이행될 때, 소프트웨어 코드는 단일 컴퓨터에 제공되거나 다중 컴퓨터들 가운데 분배된다면 임의의 적절한 프로세서 또는 프로세서들의 집단에서 실행될 수 있다.

또한, 컴퓨터가 랙 마운트형(rack-mounted) 컴퓨터, 데스크탑 컴퓨터, 랩탑 컴퓨터 또는 태블릿 컴퓨터와 같은 임의의 다수의 형태들로 구현될 수 있는 것이 이해되어야 한다. 부가적으로, 컴퓨터는, 개인용 정보 단말기(PDA), 스마트 폰 또는 임의의 다른 적절한 이동식 또는 고정식 전자기기를 포함하는, 일반적으로 컴퓨터로 간주되지는 않지만 적절한 프로세싱 능력들을 갖춘 기기에 매립될 수 있다.

또한, 컴퓨터는 하나 이상의 입력 및 출력 기기들을 가질 수 있다. 이러한 기기들은 다른 것들 중에서도 사용자 인터페이스를 나타내는데 사용될 수 있다. 사용자 인터페이스를 제공하는데 사용될 수 있는 출력 기기들의 예들은 출력의 시각적 묘사를 위한 프린터들 또는 디스플레이 스크린들 그리고 출력의 청각적 묘사를 위한 스피커들 또는 다른 음향 발생 기기들을 포함한다. 사용자 인터페이스를 위해 사용될 수 있는 입력 장치들의 예들은 키보드들, 마우스들과 같은 포인팅 기기들, 터치 패드들 및 디지털화 태블릿들을 포함한다. 다른 예로서, 컴퓨터는 음성 인식 또는 다른 가청 포맷을 통하여 입력된 정보를 수신할 수 있다.

이러한 컴퓨터들은, 기업 내 네트워크, 지능 통신망(IN) 또는 인터넷과 같은 근거리 통신망 또는 광역 통신망을 포함하는 임의의 적절한 형태의 하나 이상의 네트워크들에 의해 상호 연결될 수 있다. 이러한 네트워크들은 임의의 적절한 기술을 기초로 할 수 있고 임의의 적절한 프로토콜에 따라 작동할 수 있으며 무선 네트워크들, 유선 네트워크들 또는 광섬유 네트워크들을 포함할 수 있다.

본원에 개요를 서술한 다양한 방법들 및 프로세스들은 다양한 작동 시스템들 또는 플랫폼들 중 임의의 하나를 이용하는 하나 이상의 프로세서들에서 실행 가능한 소프트웨어로서 코딩될 수 있다. 부가적으로, 이러한 소프트웨어는 임의의 다수의 적절한 프로그래밍 언어들 및/또는 프로그래밍 또는 스크립팅 툴(scripting tool)들을 사용하여 기록될 수 있고, 또한 프레임워크 또는 가상의 기계에서 실행되는 실행 가능한 기계 언어 코드 또는 중간 코드로서 컴파일링될(complied) 수 있다.

이러한 점에서, 다양한 본 발명의 컨셉들이, 하나 이상의 컴퓨터들 또는 다른 프로세서들에서 실행될 때, 상기 논의된 본 발명의 다양한 실시예들을 이행하는 방법들을 수행하는 하나 이상의 프로그램들에 의해 엔코딩된 컴퓨터 판독 가능한 저장 매체(또는 다중 컴퓨터 판독 가능 저장 매체들)(예컨대, 컴퓨터 메모리, 하나 이상의 플로피 디스크들, 컴팩트 디스크들, 광 디스크들, 자기 테이프들, 플래시 메모리들, 필드 프로그램 가능한 게이트 어레이들 또는 다른 반도체 기기들의 회로 구성들, 또는 비일시적 매체 또는 실감형 컴퓨터 저장 매체)로서 구현될 수 있다. 컴퓨터 판독 가능한 매체 또는 매체들은, 상기 논의된 본 발명의 다양한 양태들을 이행하기 위해 이들에 저장된 프로그램 또는 프로그램들이 하나 이상의 상이한 컴퓨터들 또는 다른 프로세서들 상으로 로딩될 수 있도록 전송 가능할 수 있다.

용어들 "프로그램" 또는 "소프트웨어"는 상기 논의된 바와 같은 실시예들의 다양한 양태들을 이행하기 위해 컴퓨터 또는 다른 프로세서를 프로그램하는데 이용될 수 있는 임의의 타입의 컴퓨터 코드 또는 컴퓨터 실행 가능한 지시들의 세트를 나타내기 위해 일반적인 의미로 본원에 사용된다. 부가적으로, 하나의 양태에 따르면, 실행될 때 본 발명의 방법들을 수행하는 하나 이상의 컴퓨터 프로그램들은 단일 컴퓨터 또는 프로세서에만 존재할 필요는 없으며, 본 발명의 다양한 양태들을 이행하기 위해 복수의 상이한 컴퓨터들 또는 프로세서들 중에 모듈 방식으로 분산될 수 있는 것이 이해되어야 한다.

컴퓨터 실행 가능한 지시들은 하나 이상의 컴퓨터들 또는 다른 기기들에 의해 실행되는 프로그램 모듈들과 같은 다양한 형태들일 수 있다. 일반적으로, 프로그램 모듈들은 특별한 업무들을 수행하거나 특별한 추상적인 데이터 타입들을 이행하는 루틴들, 프로그램들, 대상들, 구성요소들, 데이터 구조들 등을 포함한다. 통상적으로 프로그램 모듈들의 기능성은 다양한 실시예들에서 바라는 바와 같이 조합되거나 분산될 수 있다.

또한, 데이터 구조들은 임의의 적절한 형태로 컴퓨터 판독 가능한 매체들에 저장될 수 있다. 예시의 간단함을 위해, 데이터 구조들은 데이터 구조의 위치에 관하여 필드들을 갖는 것으로 도시될 수 있다. 이러한 관계들은 마찬가지로 필드들 사이의 관계를 전달하는 컴퓨터 판독 가능한 매체 내의 위치들에 대한 필드들에 대하여 저장소를 할당함으로써 달성될 수 있다. 하지만, 임의의 적절한 메커니즘이, 데이터 요소들 사이의 관계를 수립하는 포인터들, 태그들 또는 다른 메커니즘들의 사용을 통하는 것을 포함하는 데이터 구조의 필드들의 정보 사이의 관계를 수립하는데 사용될 수 있다.

또한, 다양한 본 발명의 컨셉들은 하나 이상의 방법들로서 구현될 수 있으며, 그의 예가 제공되었다. 방법의 일부로서 수행되는 동작들은 임의의 적절한 방식으로 순서가 정해질 수 있다. 따라서, 동작들이 예시된 바와 상이한 순서로 수행되는 실시예들이 구성될 수 있고, 이는 예시적인 실시예들에서는 순차적인 동작들로 도시되더라도 일부 동작들을 동시에 수행하는 것을 포함할 수 있다.

본원에 정의되고 사용된 모든 정의들은 사전적 정의들, 인용에 의해 포함된 문서들에서의 정의들 및/또는 정의된 용어들의 본래의 의미들로 통제되는 것이 이해되어야 한다.

본원의 명세서에서 그리고 청구 범위들에서 사용된 바와 같은 부정관사들("a" 및 "an")은, 달리 명백하게 나타내지 않는다면 "하나 이상"을 의미하는 것으로 이해되어야 한다.

본원의 명세서에서 그리고 청구 범위들에서 사용된 바와 같은 어구 "및/또는" 은 결합되는 요소들의 "둘 중 하나 또는 양쪽 모두", 즉 일부 경우들에는 결합적으로 존재하고 다른 경우들에는 분리적으로 존재하는 요소들을 의미하는 것으로 이해되어야 한다. "및/또는" 에 의해 나열된 다중 요소들은 동일한 방식으로, 즉 결합되는 요소들의 "하나 또는 그 초과"로 이해되어야 한다. 다른 요소들은, 구체적으로 확인되는 이러한 요소들과 관련되거나 또는 관련되지 않거나, "및/또는" 절에 의해 구체적으로 확인되는 요소들 외에 선택적으로 존재할 수 있다. 따라서, 비제한적인 예로서, "A 및/또는 B" 를 참조하는 것은, "포함하는"과 같은 오픈 엔드형(open-ended) 언어와 관련하여 사용될 때, 일 실시예에서 단지 A 를 참조(선택적으로는 B 외의 요소들을 포함); 다른 실시예에서는 단지 B 를 참조(선택적으로는 A 외의 요소들을 포함); 또 다른 실시예에서는 A 및 B 모두를 참조(선택적으로는 다른 요소들을 포함)하는 것 등을 나타낼 수 있다.

본원의 명세서 및 청구 범위들에서 사용되는 것과 같은 "또는" 은 상기 정의된 바와 같이 "및/또는" 과 동일한 의미를 갖는 것으로 이해되어야 한다. 예컨대, 리스트의 항목들을 분리할 때, "또는" 또는 "및/또는" 은 포괄적인 것으로서 해석되어야 하며, 즉 적어도 하나의 포함, 하지만 또한 요소들의 수 또는 리스트의 하나 초과를 포함하며, 선택적으로는, 부가적인 나열되지 않은 항목들을 포함하는 것으로 해석되어야 한다. "~ 중 단지 하나" 또는 "정확하게는 ~ 중 하나", 또는 청구 범위들에서 사용될 때 "~로 이루어지는" 과 같은 대조적으로 명백하게 나타내는 용어들만이 요소들의 리스트 또는 수의 정확하게 하나의 요소를 포함하는 것을 나타낼 것이다. 일반적으로, 본원에 사용되는 바와 같은 용어 "또는" 은 "둘 중 하나", "~ 중 하나", "~ 중 하나" 또는 "정확하게는 ~ 중 하나"와 같은 배타적인 용어가 선행될 때 배타적인 대안들을 나타내는 것으로만(즉, "하나 또는 다른 하나 하지만 모두는 아닌") 해석되어야 한다. 청구 범위들에서 사용될 때, "본질적으로 ~ 로 이루어지는" 은 특허법의 분야에서 사용되는 바와 같은 그의 원래의 의미를 가져야 한다.

본원의 명세서 및 청구 범위들에서 사용되는 바와 같이, 하나 이상의 요소들의 리스트를 참조하는 어구 "적어도 하나" 는 요소들의 리스트 중 요소들의 임의의 하나 또는 그 초과로부터 선택되는 적어도 하나의 요소를 의미하는 것으로 이해되어야 하지만, 반드시 요소들의 리스트 내에 구체적으로 나열된 각각의 그리고 모든 요소 중 하나 이상을 포함할 필요는 없으며 요소들의 리스트의 요소들의 임의의 조합들을 배제하지 않는다. 이러한 정의는 또한 요소들이, 구체적으로 확인된 이러한 요소들과 관련되거나 또는 관련되지 않거나, 어구 "적어도 하나" 가 나타내는 요소들의 리스트 내에 구체적으로 확인된 요소들 외에 선택적으로 존재할 수 있는 것을 가능하게 한다. 따라서, 비제한적인 예로서, "A 와 B 중 적어도 하나"(또는, 동일하게는, "A 또는 B 중 적어도 하나", 또는 동일하게는 "A 및/또는 B 중 적어도 하나")는 하나의 실시예에서 B 가 존재하지 않으면서, 하나 이상, 선택적으로는 하나 초과의 A 를 포함하는 것을(그리고 선택적으로는 B 외의 요소들을 포함); 다른 실시예에서, A 가 존재하지 않으면서, 하나 이상, 선택적으로는 하나 초과의 B 를 포함하는 것을(그리고 선택적으로는 A 외의 요소들을 포함); 또 다른 실시예에서, 하나 이상, 선택적으로는 하나 초과의 A 그리고 하나 이상, 선택적으로는 하나 초과의 B 를 포함하는(그리고 선택적으로는 다른 요소들을 포함) 것 등을 나타낼 수 있다.

청구 범위들에서, 뿐만 아니라 상기 명세서에서, "포함하는(comprising)", "포함하는(including)", "운반하는(carrying)", "갖는(having)", "갖는(containing)", "수반하는(involving)", "유지하는(holding)", "구성되는(composed of)" 등과 같은 모든 전환 어구들은 오픈 엔드형인 것으로, 즉 이들을 포함하지만 이들로 제한되지는 않는 것으로 이해된다. 단지 "~로 이루어지는" 그리고 "본질적으로는 ~ 로 이루어지는" 은, 특허 심사 절차들의 미국 특허 사무국 메뉴얼, 섹션 2111.03 에 명시된 바와 같이, 각각 클로즈형(closed) 또는 세미 클로즈형 전환 어구들이어야 한다.

100 다중 감지 스테레오 비전 시스템
200 스테레오 센서 헤드
300 레이저 스캐닝 메커니즘
400 발광 다이오드(LED)

Claims (45)

1. 자율주행 차량용 스테레오 비전 시스템으로서,
   공동 및 적어도 하나의 외부 표면을 형성하는 하우징;
   상기 공동 내이고, 적어도 하나의 장착 표면을 형성하는 단일 프레임;
   상기 적어도 하나의 장착 표면에 장착되며, 제1 시계(perspective)로부터 환경의 이미지들을 획득하기 위한 제1 촬영기;
   상기 적어도 하나의 장착 표면에 장착되며, 상기 제1 시계와 상이한 제2 시계로부터 환경의 이미지들을 획득하기 위한 제2 촬영기; 및,
   프로세싱 유닛의 집단을 더 포함하고,
   상기 프로세싱 유닛의 집단은 상기 하우징의 제1 위치 내에 제공되는 제1 프로세싱 유닛을 포함하고, 상기 제1 촬영기 및 상기 제2 촬영기에 의하여 획득되는 상기 이미지들에 기초하여 하나 이상의 변위 맵을 생성하도록 작동 가능하고,
   상기 프로세싱 유닛의 집단의 제2 프로세싱 유닛은 상기 제1 촬영기와 상기 제2 촬영기에 의하여 획득되는 상기 이미지들과, 상기 제1 프로세싱 유닛에 의하여 생성된 상기 하나 이상의 변위 맵을 이용하여 환경에 대한 정보를 결정하는 스테레오 비전 시스템.
2. 청구항 1에 있어서,
   상기 단일 프레임은 재료의 하나의 피스로 구성되는 스테레오 비전 시스템.
3. 청구항 1에 있어서,
   상기 제1 촬영기 및 제2 촬영기는 동일 평면 상에 배치되는 스테레오 비전 시스템.
4. 청구항 1에 있어서,
   상기 제1 촬영기는 제1 평면에 배치되고, 상기 제2 촬영기는 상기 제1 평면에 평행한 제2 평면에 배치되는 스테레오 비전 시스템.
5. 청구항 1에 있어서,
   상기 제1 촬영기는 제1 평면에 배치되고, 상기 제2 촬영기는 상기 제1 평면과 교차하는 제2 평면에 배치되는 스테레오 비전 시스템.
6. 청구항 1에 있어서,
   상기 적어도 하나의 장착 표면에 상기 제1 촬영기 및 제2 촬영기 중 적어도 하나를 체결하는 적어도 하나의 핀 및 적어도 하나의 볼트 중 적어도 하나를 더 포함하는 스테레오 비전 시스템.
7. 청구항 1에 있어서,
   상기 제1 프로세싱 유닛에 상기 제2 촬영기를 결합하는 가요성 케이블을 더 포함하는 스테레오 비전 시스템.
8. 청구항 1에 있어서,
   상기 공동 내에 배치되고 상기 적어도 하나의 외부 표면과 열 전달하는 내부 벽을 더 포함하는 스테레오 비전 시스템.
9. 청구항 8에 있어서,
   적어도 상기 제2 프로세싱 유닛에 의해 생성된 열은 상기 내부 벽을 통하여 상기 적어도 하나의 외부 표면으로 전도하여 적어도 상기 제2 프로세싱 유닛에 의하여 생성된 열을 소실시키도록 하기 위하여, 상기 공동 내에 배치되고, 상기 내부 벽 및 적어도 상기 제2 프로세싱 유닛과 열 전달하는 열 전도성 재료를 더 포함하는 스테레오 비전 시스템.
10. 청구항 1에 있어서,
    상기 제2 프로세싱 유닛은 필드 프로그램 가능 게이트 어레이(FPGA)인 스테레오 비전 시스템.
11. 청구항 1에 있어서,
    상기 제2 프로세싱 유닛은 상기 자율주행 차량의 위치를 결정하도록 더 작동 가능한 스테레오 비전 시스템.
12. 청구항 1에 있어서,
    상기 제2 프로세싱 유닛은 상기 제1 촬영기 및 상기 제2 촬영기에 의하여 획득된 이미지들과, 상기 제1 프로세싱 유닛에 의하여 생성된 하나 이상의 변위 맵에 기초하여 하나 이상의 이동하는 대상의 위치를 결정하도록 더 작동 가능한 스테레오 비전 시스템.
13. 청구항 1에 있어서,
    상기 제1 촬영기 및 상기 제2 촬영기로부터의 이미지를 정정하기 위하여 정정 프로세싱 블록을 더 포함하는 스테레오 비전 시스템.
14. 청구항 1에 있어서,
    상기 제1 프로세싱 유닛은 상기 제1 촬영기 및 상기 제2 촬영기에 신호를 별개로 작동시키기 위한 로직을 포함하며, 신호가 각각의 상기 제1 촬영기 및 상기 제2 촬영기에 동시에 수신되도록 하는 스테레오 비전 시스템.
15. 청구항 1 내지 청구항 14 중 어느 한 항에 있어서,
    상기 환경에서 레이저 광으로 하나 이상의 대상을 비추는 레이저; 및
    상기 하나 이상의 대상에 의해 분산 및/또는 반사되는 레이저 광을 검출하고 상기 검출된 상기 레이저 광을 기초로 하여 상기 하나 이상의 대상에 대한 거리를 나타내는 범위 신호를 제공하는 센서를 더 포함하고,
    상기 센서 및 레이저는 상기 하우징의 상부에 장착되는 스테레오 비전 시스템.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제

Images