JP7543632B2 - Systems and methods for handling thermal compensation - Patents.com - Google Patents
Systems and methods for handling thermal compensation - Patents.com Download PDFInfo
- Publication number
- JP7543632B2 JP7543632B2 JP2022190728A JP2022190728A JP7543632B2 JP 7543632 B2 JP7543632 B2 JP 7543632B2 JP 2022190728 A JP2022190728 A JP 2022190728A JP 2022190728 A JP2022190728 A JP 2022190728A JP 7543632 B2 JP7543632 B2 JP 7543632B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- parameters
- temperature
- compensated
- projection device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000010586 diagram Methods 0.000 description 8
- 238000010438 heat treatment Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、ストラクチャードライト（structured light）３Ｄシステムで使用されるシステム及び方法に関し、より具体的には、ストラクチャードライト３Ｄシステムの熱補償を扱うシステム及び方法に関する。 The present invention relates to systems and methods for use in structured light 3D systems, and more specifically to systems and methods for handling thermal compensation in structured light 3D systems.
ストラクチャードライト３Ｄシステムは、投影装置、画像キャプチャ装置、及び処理装置で構成される。処理装置は、投影装置に関連する参照画像と画像キャプチャ装置からのキャプチャ画像とに従って深度マップを生成する。画像キャプチャ装置及び投影装置は、温度の変化及びコンポーネントウォームアップの影響を受けやすい。熱的な影響は、投影装置の投影像における歪み、並びにキャプチャ画像及び参照画像におけるピクセルドリフトにつながる。従って、正確な深度マップを得るために、投影装置及び画像キャプチャ装置に対してどのように熱補償を扱うかが、解決すべき重要な問題である。 The structured light 3D system is composed of a projection device, an image capture device, and a processing device. The processing device generates a depth map according to a reference image associated with the projection device and a captured image from the image capture device. The image capture device and the projection device are susceptible to temperature changes and component warm-up. Thermal effects lead to distortions in the projected image of the projection device and pixel drift in the captured image and reference image. Therefore, how to handle thermal compensation for the projection device and the image capture device to obtain an accurate depth map is an important problem to be solved.
故に、本発明は、上述の問題を解決するための熱補償を扱う装置及び方法を提供する。 The present invention therefore provides an apparatus and method for dealing with thermal compensation to solve the above-mentioned problems.
熱補償を扱うシステムは、画像キャプチャ装置であり、第１画像をキャプチャするように構成されたキャプチャ回路、及び当該画像キャプチャ装置の第１温度を検出するように構成された第１センシング回路、を有する画像キャプチャ装置と、投影装置であり、当該投影装置の第２温度を検出するように構成された第２センシング回路、を有する投影装置と、画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、及び投影装置に関連する参照画像を格納するように構成された記憶装置と、処理装置であり、第１温度及び複数の第１パラメータに従って第１画像を補償して、第１の補償された画像を生成し、第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成し、第１の補償された画像及び第２の補償された画像に従って第２画像を生成する、ように構成された処理回路を有する処理装置と、を有する。 A system for handling thermal compensation includes an image capture device having a capture circuit configured to capture a first image and a first sensing circuit configured to detect a first temperature of the image capture device, a projection device having a second sensing circuit configured to detect a second temperature of the projection device, a storage device configured to store a plurality of first parameters associated with the image capture device, a plurality of second parameters associated with the projection device, and a reference image associated with the projection device, and a processing device having a processing circuit configured to: compensate the first image according to the first temperature and the plurality of first parameters to generate a first compensated image, compensate the reference image according to the second temperature and the plurality of second parameters to generate a second compensated image, and generate a second image according to the first compensated image and the second compensated image.
熱補償を扱う方法は、第１画像をキャプチャし、画像キャプチャ装置の第１温度を検出し、投影装置の第２温度を検出し、画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、及び投影装置に関連する参照画像を格納し、第１温度及び複数の第１パラメータに従って第１画像を補償して、第１の補償された画像を生成し、第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成し、そして、第１の補償された画像及び第２の補償された画像に従って第２画像を生成する、ことを有する。 A method for handling thermal compensation includes capturing a first image, detecting a first temperature of an image capture device, detecting a second temperature of a projection device, storing a plurality of first parameters associated with the image capture device, a plurality of second parameters associated with the projection device, and a reference image associated with the projection device, compensating the first image according to the first temperature and the plurality of first parameters to generate a first compensated image, compensating the reference image according to the second temperature and the plurality of second parameters to generate a second compensated image, and generating a second image according to the first compensated image and the second compensated image.
様々な図及び図面に示される好適実施形態の以下の詳細な説明を読んだ後、本発明のこれら及び他の目的が当業者に明らかになるであろう。 These and other objects of the present invention will become apparent to those skilled in the art after reading the following detailed description of the preferred embodiments that are illustrated in the various figures and drawings.
図１は、本発明の一実施形態に従ったシステム１００の概略図である。システム１００は、ストラクチャードライト３Ｄシステムとし得る。図１において、システム１００は、画像キャプチャ装置１１０、投影装置１２０、記憶装置１３０、及び処理装置１４０を有する。画像キャプチャ装置１１０は、キャプチャ回路１１２及び第１センシング回路１１４を有する。キャプチャ回路１１２は、第１画像をキャプチャするように構成される。第１センシング回路１１４は、画像キャプチャ装置１１０の第１温度を検出（例えば、測定）するように構成される。投影装置１２０は第２センシング回路１２２を有する。第２センシング回路１２２は、投影装置１２０の第２温度を検出（例えば、測定）するように構成される。記憶装置１３０は、画像キャプチャ装置１１０に関連する複数の第１パラメータ、投影装置１２０に関連する複数の第２パラメータ、及び投影装置１２０に関連する参照画像（例えば、グランドトゥルース画像）を格納するように構成される。処理装置１４０は、画像キャプチャ装置１１０、投影装置１２０、及び記憶装置１３０に結合され、処理回路１４２を有する。処理回路１４２は、第１温度及び複数の第１パラメータに従って第１画像を補償して、第１の補償された画像を生成し、第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成し、第１の補償された画像及び第２の補償された画像に従って第２画像（例えば、深度マップ）を生成するように構成される。 1 is a schematic diagram of a system 100 according to an embodiment of the present invention. The system 100 may be a structured light 3D system. In FIG. 1, the system 100 includes an image capture device 110, a projection device 120, a storage device 130, and a processing device 140. The image capture device 110 includes a capture circuit 112 and a first sensing circuit 114. The capture circuit 112 is configured to capture a first image. The first sensing circuit 114 is configured to detect (e.g., measure) a first temperature of the image capture device 110. The projection device 120 includes a second sensing circuit 122. The second sensing circuit 122 is configured to detect (e.g., measure) a second temperature of the projection device 120. The storage device 130 is configured to store a plurality of first parameters associated with the image capture device 110, a plurality of second parameters associated with the projection device 120, and a reference image (e.g., a ground truth image) associated with the projection device 120. The processing device 140 is coupled to the image capture device 110, the projection device 120, and the storage device 130, and includes a processing circuit 142. The processing circuit 142 is configured to compensate the first image according to a first temperature and a plurality of first parameters to generate a first compensated image, compensate the reference image according to a second temperature and a plurality of second parameters to generate a second compensated image, and generate a second image (e.g., a depth map) according to the first compensated image and the second compensated image.
一実施形態において、画像キャプチャ装置１１０は、モニタ、ビデオカメラ、カメラ、又は上記のいずれかの組み合わせであるが、ここで限定されるものではない。一実施形態において、投影装置１２０は、バイオスコープ、プロジェクタ、又は上記のいずれかの組み合わせであるが、ここで限定されるものではない。一実施形態において、記憶装置１３０は、処理装置１４０に外部接続されたり、処理装置１４０内に配置されたりするが、ここで限定されるものではない。一実施形態において、第１／第２センシング回路１１４／１２２は、装置の温度を検出するセンサ（例えば、温度計）であるが、ここで限定されるものではない。 In one embodiment, the image capture device 110 is, but is not limited to, a monitor, a video camera, a camera, or any combination of the above. In one embodiment, the projection device 120 is, but is not limited to, a bioscope, a projector, or any combination of the above. In one embodiment, the storage device 130 is, but is not limited to, externally connected to the processing device 140 or located within the processing device 140. In one embodiment, the first/second sensing circuit 114/122 is, but is not limited to, a sensor (e.g., a thermometer) that detects the temperature of the device.
一実施形態において、投影装置１２０は更に投影回路を有する。投影回路は、設計画像（例えば、参照画像）を投影するように構成される。一実施形態において、処理装置１４０は更に受信回路を有する。受信回路は、画像キャプチャ装置１１０から第１画像及び第１温度を受信し、投影装置１２０から第２温度を受信し、記憶装置１３０から複数の第１パラメータ、複数の第２パラメータ、及び参照画像を受信するように構成される。一実施形態において、受信回路は、他の装置／回路からデータを受信（例えば、取得、ロード）する中央演算処理ユニット（ＣＰＵ）であるが、ここで限定されるものではない。 In one embodiment, the projection device 120 further comprises a projection circuit. The projection circuit is configured to project a design image (e.g., a reference image). In one embodiment, the processing device 140 further comprises a receiving circuit. The receiving circuit is configured to receive a first image and a first temperature from the image capture device 110, a second temperature from the projection device 120, and a plurality of first parameters, a plurality of second parameters, and a reference image from the storage device 130. In one embodiment, the receiving circuit is a central processing unit (CPU) that receives (e.g., retrieves, loads) data from other devices/circuits, but is not limited thereto.
一実施形態において、第１温度及び複数の第１パラメータに従って第１画像を補償して第１の補償された画像を生成するステップは、（例えば、補間法を用いることによって）第１温度及び複数の第１パラメータに従って第１補間画像を生成し、第１補間画像に従って第１画像を補償して第１の補償された画像を生成することを有する。一実施形態において、第２温度及び複数の第２パラメータに従って参照画像を補償して第２の補償された画像を生成するステップは、（例えば、補間法を用いることによって）第２温度及び複数の第２パラメータに従って第２補間画像を生成し、第２補間画像に従って参照画像を補償して第２の補償された画像を生成することを有する。一実施形態において、処理回路１４２は、第１の補償された画像及び第２の補償された画像に深度デコーディングを使用することによって第２画像を生成する。 In one embodiment, compensating the first image according to the first temperature and the plurality of first parameters to generate the first compensated image comprises generating a first interpolated image according to the first temperature and the plurality of first parameters (e.g., by using an interpolation method) and compensating the first image according to the first interpolated image to generate the first compensated image. In one embodiment, compensating the reference image according to the second temperature and the plurality of second parameters to generate the second compensated image comprises generating a second interpolated image according to the second temperature and the plurality of second parameters (e.g., by using an interpolation method) and compensating the reference image according to the second interpolated image to generate the second compensated image. In one embodiment, the processing circuit 142 generates the second image by using depth decoding on the first compensated image and the second compensated image.
一実施形態において、複数の第１パラメータは、第１温度と第１画像の第１ピクセルシフトとの間の第１関係（例えば、テーブル）を含む。一実施形態において、複数の第１パラメータは、第１画像の複数の第１ピクセルシフトパラメータを含み、複数の第１ピクセルシフトパラメータは第１温度と関連付けられる。一実施形態において、複数の第１パラメータは、画像キャプチャ装置１１０の複数の第１レンズ歪み係数を含み、複数の第１レンズ歪み係数は第１温度と関連付けられる。第１関係と複数の第１レンズ歪み係数とを、記憶装置１３０によって格納されるテーブルへと結合し得るが、ここで限定されるものではない。 In one embodiment, the first parameters include a first relationship (e.g., a table) between the first temperature and a first pixel shift of the first image. In one embodiment, the first parameters include a first pixel shift parameter of the first image, the first pixel shift parameter being associated with the first temperature. In one embodiment, the first parameters include a first lens distortion coefficient of the image capture device 110, the first lens distortion coefficient being associated with the first temperature. The first relationship and the first lens distortion coefficient may be combined into a table stored by the storage device 130, but is not limited thereto.
一実施形態において、複数の第２パラメータは、第２温度と参照画像の第２ピクセルシフトとの間の第２関係（例えば、テーブル）を含む。一実施形態において、複数の第２パラメータは、参照画像の複数の第２ピクセルシフトパラメータを含み、複数の第２ピクセルシフトパラメータは第２温度と関連付けられる。 In one embodiment, the second parameters include a second relationship (e.g., a table) between the second temperature and a second pixel shift of the reference image. In one embodiment, the second parameters include a second pixel shift parameter of the reference image, the second pixel shift parameter being associated with the second temperature.
図２は、本発明の一実施形態に従ったシステム２００の概略図である。システム２００は、ストラクチャードライト３Ｄシステムとし得る。図２において、システム２００は、画像キャプチャ装置２１０、投影装置２２０、記憶装置２３０、処理装置２４０、及び第３センシング回路２５０を有する。キャプチャ回路２１２と第１センシング回路２１４とを有する画像キャプチャ装置２１０、第２センシング回路２２２を有する投影装置２２０、記憶装置２３０、処理回路２４２を有する処理装置２４０については、それぞれ、図１の画像キャプチャ装置１１０、投影装置１２０、記憶装置１３０、及び処理装置１４０を参照することができる。図１の実施形態を図２に適用することができ、簡潔さのため、ここで説明することはしない。図２では、第３センシング回路２５０が、周囲温度（例えば、環境温度）を検出（例えば、測定）するように構成されている。一実施形態において、第３センシング回路２５０は、温度を検出するセンサ（例えば、温度計）であるが、ここで限定されるものではない。 2 is a schematic diagram of a system 200 according to an embodiment of the present invention. The system 200 may be a structured light 3D system. In FIG. 2, the system 200 includes an image capture device 210, a projection device 220, a storage device 230, a processing device 240, and a third sensing circuit 250. The image capture device 210 having the capture circuit 212 and the first sensing circuit 214, the projection device 220 having the second sensing circuit 222, the storage device 230, and the processing device 240 having the processing circuit 242 may refer to the image capture device 110, the projection device 120, the storage device 130, and the processing device 140 in FIG. 1, respectively. The embodiment of FIG. 1 may be applied to FIG. 2, and will not be described here for brevity. In FIG. 2, the third sensing circuit 250 is configured to detect (e.g., measure) an ambient temperature (e.g., environment temperature). In one embodiment, the third sensing circuit 250 is a sensor (e.g., a thermometer) that detects temperature, but is not limited thereto.
図２において、記憶装置２３０は、画像キャプチャ装置２１０及び周囲温度に関連する複数の第３パラメータを格納するとともに、投影装置２２０及び周囲温度に関連する複数の第４パラメータを格納する。処理回路２４２は、第１温度、複数の第１パラメータ、周囲温度、及び複数の第３パラメータに従って第１画像を補償して、第１の補償された画像を生成する。処理回路２４２は、第２温度、複数の第２パラメータ、周囲温度、及び複数の第４パラメータに従って参照画像を補償して、第２の補償された画像を生成する。そして、処理回路２４２は、第１の補償された画像及び第２の補償された画像に従って、第２画像（例えば、深度マップ）を生成する。 2, the storage device 230 stores a plurality of third parameters related to the image capture device 210 and the ambient temperature, and stores a plurality of fourth parameters related to the projection device 220 and the ambient temperature. The processing circuitry 242 compensates the first image according to the first temperature, the plurality of first parameters, the ambient temperature, and the plurality of third parameters to generate a first compensated image. The processing circuitry 242 compensates the reference image according to the second temperature, the plurality of second parameters, the ambient temperature, and the plurality of fourth parameters to generate a second compensated image. The processing circuitry 242 then generates a second image (e.g., a depth map) according to the first compensated image and the second compensated image.
一実施形態において、複数の第３パラメータは、周囲温度と第１画像の第３ピクセルシフトとの間の第３関係（例えば、テーブル）を含む。一実施形態において、複数の第３パラメータは、第１画像の複数の第３ピクセルシフトパラメータを含み、複数の第３ピクセルシフトパラメータは周囲温度と関連付けられる。一実施形態において、複数の第３パラメータは、画像キャプチャ装置２１０の複数の第２レンズ歪み係数を含み、複数の第２レンズ歪み係数は周囲温度と関連付けられる。第３関係と複数の第２レンズ歪み係数とを、記憶装置２３０によって格納されるテーブルへと結合し得るが、ここで限定されるものではない。 In one embodiment, the third parameters include a third relationship (e.g., a table) between the ambient temperature and the third pixel shift of the first image. In one embodiment, the third parameters include a third pixel shift parameter of the first image, the third pixel shift parameter being associated with the ambient temperature. In one embodiment, the third parameters include a second lens distortion coefficient of the image capture device 210, the second lens distortion coefficient being associated with the ambient temperature. The third relationship and the second lens distortion coefficient may be combined into a table stored by the storage device 230, but is not limited thereto.
一実施形態において、複数の第４パラメータは、周囲温度と参照画像の第４ピクセルシフトとの間の第４関係（例えば、テーブル）を含む。一実施形態において、複数の第４パラメータは、参照画像の複数の第４ピクセルシフトパラメータを含み、複数の第４ピクセルシフトパラメータは周囲温度と関連付けられる。 In one embodiment, the plurality of fourth parameters includes a fourth relationship (e.g., a table) between ambient temperature and a fourth pixel shift of the reference image. In one embodiment, the plurality of fourth parameters includes a plurality of fourth pixel shift parameters of the reference image, the plurality of fourth pixel shift parameters being associated with ambient temperature.
上記のピクセルシフトパラメータ（例えば、複数の第１ピクセルシフトパラメータ、複数の第２ピクセルシフトパラメータ、複数の第３ピクセルシフトパラメータ、及び複数の第４ピクセルシフトパラメータ）は、画像キャプチャ装置１１０／２１０及び／又は投影装置１２０／２２０に関する（１つ以上の）多項式によって測定され得るが、ここで限定されるものではない。上記のピクセルシフトパラメータはチャンバ内で測定され得るが、ここで限定されるものではない。 The pixel shift parameters (e.g., the first pixel shift parameters, the second pixel shift parameters, the third pixel shift parameters, and the fourth pixel shift parameters) may be measured by (one or more) polynomials related to the image capture device 110/210 and/or the projection device 120/220, but are not limited thereto. The pixel shift parameters may be measured in a chamber, but are not limited thereto.
図１において、システム１００は、画像キャプチャ装置１１０及び投影装置１２０のコンポーネントの自己加熱を考慮して、画像キャプチャ装置１１０によってキャプチャされた画像及び投影装置１２０に関連する参照画像を、画像キャプチャ装置１１０及び投影装置１２０の温度に関連するパラメータに従って補償する。図２において、システム２００は、画像キャプチャ装置２１０及び投影装置２２０のコンポーネントの自己加熱を考慮するだけでなく、周囲温度も考慮する。従って、システム２００は、画像キャプチャ装置２１０によってキャプチャされた画像及び投影装置２２０に関連する参照画像を、周囲温度に関連するパラメータ、並びに画像キャプチャ装置２１０及び投影装置２２０の温度に関連するパラメータに従って補償する。すなわち、システム１００は、周囲温度が変化しない（例えば、周囲温度が一定である）、又は周囲温度の変化が無視できるほど小さい（例えば、温度差が３度未満である）ときに実現されることができ、システム２００は、周囲温度が変化する（例えば、周囲温度が一定でない）ときに実現されることができる。 In FIG. 1, the system 100 considers the self-heating of the components of the image capture device 110 and the projection device 120, and compensates the image captured by the image capture device 110 and the reference image associated with the projection device 120 according to a parameter related to the temperature of the image capture device 110 and the projection device 120. In FIG. 2, the system 200 not only considers the self-heating of the components of the image capture device 210 and the projection device 220, but also considers the ambient temperature. Thus, the system 200 compensates the image captured by the image capture device 210 and the reference image associated with the projection device 220 according to a parameter related to the ambient temperature, as well as a parameter related to the temperature of the image capture device 210 and the projection device 220. That is, the system 100 can be realized when the ambient temperature does not change (e.g., the ambient temperature is constant) or the change in the ambient temperature is negligibly small (e.g., the temperature difference is less than 3 degrees), and the system 200 can be realized when the ambient temperature changes (e.g., the ambient temperature is not constant).
図３は、本発明の一実施形態に従った画像キャプチャ装置のピクセルシフトパラメータと温度との間の関係図である。図３は、図１－図２における複数の第１パラメータとすることができ、Ｘ軸とＹ軸を示している。Ｘ軸は、基準温度（例えば、２０度）と画像キャプチャ装置１１０／２１０の温度との温度差（ΔＴ）を表している。Ｙ軸は、画像キャプチャ装置１１０／２１０に関するピクセルシフトパラメータ（倍率の変動）を表している。ピクセルシフトパラメータは、モジュールＭ１－Ｍ３に従って、モジュールあたり３回、チャンバ内で測定されている。モジュールＭ１－Ｍ３は同じ倍率で実行されている。モジュールＭ１－Ｍ３は、画像キャプチャ装置１１０／２１０に関する異なる条件（例えば、異なる多項式）を表す。 3 is a diagram of the relationship between pixel shift parameters and temperature of an image capture device according to an embodiment of the present invention. FIG. 3 shows an X-axis and a Y-axis, which may be a number of first parameters in FIGS. 1-2. The X-axis represents the temperature difference (ΔT) between a reference temperature (e.g., 20 degrees) and the temperature of the image capture device 110/210. The Y-axis represents the pixel shift parameters (variation in magnification) for the image capture device 110/210. The pixel shift parameters are measured in the chamber according to modules M1-M3, three times per module. Modules M1-M3 are run at the same magnification. Modules M1-M3 represent different conditions (e.g., different polynomials) for the image capture device 110/210.
図４は、本発明の一実施形態に従った投影装置のピクセルシフトパラメータと温度との間の関係図である。図４は、図１－図２における複数の第２パラメータとすることができ、Ｘ軸とＹ軸を示している。Ｘ軸は、基準温度（例えば、２０度）と投影装置１２０／２２０の温度との温度差（ΔＴ）を表している。Ｙ軸は、投影装置１２０／２２０に関するピクセルシフトパラメータ（倍率の変動）を表している。ピクセルシフトパラメータは、モジュールＭ４－Ｍ６に従ってチャンバ内で測定されており、モジュールＭ４－Ｍ６は倍率ＳＦ１及びＳＦ２にて行われている。モジュールＭ４－Ｍ６は、投影装置１２０／２２０に関する異なる条件（例えば、異なる多項式）を表す。 Figure 4 is a diagram of the relationship between pixel shift parameters and temperature of a projection device according to an embodiment of the present invention. Figure 4 shows X-axis and Y-axis, which may be multiple second parameters in Figures 1-2. The X-axis represents the temperature difference (ΔT) between a reference temperature (e.g., 20 degrees) and the temperature of the projection device 120/220. The Y-axis represents the pixel shift parameters (variation in magnification) for the projection device 120/220. The pixel shift parameters are measured in a chamber according to modules M4-M6, which are performed at magnifications SF1 and SF2. Modules M4-M6 represent different conditions (e.g., different polynomials) for the projection device 120/220.
図５は、システム１００の動作を例示するための、本発明の一例に従ったプロセス５００のフローチャートである。プロセス５００は以下のステップを含む。 Figure 5 is a flow chart of a process 500 according to an example of the present invention to illustrate the operation of the system 100. The process 500 includes the following steps:
ステップ５０２：第１画像をキャプチャする。 Step 502: Capture a first image.
ステップ５０４：画像キャプチャ装置の第１温度を検出する。 Step 504: Detect a first temperature of the image capture device.
ステップ５０６：投影装置の第２温度を検出する。 Step 506: Detect a second temperature of the projection device.
ステップ５０８：画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、及び投影装置に関連する参照画像を記憶装置からロードする。 Step 508: Load from storage a plurality of first parameters associated with the image capture device, a plurality of second parameters associated with the projection device, and a reference image associated with the projection device.
ステップ５１０：第１温度及び複数の第１パラメータに従って画像を補償して、第１の補償された画像を生成する。 Step 510: Compensate the image according to the first temperature and the first plurality of parameters to generate a first compensated image.
ステップ５１２：第２温度及び複数の第２パラメータに従って参照画像を補償して、第２の補償された画像を生成する。 Step 512: Compensate the reference image according to the second temperature and the plurality of second parameters to generate a second compensated image.
ステップ５１４：第１の補償された画像及び第２の補償された画像に従って第２画像を生成する。 Step 514: Generate a second image according to the first compensated image and the second compensated image.
プロセス５００は、システム１００の動作を説明するために使用されている。プロセス５００の詳細な説明及びバリエーションについては、先の説明を参照することができ、ここで説明することはしない。 The process 500 is used to explain the operation of the system 100. For detailed explanations and variations of the process 500, reference can be made to the previous description and will not be described here.
図６は、システム２００の動作を例示するための、本発明の一例に従ったプロセス６００のフローチャートである。プロセス６００は以下のステップを含む。 FIG. 6 is a flow chart of a process 600 according to an example of the present invention to illustrate the operation of the system 200. The process 600 includes the following steps:
ステップ６０２：第１画像をキャプチャする。 Step 602: Capture a first image.
ステップ６０４：画像キャプチャ装置の第１温度を検出する。 Step 604: Detect a first temperature of the image capture device.
ステップ６０６：投影装置の第２温度を検出する。 Step 606: Detect a second temperature of the projection device.
ステップ６０８：周囲温度を検出する。 Step 608: Detect the ambient temperature.
ステップ６１０：画像キャプチャ装置に関連する複数の第１パラメータ、投影装置に関連する複数の第２パラメータ、画像キャプチャ装置及び周囲温度に関連する複数の第３パラメータ、投影装置及び周囲温度に関連する複数の第４パラメータ、及び投影装置に関連する参照画像を記憶装置からロードする。 Step 610: Loading from the storage device a plurality of first parameters associated with the image capture device, a plurality of second parameters associated with the projection device, a plurality of third parameters associated with the image capture device and ambient temperature, a plurality of fourth parameters associated with the projection device and ambient temperature, and a reference image associated with the projection device.
ステップ６１２：第１温度、複数の第１パラメータ、周囲温度、及び複数の第３パラメータに従って第１画像を補償して、第１の補償された画像を生成する。 Step 612: Compensate the first image according to the first temperature, the plurality of first parameters, the ambient temperature, and the plurality of third parameters to generate a first compensated image.
ステップ６１４：第２温度、複数の第２パラメータ、周囲温度、及び複数の第４パラメータに従って参照画像を補償して、第２の補償された画像を生成する。 Step 614: Compensate the reference image according to the second temperature, the plurality of second parameters, the ambient temperature, and the plurality of fourth parameters to generate a second compensated image.
ステップ６１６：第１の補償された画像及び第２の補償された画像に従って第２画像を生成する。 Step 616: Generate a second image according to the first compensated image and the second compensated image.
プロセス６００は、システム２００の動作を説明するために使用されている。プロセス６００の詳細な説明及びバリエーションについては、先の説明を参照することができ、ここで説明することはしない。 Process 600 is used to explain the operation of system 200. For detailed explanations and variations of process 600, please refer to the previous description and will not be described here.
なお、システム１００及び２００は様々に実現される。例えば、上述の装置／回路は１つ以上の装置／回路に統合され得る。また、システム１００及び２００は、ハードウェア（例えば、回路）、ソフトウェア、ファームウェア（ハードウェア装置と、該ハードウェア装置上の読み出し専用ソフトウェアとして存在するコンピュータ命令及びデータとの組み合わせとして知られる）、電子システム、又は上述の装置の組み合わせによって実現され得るが、ここで限定されるものではない。 It should be noted that systems 100 and 200 may be implemented in various ways. For example, the devices/circuits described above may be integrated into one or more devices/circuits. Systems 100 and 200 may also be implemented by, but are not limited to, hardware (e.g., circuitry), software, firmware (also known as a combination of hardware devices and computer instructions and data that exist as read-only software on the hardware devices), electronic systems, or combinations of the devices described above.
まとめるに、本発明は、熱補償を扱うシステム及び方法を提供する。当該システムは、画像キャプチャ装置によってキャプチャされた画像を、該画像キャプチャ装置の温度に関連するパラメータに従って補償し、投影装置に関連する参照画像を、該投影装置の温度に関連するパラメータに従って補償する。さらに、当該システムは、画像キャプチャ装置によってキャプチャされた画像及び投影装置に関連する参照画像を、周囲温度に関連するパラメータに従って補償し得る。従って、システムにおける熱補償を打開して正確な深度マップを得ることができる。 In summary, the present invention provides a system and method for dealing with thermal compensation. The system compensates an image captured by an image capture device according to a parameter related to the temperature of the image capture device, and compensates a reference image related to a projection device according to a parameter related to the temperature of the projection device. Furthermore, the system may compensate the image captured by the image capture device and the reference image related to the projection device according to a parameter related to the ambient temperature. Thus, the thermal compensation in the system can be overcome to obtain an accurate depth map.
当業者が直ちに気付くことには、発明の教示を保持しながら装置及び方法の数多くの変更及び改変が為され得る。従って、以上の開示は、添付の請求項の境界範囲によってのみ限定されると解釈されるべきである。 Those skilled in the art will immediately recognize that numerous modifications and variations of the apparatus and methods may be made while retaining the teachings of the invention. Accordingly, the above disclosure should be construed as limited only by the metes and bounds of the appended claims.
Claims (14)
画像キャプチャ装置であり、
第１画像をキャプチャするように構成されたキャプチャ回路、及び
当該画像キャプチャ装置の第１温度を検出するように構成された第１センシング回路、
を有する画像キャプチャ装置と、
投影装置であり、
参照画像を投影するように構成された投影回路、及び
当該投影装置の第２温度を検出するように構成された第２センシング回路、
を有する投影装置と、
前記画像キャプチャ装置に関連する複数の第１パラメータ、前記投影装置に関連する複数の第２パラメータ、及び前記参照画像を格納するように構成された記憶装置と、
前記画像キャプチャ装置、前記投影装置、及び前記記憶装置に結合された処理装置であり、
前記第１温度及び前記複数の第１パラメータに従って第１補間画像を生成し、
前記第１補間画像に従って前記第１画像を補償して第１の補償された画像を生成し、
前記第２温度及び前記複数の第２パラメータに従って第２補間画像を生成し、
前記第２補間画像に従って前記参照画像を補償して第２の補償された画像を生成し、
前記第１の補償された画像及び前記第２の補償された画像に従って第２画像を生成する、
ように構成された処理回路、を有する処理装置と、
を有するシステム。 1. A system for handling thermal compensation, comprising:
an image capture device;
a capture circuit configured to capture a first image; and a first sensing circuit configured to detect a first temperature of the image capture device;
an image capture device having
A projection device,
a projection circuit configured to project a reference image; and
a second sensing circuit configured to detect a second temperature of the projection device;
a projection device having
a storage device configured to store a first plurality of parameters associated with the image capture device, a second plurality of parameters associated with the projection device, and the reference image;
a processing device coupled to the image capture device, the projection device, and the storage device;
generating a first interpolated image according to the first temperature and the first plurality of parameters;
compensating the first image according to the first interpolated image to generate a first compensated image;
generating a second interpolated image according to the second temperature and the plurality of second parameters;
compensating the reference image according to the second interpolated image to generate a second compensated image;
generating a second image according to the first compensated image and the second compensated image;
a processing device having a processing circuit configured to
A system having
前記画像キャプチャ装置から前記第１画像及び前記第１温度を受信し、
前記投影装置から前記第２温度を受信し、
前記記憶装置から前記複数の第１パラメータ、前記複数の第２パラメータ、及び前記参照画像を受信する、
ように構成された受信回路、を有する、請求項１に記載のシステム。 The processing device further comprises:
receiving the first image and the first temperature from the image capture device;
receiving the second temperature from the projection device;
receiving the first parameters, the second parameters, and the reference image from the storage device;
2. The system of claim 1, further comprising a receiving circuit configured to:
を更に有する請求項１に記載のシステム。 a third sensing circuit configured to detect an ambient temperature;
The system of claim 1 further comprising:
参照画像を投影し、
第１画像をキャプチャし、
画像キャプチャ装置の第１温度を検出し、
投影装置の第２温度を検出し、
前記画像キャプチャ装置に関連する複数の第１パラメータ、前記投影装置に関連する複数の第２パラメータ、及び前記参照画像を格納し、
前記第１温度及び前記複数の第１パラメータに従って第１補間画像を生成し、
前記第１補間画像に従って前記第１画像を補償して第１の補償された画像を生成し、
前記第２温度及び前記複数の第２パラメータに従って第２補間画像を生成し、
前記第２補間画像に従って前記参照画像を補償して第２の補償された画像を生成し、
前記第１の補償された画像及び前記第２の補償された画像に従って第２画像を生成する、
ことを有する方法。 1. A method for dealing with thermal compensation, comprising:
Projecting a reference image,
Capturing a first image;
Detecting a first temperature of the image capture device;
Detecting a second temperature of the projection device;
storing a first plurality of parameters associated with the image capture device, a second plurality of parameters associated with the projection device, and the reference image;
generating a first interpolated image according to the first temperature and the first plurality of parameters;
compensating the first image according to the first interpolated image to generate a first compensated image;
generating a second interpolated image according to the second temperature and the plurality of second parameters;
compensating the reference image according to the second interpolated image to generate a second compensated image;
generating a second image according to the first compensated image and the second compensated image;
How to have that.
前記画像キャプチャ装置及び前記周囲温度に関連する複数の第３パラメータを格納し、
前記投影装置及び前記周囲温度に関連する複数の第４パラメータを格納する、
ことを更に有する請求項９に記載の方法。 Detects the ambient temperature,
storing a third plurality of parameters related to the image capture device and the ambient temperature;
storing a plurality of fourth parameters related to the projection device and the ambient temperature;
10. The method of claim 9 , further comprising:
ことを更に有する請求項１２に記載の方法。 compensating the first image according to the first temperature, the plurality of first parameters, the ambient temperature, and the plurality of third parameters to generate the first compensated image.
The method of claim 12 further comprising:
ことを更に有する請求項１２に記載の方法。 compensating the reference image according to the second temperature, the plurality of second parameters, the ambient temperature, and the plurality of fourth parameters to generate the second compensated image.
The method of claim 12 further comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022190728A JP7543632B2 (en) | 2022-11-29 | 2022-11-29 | Systems and methods for handling thermal compensation - Patents.com |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022190728A JP7543632B2 (en) | 2022-11-29 | 2022-11-29 | Systems and methods for handling thermal compensation - Patents.com |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024078282A JP2024078282A (en) | 2024-06-10 |
| JP7543632B2 true JP7543632B2 (en) | 2024-09-03 |
Family
ID=91377253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022190728A Active JP7543632B2 (en) | 2022-11-29 | 2022-11-29 | Systems and methods for handling thermal compensation - Patents.com |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7543632B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015111101A (en) | 2013-11-05 | 2015-06-18 | キヤノン株式会社 | Information processing apparatus and method |
| US20180061056A1 (en) | 2016-08-30 | 2018-03-01 | Microsoft Technology Licensing, Llc | Temperature Compensation for Structured Light Depth Imaging System |
-
2022
- 2022-11-29 JP JP2022190728A patent/JP7543632B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015111101A (en) | 2013-11-05 | 2015-06-18 | キヤノン株式会社 | Information processing apparatus and method |
| US20180061056A1 (en) | 2016-08-30 | 2018-03-01 | Microsoft Technology Licensing, Llc | Temperature Compensation for Structured Light Depth Imaging System |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024078282A (en) | 2024-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5531194B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US9781412B2 (en) | Calibration methods for thick lens model | |
| JP2009165106A (en) | Image distortion correction | |
| US20190246052A1 (en) | Image sensing apparatus and black level correction method thereof and computer readable medium | |
| KR20160095911A (en) | Optical image stabilizer for camera module and gain calbration method thereof | |
| EP3276955A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| US7495691B2 (en) | Image processing apparatus | |
| US11792374B1 (en) | System and method for handling a thermal compensation | |
| JP7543632B2 (en) | Systems and methods for handling thermal compensation - Patents.com | |
| CN114071096A (en) | Projection optical machine, projection image position compensation method thereof and projection equipment | |
| KR102692235B1 (en) | System and method for handling a thermal compensation | |
| EP4379312A1 (en) | System and method for handling a thermal compensation | |
| CN110398297B (en) | Driver module and method for determining an ambient air temperature of a driver module | |
| JP6532328B2 (en) | Image processing apparatus, control method therefor, and control program | |
| JP2013017155A (en) | Image processor, image processing method, image processing program and storage medium | |
| JP6980480B2 (en) | Imaging device and control method | |
| CN106878616B (en) | Method and system for automatically determining dynamic photo focus based on mobile terminal | |
| KR20070098263A (en) | Compensation apparatus of defected pixel and compensation method of defected pixel | |
| CN115460394B (en) | Structured light scanning system with thermal compensation | |
| JP2012211834A (en) | Pattern inspection device and pattern inspection method | |
| JP2010026994A (en) | Image processing method, image processing apparatus and image processing system | |
| JP2019213193A (en) | Infrared imaging apparatus and program used for the same | |
| JP5506374B2 (en) | Imaging apparatus and control method thereof | |
| JP6273764B2 (en) | Image processing device | |
| US20230306566A1 (en) | Image processing apparatus, image processing method, and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240408 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240723 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240802 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7543632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |