JPWO2019012857A1 - 撮像装置、画像生成方法 - Google Patents

Abstract

撮像装置の姿勢変化に伴って偏光フィルタ効果が変化してしまうことの防止を図る。本技術に係る撮像装置は、第一の偏光方向の光を受光可能な第一の画素と、第一の偏光方向と異なる第二の偏光方向の光を受光可能な第二の画素とを含む撮像部と、撮像部の姿勢を検出する検出部と、第一及び第二の画素の信号に基づいて、検出部の検出結果に応じた偏光方向に対応する画像を生成する画像生成部と、を備えている。これにより、特定の偏光方向に対応した画像、すなわち偏光フィルタ効果を与えたことに相当する画像として、撮像部の姿勢変化に応じた偏光方向に対応する画像を生成することが可能とされる。

Description

本技術は、撮像装置、及び画像生成方法に関するものであり、特には、任意偏光方向の直線偏光を選択的に受光して得られる偏光画像を信号処理により生成する場合に適用して好適な技術に関する。

例えば、撮像装置のレンズに取り付けた回転自在な偏光フィルタにより、水面やガラスの表面反射を抑えたり、空の青みを調整するといったことが可能とされる。使用者は、偏光フィルタの回転角度を調整することで、フィルタ効果の効き具合を調整することができる。

なお、関連する従来技術については下記特許文献１を挙げることができる。

国際公開第２００８／０９９５８９号

上記のような偏光フィルタを用いた撮像を行う場合において、例えば撮像装置の姿勢を横向きから縦向きに回転させる等した場合には、偏光フィルタは撮像装置と一体に回転し、撮像画像に得られる偏光フィルタ効果にも変化が生じてしまう。
この場合、姿勢変化前と同様の偏光フィルタ効果を得るためには、偏光フィルタの回転角度を再調整することを要する。

本技術は上記の事情に鑑み為されたものであり、撮像装置の姿勢変化に伴って偏光フィルタ効果が変化してしまうことの防止を図ることを目的とする。

本技術に係る撮像装置は、第一の偏光方向の光を受光可能な第一の画素と、前記第一の偏光方向と異なる第二の偏光方向の光を受光可能な第二の画素とを含む撮像部と、前記撮像部の姿勢を検出する検出部と、前記第一及び第二の画素の信号に基づいて、前記検出部の検出結果に応じた偏光方向に対応する画像を生成する画像生成部と、を備えるものである。

これにより、特定の偏光方向に対応した画像、すなわち偏光フィルタ効果を与えたことに相当する画像として、撮像部の姿勢変化に応じた偏光方向に対応する画像を生成することが可能とされる。

上記した本技術に係る撮像装置においては、前記画像生成部は、回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における前記偏光フィルタの回転角度に相当する仮想フィルタ角度を設定し、前記検出部の検出結果に基づいて補正された前記仮想フィルタ角度に基づき、前記画像を生成することが望ましい。

これにより、撮像部の姿勢変化をキャンセルするように補正された仮想フィルタ角度による画像を得ることが可能とされる。

上記した本技術に係る撮像装置においては、前記撮像部は、それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列され、前記画像生成部は、前記画素ユニットに含まれる前記複数の画素の受光信号と、前記仮想フィルタ角度と受光信号値との関係を表す関数情報とに基づき、前記検出部の検出結果に基づいて補正された前記仮想フィルタ角度に相当する偏光方向に対応する画像を生成することが望ましい。

これにより、撮像部の姿勢が変化しても偏光フィルタ効果は不変となる。

上記した本技術に係る撮像装置においては、前記仮想フィルタ角度を操作入力可能とされることが望ましい。

これにより、使用者の操作による偏光フィルタ効果の調整を可能とする。

上記した本技術に係る撮像装置においては、前記操作入力が回転操作子による操作入力とされることが望ましい。

これにより、回転自在な偏光フィルタを回転操作する場合と同様の操作感を使用者に提供することが可能とされる。

上記した本技術に係る撮像装置においては、前記画像生成部は、前記画素ユニットに含まれる前記複数の画素の受光信号に基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、前記偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされると共に、操作に応じて前記仮想偏光画像と前記仮想通常画像を生成し分けることが望ましい。

これにより、偏光フィルタ効果のＯＮ／ＯＦＦを使用者が操作により指示可能となる。

上記した本技術に係る撮像装置においては、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を表示部に表示させる表示制御部を備えることが望ましい。

これにより、偏光フィルタ効果を使用者に確認させることが可能とされる。また、仮想フィルタ角度を操作により指定可能とされる場合には、操作に対する偏光フィルタ効果の変化を使用者に確認させることが可能とされる。

上記した本技術に係る撮像装置においては、前記撮像部は、それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列され、前記画像生成部は、前記画素ユニットに含まれる前記複数の画素の受光信号に基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、前記偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされ、前記表示制御部は、前記表示部において前記仮想偏光画像と前記仮想通常画像の何れか一方が表示中に行われた所定操作に基づき、前記表示部の表示状態を前記仮想偏光画像と前記仮想通常画像の何れか一方が表示された状態から前記仮想偏光画像と前記仮想通常画像の何れか他方が表示された状態に切り替えることが望ましい。

これにより、偏光フィルタ効果の有無を使用者に把握させ易くなる。

上記した本技術に係る撮像装置においては、前記表示制御部は、前記所定操作が継続中の間、前記仮想偏光画像と前記仮想通常画像の何れか他方の表示状態を維持させ、前記所定操作の終了に応じて前記仮想偏光画像と前記仮想通常画像の何れか一方の表示状態に切り替えることが望ましい。

これにより、使用者は、仮想偏光画像と仮想通常画像の何れか他方を表示させた後に何れか一方の表示状態に戻したいとしたときは、所定操作を終了すればよい。

上記した本技術に係る撮像装置においては、前記仮想フィルタ角度を操作入力可能とされ、前記画像生成部は、前記仮想フィルタ角度を前記操作入力された角度よりも大きな角度としたときの前記仮想偏光画像である増角画像、又は、前記仮想フィルタ角度を前記操作入力された角度よりも小さな角度としたときの前記仮想偏光画像である減角画像の少なくとも一方を生成し、前記表示制御部は、前記増角画像又は前記減角画像の少なくとも一方を前記表示部に表示させることが望ましい。

これにより、仮想フィルタ角度を現在の指示角度から増角した場合、又は減角した場合にそれぞれ偏光フィルタ効果がどのように変化するかを使用者に確認させることが可能とされる。

上記した本技術に係る撮像装置においては、前記仮想フィルタ角度の入力操作が回転操作子による入力操作とされ、前記表示制御部は、前記増角画像を表示させる場合は、前記増角画像に対応する表示位置に前記仮想フィルタ角度を大きくするための前記回転操作子の回転方向情報を、前記減角画像を表示させる場合は前記減角画像に対応する表示位置に前記仮想フィルタ角度を小さくするための前記回転操作子の回転方向情報をそれぞれ表示させることが望ましい。

これにより、所望の偏光フィルタ効果を得るにあたり回転操作子をどちらの方向に回転させればよいかを使用者に直感的に理解させることが可能とされる。

上記した本技術に係る撮像装置においては、操作による被写体の指定を受け付ける受付部を備え、前記画像生成部が、前記画素ユニットに含まれる前記複数の画素の受光信号と前記関数情報とに基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を生成可能とされると共に、前記画像生成部は、前記指定された被写体の光を受光する画素位置における受光信号値に基づいた前記関数情報を取得し、該関数情報に基づき、前記画素位置の受光信号値を所定条件が満足される値とする前記仮想フィルタ角度を目標角度として計算し、前記目標角度を前記検出部の検出結果に基づき補正して補正角度を得、前記仮想フィルタ角度を前記補正角度としたときの前記仮想偏光画像を生成することが望ましい。

これにより使用者は、被写体を指定する操作を行うことで、所望の被写体の光反射態様が所定条件を満たす態様に調整された仮想偏光画像を得ることができる。

上記した本技術に係る撮像装置においては、前記画像生成部は、前記目標角度として、前記画素位置の受光信号値を略最小とする前記仮想フィルタ角度を計算することが望ましい。

これにより使用者は、被写体を指定する操作を行うことで、所望の被写体の反射が除去されるように調整された仮想偏光画像を得ることができる。

上記した本技術に係る撮像装置においては、前記撮像部による撮像画像を表示部に表示させる表示制御部を備え、前記受付部は、前記表示部の表示画面に対するタッチ操作により行われる前記被写体の指定を受け付けることが望ましい。

これにより、被写体の指定操作が容易化される。

上記した本技術に係る撮像装置においては、表示部を制御する表示制御部を備え、前記画像生成部は、前記撮像部における所定の画素位置ごとに、前記関数情報に基づいて前記仮想フィルタ角度の変化に対する前記受光信号値の変化度合いを表す値をフィルタ効果期待値として計算し、前記表示制御部は、前記フィルタ効果期待値の大きさを表す期待値情報が前記所定の画素位置ごとに表された期待値画像を前記表示部に表示させることが望ましい。

これにより使用者は、画像内のどの位置で高いフィルタ効果が期待できるかを事前に把握することが可能とされる。

上記した本技術に係る撮像装置においては、前記表示制御部は、前記期待値画像を前記撮像部による撮像画像に重畳表示させることが望ましい。

これにより使用者は、高いフィルタ効果が期待できる位置を被写体との位置関係から具体的に把握することが可能とされる。

上記した本技術に係る撮像装置においては、前記表示制御部は、前記撮像画像としてモノクロ画像を、前記期待値画像としてモノクロ以外の特定色による画像を表示させることが望ましい。

これにより、撮像画像と期待値画像の重畳表示によって互いの画像の視認性が低下することの抑制が図られる。

上記した本技術に係る撮像装置においては、前記画像生成部は、前記フィルタ効果期待値として偏光度を計算することが望ましい。

これにより、期待値情報の信頼性を高めることが可能とされる。

上記した本技術に係る撮像装置においては、前記撮像部は、偏光スプリッタと、所定数の受光素子を有し該受光素子が前記偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して前記反射光を受光する第一種の画素と、所定数の受光素子を有し該受光素子が前記分離面を透過した透過光の光軸に略直交する受光面を有して前記透過光を受光する第二種の画素と、を有した画素対を複数備え、隣接関係にある前記画素対において、前記偏光スプリッタにおける前記分離面の偏光軸の面内角度が異なっていることが望ましい。

上記の撮像部においては、一つの画素対（一つの画素位置）につき、偏光方向が直交関係にある２種の直線偏光を選択的に受光可能とされ、また、隣接関係にある二つの画素対においては、偏光方向がそれぞれ異なる４種の直線偏光を選択的に受光可能とされる。

また、本技術に係る画像生成方法は、第一の偏光方向の光を受光可能な第一の画素と、前記第一の偏光方向と異なる第二の偏光方向の光を受光可能な第二の画素とを含む撮像部を有する撮像装置について、前記撮像部の姿勢を検出する検出ステップと、前記第一及び第二の画素の信号に基づいて、前記検出ステップの検出結果に応じた偏光方向に対応する画像を生成する画像生成ステップと、を前記撮像装置が実行するものである。
このような画像生成方法によっても、上記した本技術に係る撮像装置と同様の作用が得られる。

本技術によれば、撮像装置の姿勢変化に伴って偏光フィルタ効果が変化してしまうことの防止を図ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

実施形態としての撮像装置とレンズ装置の外観例を示した図である。 実施形態としての撮像装置の内部構成を説明するためのブロック図である。 一般的な撮像装置により回転自在な偏光フィルタを介して撮像を行った場合の偏光フィルタ効果の説明図である。 実施形態としての撮像装置が備える撮像部の構造についての説明図である。 実施形態における仮想通常画像の生成手法についての説明図である。 実施形態における関数のフィッティングについての説明図である。 実施形態における関数の例の説明図である。 実施形態の回転キャンセル手法についての説明図である。 実施形態としての回転キャンセル手法を実現するための処理手順を示したフローチャートである。 使用者に偏光フィルタ効果を確認させるための処理例を示したフローチャートである。 指定角画像、増角画像、減角画像、回転方向情報の表示例を示した図である。 指定角画像、増角画像、減角画像、回転方向情報の表示を実現するための処理を例示したフローチャートである。 実施形態におけるタッチモードの説明図である。 実施形態における受付部に相当する処理のフローチャートである。 実施形態における目標角度としての仮想フィルタ角度の計算に係る処理のフローチャートである。 前記目標角度に基づく仮想偏光画像の生成に係る処理例を示したフローチャートである。 表示部における期待値画像の表示例を示した図である。 偏光度の説明図である。 期待値画像の表示のために画像生成部が行うべき処理例を示したフローチャートである。 従来技術に基づき構成することのできる撮像システムの概要を例示した図である。 変形例としての撮像装置の内部構成を示したブロック図である。 変形例における仮想偏光画像生成のための処理を示したフローチャートである。 変形例としての撮像部の構造についての説明図である。 変形例としての撮像部を用いた場合における第一偏光画像〜第四偏光画像、及び仮想通常画像の生成手法の例について説明するための図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図２７に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。

以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

＜１．実施形態の撮像装置＞
［1-1．撮像装置の構成概要］
［1-2．偏光フィルタ効果について］
［1-3．回転キャンセル手法］
［1-4．処理手順］
［1-5．偏光フィルタ効果の確認］
［1-6．モニタ表示の工夫］
［1-7．タッチモード］
［1-8．期待値表示モード］
＜２．変形例＞
［2-1．第一変形例］
［2-2．第二変形例］
＜３．応用例＞
＜４．実施形態のまとめ＞
＜５．その他変形例＞
＜６．本技術＞

＜１．実施形態の撮像装置＞
［1-1．撮像装置の構成概要］

図１に、本技術に係る実施形態としての撮像装置１とレンズ装置２の外観例を示す。
本実施形態の撮像装置１は、レンズ交換可能な撮像装置とされ、図１ではレンズ装置２が装着された状態の撮像装置１の外観例を表している。図１Ａ、図１Ｂは、それぞれ撮像装置１を正面視、右側面視した際の概略外観図である。

ここで、以下の説明では、撮像装置の前後上下左右の各方向を次のように定義する。
前方向は、撮像装置の撮像方向（被写体に近づく側の方向）に一致する方向であり、後方向は、前方向とは逆側の方向である。
上下、左右の各方向は、撮像装置により得られる撮像画像における垂直方向、水平方向（水平ライン方向）を基準に定まる方向である。具体的には、撮像画像に映し出された被写体の天地方向、水平方向と、撮像画像の垂直方向、水平方向とが一致するように撮像装置の姿勢がとられたときの上下、左右の各方向である。
本例では、左、右の各方向については、使用者の視点を基準に定義している。すなわち、撮像装置を後方から見たときの左方向、右方向とそれぞれ一致する方向である。
図１Ａでは、紙面手前方向、奥方向がそれぞれ撮像装置１の前方向、後方向に一致し、紙面上方向、下方向がそれぞれ撮像装置１の上方向、下方向に一致し、紙面左方向、右方向がそれぞれ撮像装置１の右方向、左方向に一致している。

本例の撮像装置１は、例えばレンズ交換式ミラーレス一眼タイプのデジタルカメラ装置として構成され、内部に例えばＣＣＤ（Charge Coupled Devices）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等による撮像素子１２（図１では不図示）を有している。

撮像装置１には、シャッタボタン１ａや、シャッタボタン１ａ以外のボタン操作子１ｂ等、使用者が各種入力を行うための操作子が設けられている。

レンズ装置２には、前端部にカバーレンズ２ａが配置され、カバーレンズ２ａを介した被写体からの光が撮像装置１における撮像素子１２の撮像面に導かれる。
また、本例のレンズ装置２には、回転操作される例えば操作リングとしての回転操作子２ｂが設けられている。回転操作子２ｂは、本例ではレンズ装置２のレンズ鏡筒の外径と略同径の外径を有し、例えばレンズ装置２の前端部付近に位置されている。

図２は、撮像装置１の内部構成を説明するためのブロック図であり、撮像装置１の内部構成と共にレンズ装置２の内部構成を併せて示している。
先ず、レンズ装置２は、上記した回転操作子２ｂと共に、光学系３、光学系駆動部４及び回転角検出部５を備えている。
光学系３は、前述したカバーレンズ２ａや不図示のズームレンズ、フォーカスレンズ等の各種レンズや絞り機構を備える。この光学系３により、被写体からの光が撮像素子１２の撮像面に集光される。

光学系駆動部４は、撮像装置１における後述する制御部３０の制御に基づいて、光学系３におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部４は、制御部３０の制御に基づいて、光学系３における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部４は、制御部３０の制御に基づいて、光学系３におけるズームレンズを駆動し、ズーム動作を実行する。

回転角検出部５は、回転操作子２ｂの回転角度を検出する。回転角検出部５は、撮像装置１における制御部３０に接続され、制御部３０は回転操作子２ｂの回転角度情報を取得可能とされる。

撮像装置１は、撮像部１１、記憶部１４、通信部１５、表示部１６、角度検出部１７、操作部１８、デジタル信号処理部２０、及び制御部３０を有する。
撮像部１１は、撮像素子１２を有し、撮像素子１２での光電変換で得た電気信号について例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のデジタル信号処理部２０に出力する。
なお、本実施形態における撮像部１１の構造については後述する。

ここで、本明細書において「撮像画像」といったときは、撮像に基づき得られる画像を広く意味するものとする。すなわち、撮像部１１で得られる画像（各画素の受光信号値の集合）のみでなく、該画像から所要の信号処理を介して生成される画像（例えば、後述する第一偏光画像〜第四偏光画像や仮想偏光画像、仮想通常画像等）も含む語であるとする。
また、本明細書において「撮像」とは、撮像素子１２において受光信号を得るまでの動作を意味するものとする。

デジタル信号処理部２０は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このデジタル信号処理部２０は、撮像部１１からのデジタル信号（撮像画像データ）に対して、各種の信号処理を施す。
本実施形態におけるデジタル信号処理部２０は、偏光画像生成部２１、コーデック部２２、及び表示データ生成部２３を少なくとも有している。

偏光画像生成部２１は、撮像部１１からのデジタル信号に基づき、後述する仮想通常画像や仮想偏光画像の生成を行う。なお、偏光画像生成部２１が行う処理については改めて説明する。

コーデック部２２は、偏光画像生成部２１により生成された画像データについて、例えば記録用や通信用の符号化処理を行う。
表示データ生成部２３は、制御部３０の制御に従って、表示部１６に出力する例えばスルー画としての表示データを生成する。このスルー画としての表示データは、基本的には解像度変換された撮像画像データとしての各フレームのデータである。
また表示データ生成部２３は制御部３０の指示に基づいて、各種のガイド画像、キャラクタ画像、操作用画像等を、例えばスルー画等の画像に重畳させる形式で表示部１６に表示させる処理も行う。
なお図２では、表示データ生成部２３はデジタル信号処理部２０で実行される機能構成として示しているが、これは一例であり、制御部３０によって処理が実行されてもよい。

制御部３０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを備えたマイクロコンピュータ（演算処理装置）により構成される。
ＣＰＵがＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、撮像装置１全体を統括的に制御する。
ＲＡＭは、ＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

このような制御部３０は、デジタル信号処理部２０における各種信号処理の指示、使用者の操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。

また、制御部３０は、表示制御部３１としての機能を有している。表示制御部３１は、表示データ生成部２３が生成したスルー画等の各種画像を表示部１６に表示させる制御を行う。
さらに制御部３０は、受付部３２としての機能を有する。受付部３２は、後述するように表示部１６に形成されたタッチパネルの操作等、所定操作による被写体の指定を受け付ける。
なお、これら表示制御部３１及び受付部３２については後に改めて説明する。

表示部１６は、使用者（撮像者等）に対して各種表示を行う表示部であり、例えば撮像装置１の筐体上に形成されるＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されてもよい。
表示部１６は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、制御部３０の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、表示データ生成部２３からの表示データによるスルー画をディスプレイデバイスの画面上に表示させる。また各種操作メニュー、アイコン、メッセージ、ガイド表示等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。また表示ドライバは、スルー画に重畳して所要の画像を表示させることもできる。

角度検出部１７は、自装置、すなわち撮像装置１の姿勢を検出するための例えばジャイロセンサ（角速度センサ）、加速度センサ等の所定センサを有しており、自装置の撮像方向に略直交する面内での回転角度（以下「装置回転角度」と表記する）を少なくとも検出する。
本例における角度検出部１７は、撮像装置１が正立状態、すなわち撮像装置１の上、下方向と天、地方向とが略一致した状態を装置回転角度＝０ｄｅｇとして検出する。
角度検出部１７が検出した装置回転角度の情報は制御部３０に送信される。制御部３０は、装置回転角度の情報を用いて各種制御を行うことができる。特に、本例では、装置回転角度の情報はデジタル信号処理部２０（偏光画像生成部２１）により取得され、後述する実施形態としての処理に用いられる。

なお、装置回転角度は、例えばデジタル信号処理部２０による画像処理によって検出することもできる。例えば、撮像部１１からの毎フレームの撮像画像において複数の特徴点を抽出し、それら特徴点の回転を検出する信号処理等を挙げることができる。

また、本例では、撮像部１１が撮像装置１と一体に姿勢変化することを前提とし、撮像装置１の装置回転角度を検出する例としているが、後述する回転キャンセル手法の実現にあたっては、回転角度（撮像方向に略直交する面内での回転角度）としては、撮像部１１（撮像素子１２）の回転角度を検出すればよい。

操作部１８は、使用者の操作を入力する入力機能を有し、入力された操作に応じた信号を制御部３０へ送る。
この操作部１８としては、例えば撮像装置１の筐体上に設けられた各種操作子や、表示部１６に形成されたタッチパネルなどとして実現される。筐体上の操作子としては、前述したシャッタボタン１ａやボタン操作子１ｂを始めとして、十字キー、スライドキー等の各種操作子が設けられる。

記憶部１４は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル（コンテンツファイル）や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式で記憶される。
記憶部１４の実際の形態は多様に考えられる。例えば記憶部１４は、撮像装置１に内蔵されるフラッシュメモリでもよいし、撮像装置１に着脱できるメモリカード（例えば可搬型のフラッシュメモリ）と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

通信部１５は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ（静止画ファイルや動画ファイル）の通信を行う。
また、ネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

［1-2．偏光フィルタ効果について］

図３は、一般的な撮像装置により回転自在な偏光フィルタを介して撮像を行った場合の偏光フィルタ効果の説明図である。
図３では、偏光フィルタの偏光軸Ｐを模式的に表している。また、図中の横向き破線は水平線を模式的に表している。
例えば、偏光軸Ｐと水平線がなす角度ａが図３Ａに示す角度であるときを基準として考える。図３Ａの状態から偏光フィルタを図中矢印方向に回転させると、図３Ｂのように偏光軸Ｐも回転され、角度ａが変化する。本例では、偏光軸Ｐが図３Ｂの角度ａのとき、撮像画像において一部被写体の反射が図３Ａのときより低減されるとする。
図３Ａ、図３Ｂでは、撮像装置を横向き姿勢としているが、図３Ｂの状態から図３Ｃのように撮像装置が縦向き姿勢とされたとする。このような姿勢変化が生じると、偏光軸Ｐと水平線がなす角度ａも変化するため、撮像画像における偏光フィルタ効果に変化が生じる。ここでは、図３Ｃの姿勢変化により角度ａが図３Ａの場合と同様となった場合を例示しており、図３Ｃの撮像画像は図３Ａの撮像画像とほぼ一致している（偏光フィルタ効果がほぼ一致している）。

仮に、図３Ｂで得られた偏光フィルタ効果が使用者の望むものであったとすると、使用者は、図３Ｂ→図３Ｃのように姿勢変化させた場合には、角度ａが図３Ｂの場合と一致するように偏光フィルタを再度回転させることを強いられる（図３Ｄ参照）。すなわち、使用者は、一旦、自身が望む偏光フィルタ効果が得られるように偏光フィルタの回転角度調整を行ったにもかかわらず、再度の調整操作を行うことを強いられる。
このような事態は、使用者に不要な操作負担を強いるもので望ましくない。

そこで本実施形態では、撮像装置の回転に伴って偏光フィルタ効果が変化してしまうことの防止を図る。

図４は、撮像装置１が備える撮像部１１の構造についての説明図であり、図４Ａは概略縦断面図、図４Ｂは概略正面図である。
撮像部１１においては、撮像素子１２の撮像面上に光学部材１３が配置されている。撮像素子１２においては、複数の受光素子１２ａが二次元（縦横方向）に配列されており、光学部材１３においては、受光素子１２ａごとに、受光面上に位置する偏光フィルタ１３ａが形成されている。

図４Ｂでは、各偏光フィルタ１３ａの偏光軸の向き（角度）を両矢印で模式的に示しているが、該両矢印を参照して分かるように、偏光フィルタ１３ａとしては偏光軸の角度が４５ｄｅｇずつ異なる４種が用いられている。
以下では仮に、紙面の横方向、つまり撮像素子１２の横方向（水平ライン方向）と一致する方向が水平方向（水平線）と一致するものとし、横向きの両矢印で表す偏光軸の角度を「０ｄｅｇ」、縦向きの両矢印で表す偏光軸の角度を「９０ｄｅｇ」、右上がり（左下がり）に傾斜した両矢印で表す偏光軸の角度を「４５ｄｅｇ」、左上がり（右下がり）に傾斜した両矢印で表す偏光軸の角度を「１３５ｄｅｇ」と表記する。

撮像素子１２において、各受光素子１２ａ（つまり本例では各画素）は、受光面上に配置された対応する偏光フィルタ１３ａの偏光軸角度に一致する角度の直線偏光を選択的に受光することになる。

本例では、縦２×横２＝４つの受光素子１２ａが一つの画素ユニットＵを構成し、画素ユニットＵにおいては、各受光素子１２ａ上の偏光フィルタ１３ａの偏光軸が４５ｄｅｇずつ異なっている。
撮像部１１においては、このような画素ユニットＵが縦方向及び横方向に複数配列されている。

上記のように偏光方向が異なる直線偏光を選択的に受光可能とした撮像部１１を用いることで、偏光の情報を得ることができる。
具体的に、偏光方向が異なる直線偏光をそれぞれ個別に受光した複数の受光信号値を用いることで、偏光フィルタの偏光軸の角度と受光素子１２ａで得られる受光信号値（輝度値）との関係を表す関数を求めることができる。これはすなわち、回転可能な偏光フィルタを介した光を受光して撮像画像を得ると仮定した際における、該偏光フィルタの回転角度と受光信号値（輝度値）との関係を表す関数が求まることを意味する。
ここで以下、上記のように回転可能な偏光フィルタを介した光を受光して撮像画像を得ると仮定した際における該偏光フィルタの回転角度のことを、「仮想フィルタ角度」と表示する。また、上記の関数を「関数Ｆ」と表記する。
関数Ｆは、具体的にはｃｏｓカーブとされる。このｃｏｓカーブを用いることで、仮想フィルタ角度を任意角度とした場合に得られる受光信号値を求めることができる。すなわち、任意の偏光フィルタ効果を与えた画像を得ることができる。

また、上記のような撮像部１１を用いた場合、互いの偏光方向が９０ｄｅｇ異なる二つの直線偏光の受光信号値同士を加算することで、光学部材１３による偏光の分離をキャンセルした撮像画像、すなわち、偏光フィルタ効果をゼロとした通常の撮像画像に相当する画像を得ることができる。
以下、このように偏光フィルタ効果をゼロとした通常の撮像画像に相当する画像のことを「仮想通常画像」と表記する。

図２に示した偏光画像生成部２１が行う仮想通常画像の生成、及び関数Ｆのフィッティングについて図５乃至図７を参照して説明する。
図５は、仮想通常画像の生成手法についての説明図である。
図５Ａでは、撮像部１１における画素配列を各偏光フィルタ１３ａの偏光軸角度の表記と共に模式的に表している。

先ず、後述するように、本例のｃｏｓカーブのフィッティングでは、各画素位置において０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの４種の直線偏光の受光信号値を得ることを前提としている。
一方で、撮像部１１においては、偏光フィルタ１３ａの偏光軸が０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの画素は、図５Ｂで表すように縦方向及び横方向においてそれぞれ間欠的に配置されているため、そのままでは各画素位置について４種の直線偏光の受光信号値を得ることはできない。
このため、０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの各直線偏光について、図５Ｃに示すようにそれぞれ受光信号値が欠落する画素位置の受光信号値を対応する直線偏光が受光される画素の受光信号値を用いて補間し、各画素位置で０ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第一偏光画像」と表記）、各画素位置で９０ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第二偏光画像」と表記）、各画素位置で４５ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第三偏光画像」と表記）、各画素位置で１３５ｄｅｇの直線偏光を選択的に受光したことに相当する画像（以下「第四偏光画像」と表記）をそれぞれ生成する。

上述のように仮想通常画像は、各画素位置において、偏光方向が９０ｄｅｇ異なる二つの直線偏光の受光信号値同士を加算することで得られる。
具体的には、第一偏光画像の各画素位置の受光信号値に対し、第二偏光画像におけるそれぞれ同一画素位置の受光信号値を加算するか、或いは、第三偏光画像の各画素位置の受光信号値に対し、第四偏光画像におけるそれぞれ同一画素位置の受光信号値を加算することにより得ることができる。
図５Ｄは、このように第一偏光画像と第二偏光画像、又は第三偏光画像と第四偏光画像から仮想通常画像が生成されることを模式的に表している。

図６は、関数Ｆ（ｃｏｓカーブ）のフィッティングについての説明図であり、図６Ａは撮像部１１の或る画素位置について得られた四つの直線偏光についての受光信号値（輝度値）の例を、図６Ｂはこれら四つの受光信号値（輝度値）とｃｏｓカーブとの関係を例示している。
これら図６Ａ、図６Ｂより、各画素位置において四つの直線偏光の受光信号値が得られることで、ｃｏｓカーブをフィッティングできることが分かる。

関数Ｆとしてのｃｏｓカーブは、図７に示すように受光信号値を「Ｉ」、受光信号値の最大値、最小値をそれぞれ「Ｉｍａｘ」「Ｉｍｉｎ」、仮想フィルタ角度を「θpol」、「θpol」のオフセットを「Φ」としたとき、以下の［式１］で表される。

［式１］は、次の［式２］に変換することができる。

［式２］において「Ａ」は振幅、「φ」は原点からの位相ずれ、「ｃ」は「ｙ」のオフセットである。

ｃｏｓカーブのフィッティングは、０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの直線偏光をそれぞれ受光した四つの受光信号値を用いて、次の「式３」に基づいて最小二乗法により行う。すなわち、「Ｊ」を最小とする「ｙ」を求める。

［式３］において、「Ｉｎ」は実測値、すなわち対象とする画素位置について得られた０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの直線偏光についての受光信号値である。
上記「式３」により求まった「Ｊ」を最小とする「ｙ」が実測値にフィッティングされたｃｏｓカーブである。

ｃｏｓカーブがフィッティングされれば、該ｃｏｓカーブに任意の仮想フィルタ角度の値を代入することで、対象とする画素位置について、任意回転角度による偏光フィルタを介して受光素子１２ａが光を受光したときの受光信号値（該画素位置の輝度値）が得られる。なお、［式２］において、「仮想フィルタ角度」に相当する項は「（π／２）＊ｎ」である。

上記のようなｃｏｓカーブのフィッティング、及びｃｏｓカーブと任意の仮想フィルタ角度とを用いた輝度値の計算を各画素位置について行うことで、任意回転角度の偏光フィルタを介して撮像素子１２により撮像を行って得られる画像に相当する画像を得ることができる。
以下、上記のようにフィッティングしたｃｏｓカーブと任意の仮想フィルタ角度とに基づいて生成される画像のことを「仮想偏光画像」と表記する。

偏光画像生成部２１は上記のような手法により、各受光素子１２ａの受光信号値に基づいて仮想偏光画像、仮想通常画像の生成を行う。

なお、上記説明では、仮想偏光画像の解像度の低下防止を図るため、補間画像としての第一偏光画像、第二偏光画像、第三偏光画像、第四偏光画像を生成する例を挙げたが、画素ユニットＵは同じ画素位置であるとみなして、画素ユニットＵごとに４種の受光信号値に基づくｃｏｓカーブのフィッティングを行うことも可能である。

また、ｃｏｓカーブのフィッティングは、画素位置ごとに４種の直線偏光の受光信号値を用いることは必須でなく、少なくとも３種の直線偏光の受光信号値を用いれば行うことが可能である。本例では、画素位置ごとに４種の直線偏光の受光信号値を用い上記のような最小二乗法を用いたフィッティングとしていることで、対ノイズ性を高めたより高精度なフィッティングを実現している。

本実施形態の撮像装置１においては、撮像部１１で得られた信号に基づいて仮想偏光画像を生成する偏光撮像モードと、仮想通常画像を生成する通常撮像モードとが設けられ、これら偏光撮像モードと通常撮像モードとを使用者の操作に基づき切り替え可能とされている。具体的に、制御部３０は、例えば図１に示したボタン操作子１ｂの操作等、所定操作に基づいて偏光撮像モード／通常撮像モードのモード切替を行う。
偏光撮像モード中には、制御部３０における表示制御部３１は、偏光画像生成部２１で生成された仮想偏光画像がスルー画として表示部１６に表示されるように表示データ生成部２３を制御する。また、表示制御部３１は、通常撮像モード中においては、偏光画像生成部２１で生成された仮想通常画像がスルー画として表示部１６に表示されるように表示データ生成部２３を制御する。

また、本実施形態では、レンズ装置２に設けられた回転操作子２ｂが、仮想偏光画像の生成に用いる仮想フィルタ角度の指示入力操作子として機能する。
具体的に、制御部３０は、偏光撮像モード中においては、回転角度検出部５が検出した回転操作子２ｂの回転角度の情報を逐次取得し、取得した回転角度の情報を例えば内部のＲＡＭや記憶部１４等、所定の記憶装置に記憶する。
そして、偏光撮像モード中においては、偏光画像生成部２１が上記のように所定の記憶装置に記憶された回転操作子２ｂの回転角度情報を取得し、取得した回転角度情報を用いて仮想偏光画像の生成を行う。
ここで以下、回転角度検出部５が検出する回転操作子２ｂの回転角度を「回転角度α」と表記する。

［1-3．回転キャンセル手法］

図８は、実施形態の回転キャンセル手法についての説明図である。
図８Ａは、撮像装置１が正立状態であるときに、回転操作子２ｂの操作により仮想フィルタ角度として「α」が指示された状態を例示している。ここでは説明上、回転角度αは撮像装置１が正立状態であるときの水平線（図中破線で表す）を基準とした角度であるとしている。
また図中では、上述したｃｏｓカーブを用いた信号処理で実現される仮想的な偏光フィルタの偏光軸を仮想偏光軸Ｐ’として表している。

図８Ａの状態では、仮想偏光軸Ｐ’と水平線がなす角度が「α」であるが、図８Ｂのように撮像装置１がβｄｅｇ傾いた場合、仮想偏光軸Ｐ’と水平線がなす角度が「α」から変化してしまう（「α−β」に変化する）。
図８Ｂのような撮像装置１のβｄｅｇの回転に対し、図８Ａの状態での偏光フィルタ効果を維持するためには、図８Ｃに示すように仮想偏光軸Ｐ’と水平線がなす角度を「α」に戻すようにすればよい。すなわち、回転操作子２ｂにより指示された回転角度「α」に対し、撮像装置１の回転角度（自装置の撮像方向に略直交する面内での回転角度）である「β」を加算し、それにより得られた「α＋β」をｃｏｓカーブに基づく仮想偏光画像の生成に用いる仮想フィルタ角度とすればよい。

本実施形態の偏光画像生成部２１は、制御部３０が角度検出部１７より取得する装置回転角度を上記「β」として取得し、上述した画素位置ごとのｃｏｓカーブに基づく輝度値の計算時において、該「β」と回転角度αとを加算した「α＋β」をｃｏｓカーブに代入すべき仮想フィルタ角度の値として用いる。

これにより、撮像装置１が回転しても偏光フィルタ効果は不変となり、撮像装置１の回転に伴って偏光フィルタ効果が変化してしまうことの防止を図ることができる。

ここで、上記により説明した実施形態としての回転キャンセル手法は、次のように換言できる。すなわち、画素ユニットＵに含まれる複数の画素の受光信号と、仮想フィルタ角度と受光信号値との関係を表す関数情報とに基づき、角度検出部１７の検出結果に基づいて補正された仮想フィルタ角度に相当する偏光方向に対応する画像を生成する、というものである。この際、「仮想フィルタ角度に相当する偏光方向」とは、回転可能な偏光フィルタの回転角度を該仮想フィルタ角度としたときに受光される直線偏光の偏光方向を意味する。また、「偏光方向に対応する画像」とは、単一偏光方向の成分を有する偏光画像を意味する。換言すれば、単一偏光方向による直線偏光を選択的に受光して得られる画像を意味するものである。なお、当該「単一偏光方向による直線偏光を選択的に受光して得られる画像」には、関数Ｆを用いた信号処理で生成される仮想偏光画像等、撮像部１１で得られた信号に対する処理によって生成される画像も含まれる。

［1-4．処理手順］

図９は、上記で説明した実施形態としての回転キャンセル手法を実現するための処理手順を示したフローチャートである。なお、図９に示す処理は、本例では毎フレーム実行される。
先ず、ステップＳ１０１で偏光画像生成部２１は、現在が偏光撮像モード中であるか否かを判定する。偏光撮像モード中であれば、偏光画像生成部２１はステップＳ１０２に進み、回転角度α、及び回転角度βを取得する。すなわち、制御部３０が回転角検出部５より取得した回転操作子２ａの回転角度を「α」として、また制御部３０が角度検出部１７より取得した装置回転角度を「β」としてそれぞれ取得する。
さらに偏光画像生成部２１はステップＳ１０３で、「α＋β」を計算し、続くステップＳ１０４において仮想フィルタ角度を「α＋β」とした場合の仮想偏光画像を生成する。

具体的に、偏光画像生成部２１はステップＳ１０４で、図中のステップＳ２０１〜Ｓ２０３の処理を実行する。
先ずステップＳ２０１で偏光画像生成部２１は、各角度の偏光画像生成処理を行う。具体的には、図５Ｃで説明した第一偏光画像、第二偏光画像、第三偏光画像、第四偏光画像を生成する処理である。
続くステップＳ２０２で偏光画像生成部２１は、画素位置ごとにｃｏｓカーブをフィッティングする処理を行う。すなわち、第一偏光画像、第二偏光画像、第三偏光画像、第四偏光画像の生成によって画素位置ごとに四つ得られる受光信号値を用いて、画素位置ごとに前述した［式３］に基づいてｃｏｓカーブをフィッティングする。
そして、ステップＳ２０３で偏光画像生成部２１は、画素位置ごとにｃｏｓカーブに「α＋β」を代入して輝度値を算出する。
これにより、仮想フィルタ角度を「α＋β」とした場合の仮想偏光画像が得られる。

一方、先のステップＳ１０１で偏光撮像モード中でないと判定した場合、すなわち通常撮像モード中である場合、偏光画像生成部２１はステップＳ１０５で仮想通常画像を生成する。
具体的に、ステップＳ１０５で偏光画像生成部２１は、図中のステップＳ３０１及びＳ３０２の処理を実行する。すなわち、先ずステップＳ３０１で偏光画像生成部２１は、先のステップＳ２０１と同様に各角度の偏光画像生成処理を行う。そして、続くステップＳ３０２で偏光画像生成部２１は、画素位置ごとに、偏光方向が直交する二つの偏光画像の受光信号値を加算する。具体的には、第一偏光画像の各画素位置の受光信号値に対し、第二偏光画像におけるそれぞれ同一画素位置の受光信号値を加算する。或いは、第三偏光画像の各画素位置の受光信号値に対し、第四偏光画像におけるそれぞれ同一画素位置の受光信号値を加算する。
これにより、仮想通常画像が得られる。

偏光画像生成部２１は、ステップＳ１０４又はＳ１０５の何れかの処理を行ったことに応じて図９に示す処理を終える。

ここで、本例の撮像装置１では、偏光撮像モード中におけるシャッタボタン１ａの操作等の所定操作に応じて仮想偏光画像の記録が行われ、通常撮像モード中における該所定操作に応じて仮想通常画像の記録が行われる。
具体的に、制御部３０は、偏光撮像モード中に所定操作を検出したことに応じて、偏光画像生成部２１が生成した仮想偏光画像に基づく静止画像データ、又は動画像データを記憶部１４に記憶させる。また、通常撮像モード中に所定操作を検出したことに応じ、偏光画像生成部２１が生成した仮想通常画像に基づく静止画像データ、又は動画像データを記憶部１４に記憶させる。

なお、仮想偏光画像として静止画像を記録する場合には、ｃｏｓカーブのフィッティング等、仮想偏光画像を生成するための処理は毎フレーム行う必要はなく、シャッタボタン１ａ等による所定操作が行われたタイミングでのフレームについてのみ行うようにすることもできる。

また、上記では、説明上、本技術における「画素」を構成する受光素子１２ａの数が一つである場合を例示したが、撮像装置１による撮像画像（仮想偏光画像、仮想通常画像）としては、カラー画像を生成することもでき、その場合、「画素」には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の受光素子１２ａを少なくとも一つずつ設ける（例えばＲＧＧＢ型では４つの受光素子１２ａを設ける）。すなわち、所定数の受光素子１２ａを有した「画素」ごとに偏光フィルタ１３ａを設けることで、「画素」ごとに偏光方向が異なる直線偏光を選択的に受光させる。
カラー画像とする場合は、画素位置ごとにＲ、Ｇ、Ｂの各受光素子が存在するため、第一偏光画像〜第四偏光画像としてはＲ、Ｇ、Ｂそれぞれを生成することになる。そして、第一偏光画像〜第四偏光画像の各画素位置について行うｃｏｓカーブのフィッティング、及びｃｏｓカーブに基づく仮想偏光画像の生成は、Ｒ、Ｇ、Ｂのそれぞれについて行う。これにより、画素位置ごとにＲ、Ｇ、Ｂそれぞれの受光信号値（輝度値）を有した仮想偏光画像を得ることができる。また、仮想通常画像についても、同様にＲ、Ｇ、Ｂそれぞれの第一偏光画像〜第四偏光画像に基づき、Ｒ、Ｇ、Ｂそれぞれについて生成する。

ここで、上記では、仮想フィルタ角度が操作により設定される例としたが、操作によらず仮想フィルタ角度が設定されてもよい。すなわち、実施形態としての回転キャンセル処理は、操作に限らず設定された或る基準となる仮想フィルタ角度と、撮像部１１の回転角度（装置回転角度）との差に基づいて、撮像部１１の回転角度の変化が仮想偏光画像に及ぼす変化をキャンセルするように行うものであればよい。換言すれば、基準となる仮想フィルタ角度と撮像部１１の回転角度との差に基づいて画像の生成を行うものであればよい。

また、上記では、回転キャンセルにあたり、関数Ｆに基づいた仮想偏光画像の生成を必須とする例を挙げたが、回転キャンセルにあたり関数Ｆに基づいた仮想偏光画像の生成は必須ではない。
例えば、α＋βが０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの何れかに一致する場合にあっては、撮像部１１における受光素子１２ａのうち、α＋βと一致する角度の直線偏光を選択的に受光する受光素子１２ａの受光信号をそのまま用いた画像を回転キャンセルした画像として得ることもできる。
或いは、α＋βが０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの何れかに近接している（例えば差が所定値以下）場合にあっては、撮像部１１における受光素子１２ａのうち該近接している角度の直線偏光を選択的に受光する受光素子１２ａの受光信号をそのまま用いた画像を回転キャンセルした画像として得ることもできる。
このように、回転キャンセルを可能とするにあたっては、撮像部１１の姿勢についての検出結果に応じた偏光方向に対応する画像を生成すればよい。
なお、α＋βが０ｄｅｇ、９０ｄｅｇ、４５ｄｅｇ、１３５ｄｅｇの何れに対しても一致していない、又は近接していないときは、回転キャンセルした画像として、関数Ｆに基づいた仮想偏光画像を生成すればよい。具体的には、関数Ｆに基づき、仮想フィルタ角度＝α＋βとしたときの仮想偏光画像を生成するものである。

［1-5．偏光フィルタ効果の確認］

本実施形態の撮像装置１は、偏光撮像モード中において仮想偏光画像をスルー画として表示部１６に表示している際、所定操作に応じて表示画像を仮想偏光画像から仮想通常画像に切り替える機能を有する。すなわち、このように仮想偏光画像から仮想通常画像の表示に切り替えることで、使用者が偏光フィルタ効果を確認し易くするものである。
この場合の表示切替は、例えば図１に示したボタン操作子１ｂ等、所定のボタン操作子の押圧操作に応じて行う。具体的には、押圧操作が開始されたことに応じて表示画像を仮想偏光画像から仮想通常画像に切り替え、押圧操作が継続中は仮想通常画像の表示状態を維持する。そして、押圧操作の終了に応じて表示画像を仮想通常画像から仮想偏光画像に切り替える。
このような仮想偏光画像／仮想通常画像の切り替えは、制御部３０における表示制御部３１の制御に基づき実現される。

図１０のフローチャートにより、具体的な処理を説明する。
図１０Ａは制御部３０（表示制御部３１）が実行する処理、図１０Ｂは偏光画像生成部２１が実行する処理をそれぞれ示している。なお、図１０Ｂの処理は図９の処理と同様、本例では毎フレーム実行される。
ここで、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号、同一ステップ番号を付して説明を省略する。

図１０Ａにおいて、制御部３０はステップＳ４０１で、表示切替操作としての所定操作（本例では所定ボタンの押圧操作）の有無を確認し、表示切替操作が行われた場合はステップＳ４０２で仮想通常画像の生成指示フラグをＯＮとする。該生成指示フラグは、例えば記憶部１４等における所定の記憶装置に記憶されるフラグであり、偏光画像生成部２１が参照可能なフラグとされる。

ステップＳ４０２に続くステップＳ４０３で制御部３０は、表示切替制御として、表示部１６の表示画像を仮想偏光画像から仮想通常画像に切り替えるための制御を行う。後述するようにステップＳ４０２で生成指示フラグをＯＮとしたことに応じては、偏光画像生成部２１において仮想通常画像が生成されるため、制御部３０はこのように生成された仮想通常画像が表示部１６に表示されるように表示データ生成部２３と表示部１６を制御する。

ステップＳ４０３に続くステップＳ４０４で制御部３０は、先のステップＳ４０１で確認された所定操作の終了を待機（本例では所定ボタンの押圧操作終了を待機）し、所定操作が終了した場合はステップＳ４０５で上記の生成指示フラグをＯＦＦとした上で、ステップＳ４０６で表示切替制御を行う。すなわち、ステップＳ４０２で生成指示フラグをＯＦＦとしたことに応じては偏光画像生成部２１において仮想偏光画像が生成されるため、制御部３０はこのように生成された仮想偏光画像が表示部１６に表示されるように表示データ生成部２３と表示部１６を制御する。

続いて、図１０Ｂにおいて、偏光画像生成部２１は、ステップＳ１０１で偏光撮像モード中と判定したことに応じ、ステップＳ５０１で生成指示フラグがＯＮが否かを判定する。生成指示フラグがＯＮであれば、偏光画像生成部２１はステップＳ１０５に処理を進める。これにより、仮想通常画像の生成が行われる。
一方、生成指示フラグがＯＮでなければ、偏光画像生成部２１はステップＳ１０２に処理を進める。つまり、表示切替操作がない場合には仮想偏光画像の生成が行われる。

なお、通常撮像モード下において仮想通常画像を表示中に行われた所定操作に応じて、表示画像を仮想通常画像から仮想偏光画像に切り替えるようにすることもできる。またこの場合も、所定操作の継続中は仮想偏光画像の表示状態が維持されるようにすることができる。

上記のように所定操作に基づき、表示部１６の表示状態を仮想偏光画像と仮想通常画像の何れか一方が表示された状態から仮想偏光画像と仮想通常画像の何れか他方が表示された状態に切り替えることで、使用者が偏光フィルタ効果の有無を把握し易くなるようにすることができる。

また、上記では、所定操作が継続中の間、仮想偏光画像と仮想通常画像の何れか他方の表示状態を維持させ、所定操作の終了に応じて仮想偏光画像と仮想通常画像の何れか一方の表示状態に切り替えるようにしている。
これにより、使用者は、仮想偏光画像と仮想通常画像の何れか他方を表示させた後に何れか一方の表示状態に戻したいとしたときは、所定操作を終了すればよい。
従って、表示切替に係る操作負担の軽減を図ることができる。

［1-6．モニタ表示の工夫］

仮想偏光画像を表示部１６にスルー画としてモニタ表示するにあたっては、図１１に示すように、現在指示中の仮想フィルタ角度（α）による仮想偏光画像（以下「指示角画像Ｇｒ」と表記）と共に、現在指示中の仮想フィルタ角度よりも大きな仮想フィルタ角としたときの仮想偏光画像（以下「増角画像Ｇａ」と表記）と、現在指示中の仮想フィルタ角度よりも小さな仮想フィルタ角としたときの仮想偏光画像（以下「増角画像Ｇｄ」と表記）とを表示部１６に表示することもできる。
本例では、増角画像Ｇａとしては現在指示中の仮想フィルタ角度に４５ｄｅｇを加算した仮想フィルタ角度（α＋４５）による仮想偏光画像を表示し、減角画像Ｇｄとしては現在指示中の仮想フィルタ角度から４５ｄｅｇを減算した仮想フィルタ角度（α−４５）による仮想偏光画像を表示する。

また、本例は、増角画像Ｇａに対応した表示位置、減角画像Ｇｄに対応した表示位置に、それぞれ仮想フィルタ角度を大きくするための回転操作子２ｂの回転方向情報（図中「Ｍ１」と表記）、仮想フィルタ角度を小さくするための回転操作子２ｂの回転方向情報（図中「Ｍ２」と表記）を表示する。

上記のような増角画像Ｇａ、減角画像Ｇｄ、回転方向情報の表示のために偏光画像生成部２１が行う処理を図１２のフローチャートにより説明する。
先の図９に示した処理との差異点は、ステップＳ１０４の処理に代えてステップＳ１０６の処理を行う点である。すなわち、仮想フィルタ角度をそれぞれ「α＋β」「α＋β＋４５」「α＋β−４５」とした場合の仮想偏光画像を生成する処理である。

ステップＳ１０６の処理としては、図中に示すように、先に説明したステップＳ２０１〜Ｓ２０３の処理に加えて、ステップＳ２０４、Ｓ２０５で、それぞれ画素位置ごとにｃｏｓカーブに「α＋β＋４５」、「α＋β−４５」を代入して輝度値を算出する処理を行う。これにより、偏光画像生成部２１において指定角画像Ｇｒ、増角画像Ｇａ、減角画像Ｇｄとしての仮想偏光画像がそれぞれ生成される。

図示は省略するが、この場合の表示制御部３１は、上記のように生成された指定角画像Ｇｒ、増角画像Ｇａ及び減角画像Ｇｄと、増角画像Ｇａ、減角画像Ｇｄそれぞれに対応する回転方向情報とが表示部１６に表示されるように表示データ生成部２３及び表示部１６を制御する。このとき、表示制御部３１は、増角画像Ｇａに対応する表示位置、減角画像Ｇｄに対応する表示位置にそれぞれ対応する回転方向情報が表示されるようにするための表示データを表示データ生成部２３に生成させる。

上記のように指示角画像Ｇｒと共に増角画像Ｇａと増角画像Ｇｄを表示することで、仮想フィルタ角度を現在の指示角度から増角した場合、減角した場合にそれぞれ偏光フィルタ効果がどのように変化するかを使用者に確認させることが可能とされ、偏光フィルタ効果の調整が容易となるように使用者を支援することができる。

また、増角画像Ｇａに対応する表示位置、減角画像Ｇｄに対応する表示位置にそれぞれ対応する回転方向情報を表示していることで、所望の偏光フィルタ効果を得るにあたり回転操作子２ｂをどちらの方向に回転させればよいかを使用者に直感的に理解させることが可能とされる。
従って、偏光フィルタ効果の調整がより容易となるように使用者を支援することができる。

なお、所望の偏光フィルタ効果を得るにあたり回転操作子２ｂをどちらの方向に回転させればよいかを使用者に理解させるためには、例えば、表示部１６における回転操作子２ｂの増角回転方向側に増角画像Ｇａを、減角回転方向側に減角画像Ｇｄを表示させることもできる。
これにより、回転方向情報を表示する必要がなくなり、表示部１６における表示スペースの有効利用化を図ることができる。

また、上記では、増角画像Ｇａと減角画像Ｇｄを同時に表示する例を挙げたが、これらの少なくとも一方を表示することもできる。増角画像Ｇａと減角画像Ｇｄの何れか一方を表示する場合、回転方向情報としても何れか一方に対応する情報を表示すればよい。

また、増角画像Ｇａ、減角画像Ｇｄの表示は所定条件の成立に応じて開始するものとしてもよい。例えば、回転操作子２ｂ等、仮想フィルタ角度の指示操作子に使用者が触れたことを検知できるようにしておき、該指示操作子に使用者が触れたことが検知されたことに応じ増角画像Ｇａ、減角画像Ｇｄの表示が開始されるようにする等が考えられる。

［1-7．タッチモード］

本実施形態の撮像装置１には、タッチ操作で指定された被写体の光反射態様が所定条件を満たす態様に調整された仮想偏光画像を生成可能とするタッチモードが設けられている。
具体的に、本例のタッチモードは、タッチ操作で指定された被写体の反射が除去される（例えばガラス等の透明物の反射が除去される）ように調整された仮想偏光画像の生成を可能とするモードとされる。

例えば、図１３Ａに示すように、表示部１６にスルー画としての仮想偏光画像が表示されているときに、タッチパネル操作により所要の被写体（図中「Ｔ」）がタッチされたとする。
タッチモード中において、図２に示した受付部３２は、このようなタッチ操作による被写体の指定を受け付ける。そして、受付部３２は、指定された被写体の仮想偏光画像内での座標情報を得、偏光画像生成部２１に指示する。

偏光画像生成部２１は、上記の座標情報が指示されたことに応じ、指定された被写体の反射が除去されるように調整された仮想偏光画像を生成する。

表示制御部３０は、このように生成された仮想偏光画像が表示部１６に表示されるように制御する。
図１３Ｂでは、指定された被写体の反射が除去された仮想偏光画像（図の例では透明物の反射が除去された仮想偏光画像としている）の表示状態を例示している。

ここで、指定された被写体の反射を除去するために設定されるべき仮想フィルタ角度は、該指定された被写体が映し出される画素位置についてｃｏｓカーブのフィッティングを行い、該ｃｏｓカーブに基づき求めることができる。具体的には、該ｃｏｓカーブにおいて受光信号値が略最小（図７における「Ｉｍｉｎ」を参照）となるときの仮想フィルタ角度が、指定された被写体の反射を除去するために設定されるべき仮想フィルタ角度（以下「仮想フィルタ角度α’」と表示）に相当する。
従って、偏光画像生成部２１は、上記のようにタッチ操作が行われて受付部３２より座標情報が指示されたことに応じて、該座標情報が示す画素位置についてｃｏｓカーブのフィッティングを行い、該フィッティングしたｃｏｓカーブにおける受光信号値が略最小となる仮想フィルタ角度を仮想フィルタ角度α’として求める。
そして、以降は、仮想フィルタ角度α’を目標角度として仮想偏光画像の生成を行う。

図１４乃至図１６のフローチャートを参照して、上記のようなタッチモード時の動作を実現するための処理について説明する。
図１４は、上記した受付部３２に相当する処理のフローチャートである。
図１４において、制御部３０はステップＳ６０１で、タッチモード中か否かを判定し、タッチモード中でなければこの図に示す処理を終え、タッチモード中であればステップＳ６０２でタッチ操作を待機する。
タッチ操作が行われた場合、制御部３０はステップＳ６０３でタッチ位置の座標を偏光画像生成部２１に指示し、この図に示す処理を終える。

図１５は、偏光画像生成部２１が行う仮想フィルタ角度α’（目標角度）の計算に係る処理のフローチャートである。
図１５において、偏光画像生成部２１はステップＳ７０１で、座標指示、すなわち上記したステップＳ６０３による座標の指示を待機し、座標が指示された場合にはステップＳ２０１で各角度の偏光画像生成処理を行った上で、ステップＳ７０２に処理を進める。

ステップＳ７０２で偏光画像生成部２１は、各偏光画像（ステップＳ２０１で生成される第一偏光画像〜第四偏光画像）における指定座標が示す画素位置の受光信号値を取得する。
そして、続くステップＳ７０３で偏光画像生成部２１は、取得した受光信号値に基づきｃｏｓカーブをフィッティングし、さらに、続くステップＳ７０４でｃｏｓカーブに基づき受光信号値が略最小となる仮想フィルタ角度、すなわち仮想フィルタ角度α’を求める。
偏光画像生成部２１は、ステップＳ７０４で求めた仮想フィルタ角度α’をステップＳ７０５で記憶し、この図に示す処理を終える。

図１６は、仮想フィルタ角度α’を用いた仮想偏光画像の生成に係る処理のフローチャートである。
図１６の処理は図９の処理と比較して、ステップＳ８０１〜Ｓ８０４が追加された点が異なる。
偏光画像生成部２１は、ステップＳ１０１で偏光撮像モード中と判定したことに応じ、ステップＳ８０１に処理を進めて仮想フィルタ角度α’が記憶されているかを判定する。すなわち、タッチ操作で指定された被写体の反射を除去するための仮想フィルタ角度が既に求まった状態にあるか否かを判定する。
ステップＳ８０１において、仮想フィルタ角度α’が記憶されていなければ、偏光画像生成部２１はステップＳ１０２に処理を進める。すなわち、偏光撮像モード中であってタッチモード中でない場合、或いはタッチモード中であっても未だタッチ操作が行われてない場合には、「α」と「β」を用いた（つまり回転操作子２ｂの回転角度αに従った）仮想偏光画像の生成が行われる。

一方、仮想フィルタ角度α’が記憶されていれば、偏光画像生成部２１はステップＳ８０２に進んで仮想フィルタ角度α’、及び回転角度βを取得し、続くステップＳ８０３で「α’＋β」を計算する、すなわち「α’」を「β」で補正した補正角度を計算し、ステップＳ８０４に進む。
ステップＳ８０４で偏光画像生成部２１は、仮想フィルタ角度を「α’＋β」とした場合の仮想偏光画像を生成し、この図に示す処理を終える。このステップＳ８０４の生成処理は、ステップＳ１０４の生成処理と比較して、仮想偏光画像の生成に用いる（つまりｃｏｓカーブに代入する）仮想フィルタ角度が「α＋β」から「α’＋β」に変更されるのみであるため処理の重複説明は避ける。

なお、上記では、仮想フィルタ角度α’（目標角度）としてｃｏｓカーブにおける受光信号値を略最小とする仮想フィルタ角度を求めることで、指定された被写体の反射を除去した仮想偏光画像を生成する例を挙げたが、例えば目標角度としてｃｏｓカーブにおける受光信号値を略最大とする仮想フィルタ角度を求めることで、指定された被写体の反射を最も強調した仮想偏光画像を生成することもできる。或いは、目標角度は、ｃｏｓカーブにおける受光信号値を最大値と最小値の中間値とする仮想フィルタ角度として求めることも可能である。
このように目標角度は、指定された被写体に対応する画素位置についてフィッティングしたｃｏｓカーブにおいて、受光信号値を所定条件が満足される値とする仮想フィルタ角度として求めればよい。

また、上記では、被写体の指定操作がタッチ操作で行われる例を挙げたが、例えば表示部１６に表示したカーソルを用いた指定操作とする等、被写体の指定操作はタッチ操作に限定されない。

上記のように本例の偏光画像生成部２１は、指定された被写体の光を受光する画素位置における受光信号値に基づいたｃｏｓカーブを取得し、該ｃｏｓカーブに基づき、前記画素位置の受光信号値を所定条件が満足される値とする仮想フィルタ角度を目標角度（α’）として計算し、目標角度を装置回転角度（β）により補正して補正角度（α’＋β）を得、仮想フィルタ角度を補正角度としたときの仮想偏光画像を生成している。
これにより使用者は、被写体を指定する操作を行うことで、所望の被写体の光反射態様が所定条件を満たす態様に調整された仮想偏光画像を得ることができる。
従って、所定の偏光フィルタ効果を得るにあたっての使用者の操作負担軽減が図られる。

また、本例の偏光画像生成部２１は、目標角度として、前記画素位置の受光信号値を略最小とする仮想フィルタ角度を計算している。
これにより使用者は、被写体を指定する操作を行うことで、所望の被写体の反射が除去されるように調整された仮想偏光画像を得ることができる。
従って、所定の被写体が反射除去される偏光フィルタ効果を得るにあたっての使用者の操作負担軽減が図られる。

［1-8．期待値表示モード］

撮像装置１においては、偏光フィルタ効果の期待値を表す期待値情報を表示部１６に表示する期待値表示モードが設けられている。
具体的に、期待値表示モードでは、画素位置ごとに、仮想フィルタ角度を変化させたときの受光信号値の変化度合いを表す値がフィルタ効果期待値として求められ、該フィルタ効果期待値の大きさを表す期待値情報が画素位置ごとに表された期待値画像が表示部１６に表示される。
本例では、期待値表示モードは、偏光撮像モード中にＯＮ可能なモードであることを前提としている。

図１７は、表示部１６における期待値画像の表示例を示している。
図中では、期待値画像における期待値情報をドットによって模式的に表している。
本例では、期待値画像は、仮想通常画像に対して重畳表示する。具体的に、本例では、期待値表示モード中は、仮想通常画像としてモノクロ画像（グレースケール画像）を表示し、期待値画像はモノクロ以外の特定色（例えば赤色や青色）による画像を表示する。このとき、期待値画像における期待値情報の表示は、フィルタ効果期待値が大きいほど輝度値が大きくなる態様で行う。すなわち、本例における期待値画像は、フィルタ効果期待値が大きい画素位置ほど輝度値が大きくなる画像として生成される。

このような期待値画像の表示により、使用者は、画像内のどの位置で高いフィルタ効果が期待できるかを事前に把握することが可能となる。

ここで、本例では、フィルタ効果期待値は、期待値情報の表示対象とする画素位置ごとにｃｏｓカーブをフィッティングし、該ｃｏｓカーブに基づき計算する。具体的には、ｃｏｓカーブに基づき、次の［式４］により表される偏光度ρをフィルタ効果期待値として計算する。

図１８に示すように、偏光度ρは、ｃｏｓカーブの振幅が仮想フィルタ角度の変化に対して一定のとき、すなわち仮想フィルタ角度を変化させても偏光フィルタ効果が全く変化しないときに「０」となる。そして、ｃｏｓカーブの振幅の最大値Ｉｍａｘと最小値Ｉｍｉｎとの差が大きくなるに従って値が大きくなり、最大値Ｉｍａｘと最小値Ｉｍｉｎとの差が最大のときにρ＝１となる。すなわち、偏光度ρは「１」を最大値として、仮想フィルタ角度の変化に対する偏光フィルタ効果の変化度合いが大きい場合ほど値が大きくなる。

なお、フィルタ効果期待値としては、偏光度ρに限定されず、仮想フィルタ角度を変化させたときの受光信号値の変化度合いを表す値としてｃｏｓカーブに基づき計算されるものであればよい。

上記のような期待値画像の表示のために偏光画像生成部２１が行うべき処理を図１９のフローチャートにより説明する。
図１９において、この場合の偏光画像生成部２１は、ステップＳ１０１で偏光撮像モード中であると判定したことに応じ、ステップＳ９０１で期待値表示モード中か否かを判定する。期待値表示モード中でなければ、偏光画像生成部２１はステップＳ１０２に処理を進める。すなわち、偏光撮像モード中であって期待値表示モード中でない場合には、「α」と「β」を用いた仮想偏光画像の生成が行われる。この仮想偏光画像は、表示制御部３１の制御に基づきスルー画として表示部１６に表示される。

一方、期待値表示モード中であれば、偏光画像生成部２１はステップＳ１０５で仮想通常画像を生成し、続くステップＳ２０２で画素位置ごとにｃｏｓカーブをフィッティングする。なお、前述の通り、ステップＳ１０５の生成処理では各角度の偏光画像の生成が行われ（図９のステップＳ３０１参照）、ステップＳ２０２ではこれら各角度の偏光画像に基づいて画素位置ごとにｃｏｓカーブをフィッティングする。

ステップＳ２０２に続くステップＳ９０２で偏光画像生成部２１は、画素位置ごとに、ｃｏｓカーブに基づき偏光度ρを計算する。すなわち、ステップＳ２０２で画素位置ごとに求まったｃｏｓカーブに基づき、画素位置ごとに上記した［式４］により偏光度ρを計算する。

図示は省略するが、この場合の表示制御部３１は、上記のように求まった画素位置ごとの偏光度ρに基づいた期待値画像を表示データ生成部２３に生成させる。つまり本例では、偏光度ρの値が大きいほど特定色の輝度値が大きくなる態様による期待値画像を生成させる。
そして、表示制御部３１は、偏光画像生成部２１が期待値表示モード中に生成した仮想通常画像と期待値画像との重畳画像を表示データ生成部２３に生成させ、該重畳画像が表示部１６に表示されるように表示データ生成部２３と表示部１６を制御する。
なお、偏光画像生成部２１が生成する仮想通常画像がカラー画像である場合、表示制御部３１は該仮想通常画像を表示データ生成部２３によりモノクロ化させ、モノクロ化後の仮想通常画像と期待値画像との重畳画像を表示データ生成部２３に生成させる。

なお、上記では、期待値情報の生成を撮像部１１の全ての画素位置について行う例を挙げたが、期待値情報の生成は所定の一部の画素位置のみについて行うこともできる。
その場合、ｃｏｓカーブのフィッティングやフィルタ効果期待値の計算は少なくともそれら所定の画素位置についてのみ行えばよい。

また、上記では、期待値画像を仮想通常画像に重畳表示する例を挙げたが、期待値画像を仮想偏光画像に重畳表示することもできる。つまり、期待値画像の重畳対象画像は、撮像部１１の受光信号に基づき生成された撮像画像とされればよい。

上記のように本例の偏光画像生成部２１は、撮像部１１における所定の画素位置ごとに、ｃｏｓカーブに基づいてフィルタ効果期待値を計算し、表示制御部３１は、フィルタ効果期待値の大きさを表す期待値情報が前記所定の画素位置ごとに表された期待値画像を表示部１６に表示させている。
これにより使用者は、画像内のどの位置で高いフィルタ効果を期待できるかを事前に把握することが可能とされる。
従って、所望の偏光フィルタ効果が容易に得られるように使用者を支援することができる。

また、本例において、表示制御部３１は、期待値画像を撮像部１１による撮像画像に重畳表示させている。
これにより使用者は、高いフィルタ効果が期待できる位置を被写体との位置関係から具体的に把握することが可能とされる。
従って、所望の偏光フィルタ効果が容易に得られるようにするための支援効果をより高めることができる。

また、本例における表示制御部３１は、撮像画像としてモノクロ画像を、期待値画像としてモノクロ以外の特定色による画像を表示させている。
これにより、撮像画像と期待値画像の重畳表示によって互いの画像の視認性が低下することの抑制が図られる。
従って、高いフィルタ効果を期待できる位置を使用者により容易に把握させることができる。

＜２．変形例＞
［2-1．第一変形例］

続いて、実施形態の変形例について説明する。
従来、ＦＡ（Factory Automation）などの分野では、検査等の目的でワーク（被写体）を撮像装置により撮像することが行われている。この際、ワークが大きく撮像装置の画角に収まらない場合には、ロボットアームに取り付けた撮像装置を移動してワーク全体をスキャンすることが考えられる。
また、従来では、ワークの反射光を抑えるために、ワークに対し直線偏光による照明光を照射し、該照明光に直交する向きの偏光軸を有する偏光フィルタを装着した撮像装置によりワークを撮像することが行われている。

図２０は、上記のような従来技術に基づき構成することのできる撮像システム１００の概要を例示している。
図のように撮像システム１００においては、レンズに取り付けられた偏光フィルタ１０１ａを介して撮像を行う撮像装置１０１と、撮像装置１０１が装着されたロボットアーム１０２と、ワークＷに対して直線偏光による照明光を照射する発光部１０３及び偏光フィルタ１０４とを備えている。

図の例のようにワークＷが比較的大きいため、ワークＷの全容を撮像するためにロボットアーム１０２によって撮像装置１０１を変位させる。このとき、ロボットアーム１０２によりワークＷ全体をスキャンするように撮像装置１０１を変位させると、撮像装置１０１の偏光フィルタ１０１ａが回転してしまい、偏光フィルタ１０１ａの偏光軸が照明光の偏光方向に直交する状態を維持できなくなる。すなわち、反射光を抑えた撮像画像を得ることができない。このため、ロボットアーム１０２は、撮像装置１０１を回転自在に支持すると共に、自身の動きによる角度変化を相殺するように撮像装置１０１を回転駆動する。

しかしながら、撮像装置１０１を回転駆動させるためには、回転用の機構やモータ等の駆動部を設ける必要があり、部品点数の増加を招く。また、撮像装置１０１を回転させる場合には、信号ケーブルのねじれや断線等を防ぐためにロボットアーム１０２の動作に制限を加えなければならない虞もある。

そこで、上記のような撮像システム１００における撮像装置１０１に対し、上述した実施形態としての回転キャンセル手法を適用することが好適である。
図２１は、撮像装置１０１に代えて用いることが好適な撮像装置１Ａの内部構成例を示したブロック図である。
図２１の例では、撮像装置１Ａが光学系２と光学駆動部４を備えるものとしている。また、制御部３０が表示制御部３１及び受付部３２としての機能を有していない例としている。さらに、撮像装置１Ａにおいては、使用者が仮想フィルタ角度を指示入力するための回転操作子２ｂは設けられていない。

撮像装置１Ａにおけるデジタル信号処理部２０は、偏光画像生成部２１に代えて偏光画像生成部２１Ａを有する。

図２２は、偏光画像生成部２１Ａが行う仮想偏光画像生成のための処理を示したフローチャートである。
図２２Ａは、仮想偏光画像の生成に用いる目標角度としての仮想フィルタ角度の計算に係る処理を示している。
前提として、ここでは、目標角度としての偏光フィルタ角度の計算は、ワークＷの撮像を開始する前の初期設定処理として行われる例とする。なお、図２２Ａの処理が開始されるにあたっては、偏光照明（発光部１０２）がＯＮされているとする。

先ず、ステップＳ１００１で偏光画像生成部２１Ａは、初期設定指示として、例えば使用者による所定操作が行われるまで待機し、初期設定指示があった場合にはステップＳ２０１で各角度の偏光画像生成処理を行い、続くステップＳ１００２で各偏光画像における所定画素位置の受光信号値を取得する。ここでは、所定画素位置は予め定められた一つの画素位置であるとするが、複数の画素位置であってもよい。
そして、偏光画像生成部２１Ａは続くステップＳ１００３で、取得した受光信号値に基づきｃｏｓカーブをフィッティングした上で、ステップＳ１００４でｃｏｓカーブに基づき偏光照明の偏光方向にクロスニコルとなる（つまり直交する）仮想フィルタ角度α’’を求める。具体的には、ｃｏｓカーブにおいて受光信号値を最小値とする仮想フィルタ角度を仮想フィルタ角度α’’として求める。さらに、続くステップＳ１００５で偏光画像生成部２１Ａは、仮想フィルタ角度α’’を記憶し、図２２Ａの処理を終える。

図２２Ｂは、ワークＷの撮像時に対応して実行されるべき処理を示したフローチャートである。
ステップＳ１１０１で偏光画像生成部２１Ａは、α’’及びβの取得処理、すなわちステップＳ１００５で記憶した仮想フィルタ角度α’’と角度検出部１７により検出された回転角度βとを取得する処理を行い、続くステップＳ１１０２で「α’’＋β」を計算する。そして、ステップＳ１１０３で仮想フィルタ角度を「α’’＋β」とした場合の仮想偏光画像を生成し、図２２Ｂの処理を終える。
ステップＳ１１０３の生成処理は先のステップＳ１０４の生成処理と比較して仮想偏光画像の生成に用いる仮想フィルタ角度が「α＋β」から「α’’＋β」に変更されるのみであるため重複説明は避ける。

上記のような撮像装置１Ａを従来の撮像装置１０１として適用することで、ワークＷをスキャン撮像する際に撮像装置１Ａを偏光照明の偏光方向に合わせて回転させる必要がなくなり、ロボットアーム１０２の部品点数削減、コスト削減、及び構成簡易化によるメインテナンス性向上を図ることができる。

［2-2．第二変形例］

図２３は、変形例としての撮像部１１Ａの構造についての説明図であり、図２３Ａは撮像部１１Ａが備える画素対５０の概略縦断面図、図２３Ｂは撮像部１１Ａにおける画素対５０の配列を正面視した図である。
変形例としての撮像部１１Ａは、画素対５０として２種の画素対５０（以下「画素対５０−１」「画素対５０−２」と表記する）を有する。画素対５０−１は、偏光スプリッタ５１−１と、画素５２及び画素５３とを有し、画素対５０−２は偏光スプリッタ５１−２と画素５２及び画素５３とを有している。

偏光スプリッタ５１−１、５１−２は、本例ではそれぞれ二つの直角プリズムを張り合わせたタイプのものが用いられ、これら直角プリズムが貼り合わされた部分に分離面５１ａが形成されている。偏光スプリッタ５１−１、５１−２においては、入射光に含まれる直線偏光のうち、偏光方向が分離面５１ａの偏光軸に略一致する直線偏光が分離面５１ａを透過し、偏光方向が上記偏光軸に略直交する直線偏光が分離面５１ａにおいて反射する。

画素５２、５３は、それぞれ所定数の受光素子１２ａを有している。ここでは説明上、画素５２、５３はそれぞれ一つの受光素子１２ａを有しているとする。なお、カラー画像の撮像に対応する場合には、画素５２、５３は、それぞれＲ、Ｇ、Ｂに対応した３以上の受光素子１２ａを有するようにする。

画素対５０−１における画素５２は、自身が有する受光素子１２ａの受光面が、偏光スプリッタ５１−１における分離面５１ａの反射光の光軸に略直交しており、該反射光を該受光素子１２ａにより受光する。また、画素対５０−１における画素５３は、自身が有する受光素子１２ａの受光面が偏光スプリッタ５１−１における分離面５１ａの透過光の光軸に略直交しており、該透過光を該受光素子１２ａにより受光する。
このような画素対５０−１における画素５２と画素５３は、偏光方向が９０ｄｅｇ異なる直線偏光をそれぞれが選択的に受光する。

また、画素対５０−２における画素５２は、自身が有する受光素子１２ａの受光面が偏光スプリッタ５１−２における分離面５１ａの反射光の光軸に略直交しており、該反射光を該受光素子１２ａにより受光する。さらに、画素対５０−２における画素５３は、自身が有する受光素子１２ａの受光面が偏光スプリッタ５１−２における分離面５１ａの透過光の光軸に略直交しており、該透過光を該受光素子１２ａにより受光する。
このような画素対５０−２における画素５２と画素５３としても、偏光方向が９０ｄｅｇ異なる直線偏光をそれぞれが選択的に受光することになる。

撮像部１１Ａにおいては、画素対５０−１と画素対５０−２が二次元に交互に配列されている。そして、隣接関係にある画素対５０−１と画素対５０−２においては、偏光スプリッタ５１−１における分離面５１ａの偏光軸の面内角度と、偏光スプリッタ５１−２における分離面５１ａの偏光軸の面内角度とが異なっている。具体的に、本例ではこれらの偏光軸の面内角度は４５ｄｅｇ異なっている。
これにより、画素対５０−１における画素５２、５３、画素対５０−２における画素５２、５３は、偏光方向が４５ｄｅｇずつ異なる直線偏光を選択的に受光することなる。

図２３Ｂに示すように、本例では、隣接関係にある画素対５０−１と画素対５０−２が一つの画素ユニットＵ’を構成している。撮像部１１Ａにおいては、このような画素ユニットＵが縦方向及び横方向に複数配列されている。
なお、図２３Ｂでは、各画素対５０で選択的に受光される直線偏光の偏光方向を、先の図３Ｂで偏光フィルタ１３ａの偏光軸の向きとして表した両矢印と同様の要領で表している。

図２４は、撮像部１１Ａを用いた場合における第一偏光画像〜第四偏光画像、及び仮想通常画像の生成手法についての説明図を先の図５と同様の要領で示している。
撮像部１１Ａにおいては、各画素対５０、すなわち各画素位置において偏光方向が直交する二つの直線偏光を受光することができる。このため、撮像部１１を用いた場合（図５参照）と比較して、第一偏光画像〜第四偏光画像の解像度を高めることができる（図５Ｂ及び図５Ｃと図２４Ｂ及び図２４Ｃを参照）。なお、縦２×横２＝４つの画素対５０が一つの画素位置であるとみなして第一偏光画像〜第四偏光画像を画素補間せずに生成する場合は、解像を高めることができる。
また、本例では、画素対５０−１と画素対５０−２を縦方向及び横方向に交互に配列しているため、縦横の解像度を等しくすることができる。さらには、第一偏光画像〜第四偏光画像の生成のための補間処理は、それぞれ同様の手法で行うことができる。例えば、画素対５０−１と画素対５０−２を線順次に配置した場合等では、縦方向と横方向とで補間処理の手法が異なり、また補間しない場合には得られる画像の解像度は縦方向と横方向で異なってしまうが、本例では、そのような問題が解消される。

なお、この場合も仮想通常画像は、画素位置ごとに偏光方向が直交する二つの直線偏光（０ｄｅｇと９０ｄｅｇの組、又は４５ｄｅｇと１３５ｄｅｇの組）の受光信号値を加算することで生成される。
この場合も、第一偏光画像〜第四偏光画像が得られた以降におけるｃｏｓカーブのフィッティングやｃｏｓカーブに基づく仮想偏光画像の生成処理については、これまでで説明したものと同様となることから重複説明は避ける。

上記した変形例としての撮像部１１Ａにおいては、一つの画素対５０（一つの画素位置）につき、偏光方向が直交関係にある２種の直線偏光を選択的に受光可能とされ、また、隣接関係にある二つの画素対５０においては、偏光方向がそれぞれ異なる４種の直線偏光を選択的に受光可能とされる。
従って、仮想偏光画像の解像度向上を図ることができる。また、一つの画素対５０に対する入射光を複数の受光素子１２ａで受光するため、画素位置ごとの受光感度の向上を図ることができる。

＜３．応用例＞

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。

図２５は、本開示に係る技術が適用され得る手術室システム５１００の全体構成を概略的に示す図である。図２５を参照すると、手術室システム５１００は、手術室内に設置される装置群が視聴覚コントローラ（AV Controller）５１０７及び手術室制御装置５１０９を介して互いに連携可能に接続されることにより構成される。

手術室には、様々な装置が設置され得る。図２５では、一例として、内視鏡下手術のための各種の装置群５１０１と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ５１８７と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ５１８９と、複数の表示装置５１０３Ａ〜５１０３Ｄと、レコーダ５１０５と、患者ベッド５１８３と、照明５１９１と、を図示している。

ここで、これらの装置のうち、装置群５１０１は、後述する内視鏡手術システム５１１３に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム５１１３に属する各装置は医療用機器とも呼称される。一方、表示装置５１０３Ａ〜５１０３Ｄ、レコーダ５１０５、患者ベッド５１８３及び照明５１９１は、内視鏡手術システム５１１３とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム５１１３に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ５１０７及び／又は手術室制御装置５１０９は、これら医療機器及び非医療機器の動作を互いに連携して制御する。

視聴覚コントローラ５１０７は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム５１００が備える装置のうち、装置群５１０１、シーリングカメラ５１８７及び術場カメラ５１８９は、手術中に表示すべき情報（以下、表示情報ともいう）を発信する機能を有する装置（以下、発信元の装置とも呼称する）であり得る。また、表示装置５１０３Ａ〜５１０３Ｄは、表示情報が出力される装置（以下、出力先の装置とも呼称する）であり得る。また、レコーダ５１０５は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ５１０７は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報（例えば、患者の身体情報や、過去の検査結果、術式についての情報等）等である。

具体的には、視聴覚コントローラ５１０７には、装置群５１０１から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ５１８７から、表示情報として、当該シーリングカメラ５１８７によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ５１８９から、表示情報として、当該術場カメラ５１８９によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム５１００に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ５１０７は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。

あるいは、例えば、レコーダ５１０５には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ５１０７によって記録されている。視聴覚コントローラ５１０７は、表示情報として、レコーダ５１０５から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ５１０５には、手術に関する各種の情報も事前に記録されていてもよい。

視聴覚コントローラ５１０７は、出力先の装置である表示装置５１０３Ａ〜５１０３Ｄの少なくともいずれかに、取得した表示情報（すなわち、手術中に撮影された画像や、手術に関する各種の情報）を表示させる。図示する例では、表示装置５１０３Ａは手術室の天井から吊り下げられて設置される表示装置であり、表示装置５１０３Ｂは手術室の壁面に設置される表示装置であり、表示装置５１０３Ｃは手術室内の机上に設置される表示装置であり、表示装置５１０３Ｄは表示機能を有するモバイル機器（例えば、タブレットＰＣ（Personal Computer））である。

また、図２５では図示を省略しているが、手術室システム５１００には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるＰＣ、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ５１０７は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。

手術室制御装置５１０９は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置５１０９は、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１の駆動を制御する。

手術室システム５１００には、集中操作パネル５１１１が設けられており、ユーザは、当該集中操作パネル５１１１を介して、視聴覚コントローラ５１０７に対して画像表示についての指示を与えたり、手術室制御装置５１０９に対して非医療機器の動作についての指示を与えることができる。集中操作パネル５１１１は、表示装置の表示面上にタッチパネルが設けられて構成される。

図２６は、集中操作パネル５１１１における操作画面の表示例を示す図である。図２６では、一例として、手術室システム５１００に、出力先の装置として、２つの表示装置が設けられている場合に対応する操作画面を示している。図２６を参照すると、操作画面５１９３には、発信元選択領域５１９５と、プレビュー領域５１９７と、コントロール領域５２０１と、が設けられる。

発信元選択領域５１９５には、手術室システム５１００に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域５１９５に表示されているいずれかの発信元装置から選択することができる。

プレビュー領域５１９７には、出力先の装置である２つの表示装置（Monitor1、Monitor2）に表示される画面のプレビューが表示される。図示する例では、１つの表示装置において４つの画像がＰｉｎＰ表示されている。当該４つの画像は、発信元選択領域５１９５において選択された発信元装置から発信された表示情報に対応するものである。４つの画像のうち、１つはメイン画像として比較的大きく表示され、残りの３つはサブ画像として比較的小さく表示される。ユーザは、４つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、４つの画像が表示される領域の下部には、ステータス表示領域５１９９が設けられており、当該領域に手術に関するステータス（例えば、手術の経過時間や、患者の身体情報等）が適宜表示され得る。

コントロール領域５２０１には、発信元の装置に対して操作を行うためのＧＵＩ（Graphical User Interface）部品が表示される発信元操作領域５２０３と、出力先の装置に対して操作を行うためのＧＵＩ部品が表示される出力先操作領域５２０５と、が設けられる。図示する例では、発信元操作領域５２０３には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作（パン、チルト及びズーム）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域５１９５において選択されている発信元の装置がレコーダである場合（すなわち、プレビュー領域５１９７において、レコーダに過去に記録された画像が表示されている場合）には、発信元操作領域５２０３には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのＧＵＩ部品が設けられ得る。

また、出力先操作領域５２０５には、出力先の装置である表示装置における表示に対する各種の操作（スワップ、フリップ、色調整、コントラスト調整、２Ｄ表示と３Ｄ表示の切り替え）を行うためのＧＵＩ部品が設けられている。ユーザは、これらのＧＵＩ部品を適宜選択することにより、表示装置における表示を操作することができる。

なお、集中操作パネル５１１１に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル５１１１を介して、手術室システム５１００に備えられる、視聴覚コントローラ５１０７及び手術室制御装置５１０９によって制御され得る各装置に対する操作入力が可能であってよい。

図２７は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ５１８７及び術場カメラ５１８９は、手術室の天井に設けられ、患者ベッド５１８３上の患者５１８５の患部に対して処置を行う術者（医者）５１８１の手元及び手術室全体の様子を撮影可能である。シーリングカメラ５１８７及び術場カメラ５１８９には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明５１９１は、手術室の天井に設けられ、少なくとも術者５１８１の手元を照射する。照明５１９１は、その照射光量、照射光の波長（色）及び光の照射方向等を適宜調整可能であってよい。

内視鏡手術システム５１１３、患者ベッド５１８３、シーリングカメラ５１８７、術場カメラ５１８９及び照明５１９１は、図２５に示すように、視聴覚コントローラ５１０７及び手術室制御装置５１０９（図２７では図示せず）を介して互いに連携可能に接続されている。手術室内には、集中操作パネル５１１１が設けられており、上述したように、ユーザは、当該集中操作パネル５１１１を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。

以下、内視鏡手術システム５１１３の構成について詳細に説明する。図示するように、内視鏡手術システム５１１３は、内視鏡５１１５と、その他の術具５１３１と、内視鏡５１１５を支持する支持アーム装置５１４１と、内視鏡下手術のための各種の装置が搭載されたカート５１５１と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５１３９ａ〜５１３９ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５１３９ａ〜５１３９ｄから、内視鏡５１１５の鏡筒５１１７や、その他の術具５１３１が患者５１８５の体腔内に挿入される。図示する例では、その他の術具５１３１として、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７が、患者５１８５の体腔内に挿入されている。また、エネルギー処置具５１３５は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５１３１はあくまで一例であり、術具５１３１としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５１１５によって撮影された患者５１８５の体腔内の術部の画像が、表示装置５１５５に表示される。術者５１８１は、表示装置５１５５に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５１３５や鉗子５１３７を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５１３３、エネルギー処置具５１３５及び鉗子５１３７は、手術中に、術者５１８１又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５１４１は、ベース部５１４３から延伸するアーム部５１４５を備える。図示する例では、アーム部５１４５は、関節部５１４７ａ、５１４７ｂ、５１４７ｃ、及びリンク５１４９ａ、５１４９ｂから構成されており、アーム制御装置５１５９からの制御により駆動される。アーム部５１４５によって内視鏡５１１５が支持され、その位置及び姿勢が制御される。これにより、内視鏡５１１５の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５１１５は、先端から所定の長さの領域が患者５１８５の体腔内に挿入される鏡筒５１１７と、鏡筒５１１７の基端に接続されるカメラヘッド５１１９と、から構成される。図示する例では、硬性の鏡筒５１１７を有するいわゆる硬性鏡として構成される内視鏡５１１５を図示しているが、内視鏡５１１５は、軟性の鏡筒５１１７を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５１１７の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５１１５には光源装置５１５７が接続されており、当該光源装置５１５７によって生成された光が、鏡筒５１１７の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５１８５の体腔内の観察対象に向かって照射される。なお、内視鏡５１１５は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５１１９の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１５３に送信される。なお、カメラヘッド５１１９には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５１１９には撮像素子が複数設けられてもよい。この場合、鏡筒５１１７の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５１５３は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等によって構成され、内視鏡５１１５及び表示装置５１５５の動作を統括的に制御する。具体的には、ＣＣＵ５１５３は、カメラヘッド５１１９から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５１５３は、当該画像処理を施した画像信号を表示装置５１５５に提供する。また、ＣＣＵ５１５３には、図２５に示す視聴覚コントローラ５１０７が接続される。ＣＣＵ５１５３は、画像処理を施した画像信号を視聴覚コントローラ５１０７にも提供する。また、ＣＣＵ５１５３は、カメラヘッド５１１９に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置５１６１を介して入力されてもよいし、上述した集中操作パネル５１１１を介して入力されてもよい。

表示装置５１５５は、ＣＣＵ５１５３からの制御により、当該ＣＣＵ５１５３によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５１１５が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５１５５としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５１５５として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５１５５が設けられてもよい。

光源装置５１５７は、例えばＬＥＤ（light emitting diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５１１５に供給する。

アーム制御装置５１５９は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５１４１のアーム部５１４５の駆動を制御する。

入力装置５１６１は、内視鏡手術システム５１１３に対する入力インタフェースである。ユーザは、入力装置５１６１を介して、内視鏡手術システム５１１３に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５１６１を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５１６１を介して、アーム部５１４５を駆動させる旨の指示や、内視鏡５１１５による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５１３５を駆動させる旨の指示等を入力する。

入力装置５１６１の種類は限定されず、入力装置５１６１は各種の公知の入力装置であってよい。入力装置５１６１としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５１７１及び／又はレバー等が適用され得る。入力装置５１６１としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５１５５の表示面上に設けられてもよい。

あるいは、入力装置５１６１は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head Mounted Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５１６１は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５１６１は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５１６１が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５１８１）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５１６３は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５１３５の駆動を制御する。気腹装置５１６５は、内視鏡５１１５による視野の確保及び術者の作業空間の確保の目的で、患者５１８５の体腔を膨らめるために、気腹チューブ５１３３を介して当該体腔内にガスを送り込む。レコーダ５１６７は、手術に関する各種の情報を記録可能な装置である。プリンタ５１６９は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５１１３において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５１４１は、基台であるベース部５１４３と、ベース部５１４３から延伸するアーム部５１４５と、を備える。図示する例では、アーム部５１４５は、複数の関節部５１４７ａ、５１４７ｂ、５１４７ｃと、関節部５１４７ｂによって連結される複数のリンク５１４９ａ、５１４９ｂと、から構成されているが、図２７では、簡単のため、アーム部５１４５の構成を簡略化して図示している。実際には、アーム部５１４５が所望の自由度を有するように、関節部５１４７ａ〜５１４７ｃ及びリンク５１４９ａ、５１４９ｂの形状、数及び配置、並びに関節部５１４７ａ〜５１４７ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５１４５は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５１４５の可動範囲内において内視鏡５１１５を自由に移動させることが可能になるため、所望の方向から内視鏡５１１５の鏡筒５１１７を患者５１８５の体腔内に挿入することが可能になる。

関節部５１４７ａ〜５１４７ｃにはアクチュエータが設けられており、関節部５１４７ａ〜５１４７ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５１５９によって制御されることにより、各関節部５１４７ａ〜５１４７ｃの回転角度が制御され、アーム部５１４５の駆動が制御される。これにより、内視鏡５１１５の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５１５９は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５１４５の駆動を制御することができる。

例えば、術者５１８１が、入力装置５１６１（フットスイッチ５１７１を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５１５９によってアーム部５１４５の駆動が適宜制御され、内視鏡５１１５の位置及び姿勢が制御されてよい。当該制御により、アーム部５１４５の先端の内視鏡５１１５を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５１４５は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５１４５は、手術室から離れた場所に設置される入力装置５１６１を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５１５９は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５１４５が移動するように、各関節部５１４７ａ〜５１４７ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５１４５に触れながらアーム部５１４５を移動させる際に、比較的軽い力で当該アーム部５１４５を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５１１５を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５１１５が支持されていた。これに対して、支持アーム装置５１４１を用いることにより、人手によらずに内視鏡５１１５の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５１５９は必ずしもカート５１５１に設けられなくてもよい。また、アーム制御装置５１５９は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５１５９は、支持アーム装置５１４１のアーム部５１４５の各関節部５１４７ａ〜５１４７ｃにそれぞれ設けられてもよく、複数のアーム制御装置５１５９が互いに協働することにより、アーム部５１４５の駆動制御が実現されてもよい。

（光源装置）
光源装置５１５７は、内視鏡５１１５に術部を撮影する際の照射光を供給する。光源装置５１５７は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５１５７において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５１５７は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５１１９の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５１５７は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow Band Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５１５７は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２８を参照して、内視鏡５１１５のカメラヘッド５１１９及びＣＣＵ５１５３の機能についてより詳細に説明する。図２８は、図２７に示すカメラヘッド５１１９及びＣＣＵ５１５３の機能構成の一例を示すブロック図である。

図２８を参照すると、カメラヘッド５１１９は、その機能として、レンズユニット５１２１と、撮像部５１２３と、駆動部５１２５と、通信部５１２７と、カメラヘッド制御部５１２９と、を有する。また、ＣＣＵ５１５３は、その機能として、通信部５１７３と、画像処理部５１７５と、制御部５１７７と、を有する。カメラヘッド５１１９とＣＣＵ５１５３とは、伝送ケーブル５１７９によって双方向に通信可能に接続されている。

まず、カメラヘッド５１１９の機能構成について説明する。レンズユニット５１２１は、鏡筒５１１７との接続部に設けられる光学系である。鏡筒５１１７の先端から取り込まれた観察光は、カメラヘッド５１１９まで導光され、当該レンズユニット５１２１に入射する。レンズユニット５１２１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５１２１は、撮像部５１２３の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５１２３は撮像素子によって構成され、レンズユニット５１２１の後段に配置される。レンズユニット５１２１を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５１２３によって生成された画像信号は、通信部５１２７に提供される。

撮像部５１２３を構成する撮像素子としては、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５１８１は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５１２３を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５１８１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５１２３が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５１２１も複数系統設けられる。

また、撮像部５１２３は、必ずしもカメラヘッド５１１９に設けられなくてもよい。例えば、撮像部５１２３は、鏡筒５１１７の内部に、対物レンズの直後に設けられてもよい。

駆動部５１２５は、アクチュエータによって構成され、カメラヘッド制御部５１２９からの制御により、レンズユニット５１２１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５１２３による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５１２７は、ＣＣＵ５１５３との間で各種の情報を送受信するための通信装置によって構成される。通信部５１２７は、撮像部５１２３から得た画像信号をＲＡＷデータとして伝送ケーブル５１７９を介してＣＣＵ５１５３に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５１８１が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５１２７には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５１７９を介してＣＣＵ５１５３に送信される。

また、通信部５１２７は、ＣＣＵ５１５３から、カメラヘッド５１１９の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５１２７は、受信した制御信号をカメラヘッド制御部５１２９に提供する。なお、ＣＣＵ５１５３からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５１２７には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５１２９に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５１５３の制御部５１７７によって自動的に設定される。つまり、いわゆるＡＥ（Auto Exposure）機能、ＡＦ（Auto Focus）機能及びＡＷＢ（Auto White Balance）機能が内視鏡５１１５に搭載される。

カメラヘッド制御部５１２９は、通信部５１２７を介して受信したＣＣＵ５１５３からの制御信号に基づいて、カメラヘッド５１１９の駆動を制御する。例えば、カメラヘッド制御部５１２９は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５１２３の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５１２９は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５１２５を介してレンズユニット５１２１のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５１２９は、更に、鏡筒５１１７やカメラヘッド５１１９を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５１２１や撮像部５１２３等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５１１９について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５１５３の機能構成について説明する。通信部５１７３は、カメラヘッド５１１９との間で各種の情報を送受信するための通信装置によって構成される。通信部５１７３は、カメラヘッド５１１９から、伝送ケーブル５１７９を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５１７３には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５１７３は、電気信号に変換した画像信号を画像処理部５１７５に提供する。

また、通信部５１７３は、カメラヘッド５１１９に対して、カメラヘッド５１１９の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５１７５は、カメラヘッド５１１９から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５１７５は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５１７５は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５１７５が複数のＧＰＵによって構成される場合には、画像処理部５１７５は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５１７７は、内視鏡５１１５による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５１７７は、カメラヘッド５１１９の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５１７７は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５１１５にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５１７７は、画像処理部５１７５による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５１７７は、画像処理部５１７５によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５１５５に表示させる。この際、制御部５１７７は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５１７７は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５１３５使用時のミスト等を認識することができる。制御部５１７７は、表示装置５１５５に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５１８１に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５１１９及びＣＣＵ５１５３を接続する伝送ケーブル５１７９は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５１７９を用いて有線で通信が行われていたが、カメラヘッド５１１９とＣＣＵ５１５３との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５１７９を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５１７９によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る手術室システム５１００の一例について説明した。なお、ここでは、一例として手術室システム５１００が適用される医療用システムが内視鏡手術システム５１１３である場合について説明したが、手術室システム５１００の構成はかかる例に限定されない。例えば、手術室システム５１００は、内視鏡手術システム５１１３に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、術部の画像生成に好適に適用され得る。具体的には、例えば、カメラヘッド５１１９の撮像部５１２３として実施形態の撮像部１１又は１１Ａを適用し、カメラヘッド５１１９に角度検出部１７を設けると共に、ＣＣＵ５１５３における画像処理部５１７５にて実施形態の偏光画像生成部２１又は２１Ａの処理を行うことが考えられる。なおこの場合、画像処理部５１７５は、カメラヘッド５１１９に設けることもできる。また、画像処理部２１Ａとしての処理を行う場合には、光源装置５１５７が特定の偏光方向による直線偏光を選択的に照射する構成とする。
このように、術部の画像生成について本開示に係る技術を適用することにより、術部を撮像した画像について、撮像部の姿勢変化に伴い偏光フィルタ効果が変化してしまうことの防止を図ることができる。また、光源装置５１５７を偏光照明とする場合には、カメラヘッド５１１９を偏光照明の偏光方向に応じて回転させる必要がなくなり、信号ケーブルのねじれや断線等を防ぐためにアーム部５１４５の動作に制限を加える必要を無くすことができる。

＜４．実施形態のまとめ＞

上記のように実施形態の撮像装置（１又は１Ａ）は、第一の偏光方向の光を受光可能な第一の画素と、第一の偏光方向と異なる第二の偏光方向の光を受光可能な第二の画素とを含む撮像部（１１又は１１Ａ）と、撮像部の姿勢を検出する検出部（角度検出部１７）と、第一及び第二の画素の信号に基づいて、検出部の検出結果に応じた偏光方向に対応する画像を生成する画像生成部（２１又は２１Ａ）と、を備えている。

これにより、特定の偏光方向に対応した画像、すなわち偏光フィルタ効果を与えたことに相当する画像として、撮像部の姿勢変化に応じた偏光方向に対応する画像を生成することが可能とされる。
従って、撮像装置の姿勢変化に伴って偏光フィルタ効果が変化してしまうことの防止を図ることができる。

また、上記した実施形態の撮像装置においては、画像生成部は、回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における偏光フィルタの回転角度に相当する仮想フィルタ角度を設定し、検出部の検出結果に基づいて補正された仮想フィルタ角度に基づき、画像を生成している。

これにより、撮像部の姿勢変化をキャンセルするように補正された仮想フィルタ角度による画像を得ることが可能とされる。
従って、撮像装置の姿勢変化に伴って偏光フィルタ効果が変化してしまうことの防止を図ることができる。

また、上記した実施形態の撮像装置においては、撮像部は、それぞれが所定数の受光素子を有した複数の画素と、画素ごとに偏光方向が異なる直線偏光を選択的に受光させる偏光部（偏光フィルタ１３ａ、又は偏光スプリッタ５１−１、５１−２）とを有する画素ユニット（Ｕ、Ｕ’）が複数配列され、画像生成部は、画素ユニットに含まれる複数の画素の受光信号と、仮想フィルタ角度と受光信号値との関係を表す関数情報とに基づき、検出部の検出結果に基づいて補正された仮想フィルタ角度に相当する偏光方向に対応する画像を生成している。

これにより、撮像部の姿勢が変化しても偏光フィルタ効果は不変となる。
すなわち、撮像装置の姿勢変化に伴って偏光フィルタ効果が変化してしまうことの防止を図ることができる。

また、実施形態の撮像装置（１）においては、仮想フィルタ角度を操作入力可能とされている。

これにより、使用者の操作による偏光フィルタ効果の調整を可能とし、撮像の自由度の向上を図ることができる。

さらに、実施形態の撮像装置においては、操作入力が回転操作子による操作入力とされている。

これにより、回転自在な偏光フィルタを回転操作する場合と同様の操作感を使用者に提供することができる。

さらにまた、実施形態の撮像装置においては、画像生成部は、画素ユニットに含まれる複数の画素の受光信号に基づき、仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされると共に、操作に応じて仮想偏光画像と仮想通常画像を生成し分ける。

これにより、偏光フィルタ効果のＯＮ／ＯＦＦを使用者が操作により指示可能となる。
すなわち、使用者の求めに応じて偏光フィルタ効果のＯＮ／ＯＦＦを切り替えることができる。

また、実施形態の撮像装置においては、仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を表示部に表示させる表示制御部（３１）を備えている。

これにより、偏光フィルタ効果を使用者に確認させることができる。また、仮想フィルタ角度を操作により指定可能とされる場合には、操作に対する偏光フィルタ効果の変化を使用者に確認させることができる。

さらに、実施形態の撮像装置においては、撮像部は、それぞれが所定数の受光素子を有した複数の画素と、画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列され、画像生成部は、画素ユニットに含まれる複数の画素の受光信号に基づき、仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされ、表示制御部は、表示部において仮想偏光画像と仮想通常画像の何れか一方が表示中に行われた所定操作に基づき、表示部の表示状態を仮想偏光画像と仮想通常画像の何れか一方が表示された状態から仮想偏光画像と仮想通常画像の何れか他方が表示された状態に切り替えている。

これにより、偏光フィルタ効果の有無を使用者に把握させ易くなり、利便性を高めることができる。

さらにまた、実施形態の撮像装置においては、表示制御部は、所定操作が継続中の間、仮想偏光画像と仮想通常画像の何れか他方の表示状態を維持させ、所定操作の終了に応じて仮想偏光画像と仮想通常画像の何れか一方の表示状態に切り替えている。

これにより、使用者は、仮想偏光画像と仮想通常画像の何れか他方を表示させた後に何れか一方の表示状態に戻したいとしたときは、所定操作を終了すればよい。
従って、表示切替に係る操作負担の軽減を図ることができる。

さらに、実施形態の撮像装置においては、仮想フィルタ角度を操作入力可能とされ、画像生成部は、仮想フィルタ角度を操作入力された角度よりも大きな角度としたときの仮想偏光画像である増角画像、又は、仮想フィルタ角度を操作入力された角度よりも小さな角度としたときの仮想偏光画像である減角画像の少なくとも一方を生成し、表示制御部は、増角画像又は減角画像の少なくとも一方を表示部に表示させている。

これにより、仮想フィルタ角度を現在の指示角度から増角した場合、又は減角した場合にそれぞれ偏光フィルタ効果がどのように変化するかを使用者に確認させることが可能とされる。
従って、偏光フィルタ効果の調整が容易となるように使用者を支援することができる。

また、実施形態の撮像装置においては、仮想フィルタ角度の入力操作が回転操作子による入力操作とされ、表示制御部は、増角画像を表示させる場合は、増角画像に対応する表示位置に仮想フィルタ角度を大きくするための回転操作子の回転方向情報を、減角画像を表示させる場合は減角画像に対応する表示位置に仮想フィルタ角度を小さくするための回転操作子の回転方向情報をそれぞれ表示させている。

これにより、所望の偏光フィルタ効果を得るにあたり回転操作子をどちらの方向に回転させればよいかを使用者に直感的に理解させることが可能とされる。
従って、偏光フィルタ効果の調整がより容易となるように使用者を支援することができる。

さらに、実施形態の撮像装置においては、操作による被写体の指定を受け付ける受付部（３２）を備え、画像生成部が、画素ユニットに含まれる複数の画素の受光信号と関数情報とに基づき、仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を生成可能とされると共に、画像生成部は、指定された被写体の光を受光する画素位置における受光信号値に基づいた関数情報を取得し、該関数情報に基づき、画素位置の受光信号値を所定条件が満足される値とする仮想フィルタ角度を目標角度として計算し、目標角度を検出部の検出結果に基づき補正して補正角度を得、仮想フィルタ角度を補正角度としたときの仮想偏光画像を生成している。

これにより使用者は、被写体を指定する操作を行うことで、所望の被写体の光反射態様が所定条件を満たす態様に調整された仮想偏光画像を得ることができる。
従って、所定の偏光フィルタ効果を得るにあたっての使用者の操作負担軽減が図られる。

さらにまた、実施形態の撮像装置においては、画像生成部は、目標角度として、画素位置の受光信号値を略最小とする仮想フィルタ角度を計算している。

これにより使用者は、被写体を指定する操作を行うことで、所望の被写体の反射が除去されるように調整された仮想偏光画像を得ることができる。
従って、所定の被写体が反射除去される偏光フィルタ効果を得るにあたっての使用者の操作負担軽減が図られる。

また、実施形態の撮像装置においては、撮像部による撮像画像を表示部に表示させる表示制御部を備え、受付部は、表示部の表示画面に対するタッチ操作により行われる被写体の指定を受け付けている。

これにより、被写体の指定操作が容易化され、使用者の操作負担軽減を図ることができる。

さらに、実施形態の撮像装置においては、表示部を制御する表示制御部を備え、画像生成部は、撮像部における所定の画素位置ごとに、関数情報に基づいて仮想フィルタ角度の変化に対する受光信号値の変化度合いを表す値をフィルタ効果期待値として計算し、表示制御部は、フィルタ効果期待値の大きさを表す期待値情報が所定の画素位置ごとに表された期待値画像を表示部に表示させている。

これにより使用者は、画像内のどの位置で高いフィルタ効果が期待できるかを事前に把握することが可能とされる。
従って、所望の偏光フィルタ効果が容易に得られるように使用者を支援することができる。

さらにまた、実施形態の撮像装置においては、表示制御部は、期待値画像を撮像部による撮像画像に重畳表示させている。

これにより使用者は、高いフィルタ効果が期待できる位置を被写体との位置関係から具体的に把握することが可能とされる。
従って、所望の偏光フィルタ効果が容易に得られるようにするための支援効果をより高めることができる。

また、実施形態の撮像装置においては、表示制御部は、撮像画像としてモノクロ画像を、期待値画像としてモノクロ以外の特定色による画像を表示させている。

これにより、撮像画像と期待値画像の重畳表示によって互いの画像の視認性が低下することの抑制が図られる。
従って、高いフィルタ効果を期待できる位置を使用者により容易に把握させることができる。

さらに、実施形態の撮像装置においては、画像生成部は、フィルタ効果期待値として偏光度を計算している。

これにより、期待値情報の信頼性を高めることができる。

さらにまた、実施形態の撮像装置においては、撮像部（１１Ａ）は、偏光スプリッタ（５１−１又は５１−２）と、所定数の受光素子を有し該受光素子が偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して反射光を受光する第一種の画素（５２）と、所定数の受光素子を有し該受光素子が分離面を透過した透過光の光軸に略直交する受光面を有して透過光を受光する第二種の画素（５３）と、を有した画素対（５０−１又は５０−２）を複数備え、隣接関係にある画素対において、偏光スプリッタにおける分離面の偏光軸の面内角度が異なっている。

上記の撮像部においては、一つの画素対（一つの画素位置）につき、偏光方向が直交関係にある２種の直線偏光を選択的に受光可能とされ、また、隣接関係にある二つの画素対においては、偏光方向がそれぞれ異なる４種の直線偏光を選択的に受光可能とされる。
従って、仮想偏光画像の解像度向上を図ることができる。また、一つの画素対に対する入射光を複数の受光素子で受光するため、画素位置ごとの受光感度の向上を図ることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

＜５．その他変形例＞

本技術は上記した具体例に限定されるものではなく、多様な変形例が考えられる。
例えば、上記ではレンズ装置２が回転操作子２ｂを備える、つまり撮像装置の本体に回転操作子が設けられない例を示したが、回転操作子は例えばダイヤル操作子等の形態で撮像装置本体に設けられてもよい。
また、仮想フィルタ角度を指示するための操作子としては、回転操作子に限らず、スライド操作子、ボタン操作子等の他の形態による操作子とされてもよい。

また、本技術に係る撮像装置はレンズ一体型の撮像装置とすることもできる。

＜６．本技術＞

なお本技術は以下のような構成も採ることができる。
（１）
第一の偏光方向の光を受光可能な第一の画素と、前記第一の偏光方向と異なる第二の偏光方向の光を受光可能な第二の画素とを含む撮像部と、
前記撮像部の姿勢を検出する検出部と、
前記第一及び第二の画素の信号に基づいて、前記検出部の検出結果に応じた偏光方向に対応する画像を生成する画像生成部と、を備える
撮像装置。
（２）
前記画像生成部は、
回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における前記偏光フィルタの回転角度に相当する仮想フィルタ角度を設定し、前記検出部の検出結果に基づいて補正された前記仮想フィルタ角度に基づき、前記画像を生成する
前記（１）に記載の撮像装置。
（３）
前記撮像部は、
それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列され、
前記画像生成部は、
前記画素ユニットに含まれる前記複数の画素の受光信号と、前記仮想フィルタ角度と受光信号値との関係を表す関数情報とに基づき、前記検出部の検出結果に基づいて補正された前記仮想フィルタ角度に相当する偏光方向に対応する画像を生成する
前記（３）に記載の撮像装置。
（４）
前記仮想フィルタ角度を操作入力可能とされた
前記（２）又は（３）に記載の撮像装置。
（５）
前記操作入力が回転操作子による操作入力とされた
前記（４）に記載の撮像装置。
（６）
前記画像生成部は、
前記画素ユニットに含まれる前記複数の画素の受光信号に基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、前記偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされると共に、操作に応じて前記仮想偏光画像と前記仮想通常画像を生成し分ける
前記（３）乃至（５）の何れかに記載の撮像装置。
（７）
前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を表示部に表示させる表示制御部を備える
前記（２）乃至（６）の何れかに記載の撮像装置。
（８）
前記撮像部は、
それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列され、
前記画像生成部は、
前記画素ユニットに含まれる前記複数の画素の受光信号に基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、前記偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされ、
前記表示制御部は、
前記表示部において前記仮想偏光画像と前記仮想通常画像の何れか一方が表示中に行われた所定操作に基づき、前記表示部の表示状態を前記仮想偏光画像と前記仮想通常画像の何れか一方が表示された状態から前記仮想偏光画像と前記仮想通常画像の何れか他方が表示された状態に切り替える
前記（７）に記載の撮像装置。
（９）
前記表示制御部は、
前記所定操作が継続中の間、前記仮想偏光画像と前記仮想通常画像の何れか他方の表示状態を維持させ、前記所定操作の終了に応じて前記仮想偏光画像と前記仮想通常画像の何れか一方の表示状態に切り替える
前記（８）に記載の撮像装置。
（１０）
前記仮想フィルタ角度を操作入力可能とされ、
前記画像生成部は、
前記仮想フィルタ角度を前記操作入力された角度よりも大きな角度としたときの前記仮想偏光画像である増角画像、又は、前記仮想フィルタ角度を前記操作入力された角度よりも小さな角度としたときの前記仮想偏光画像である減角画像の少なくとも一方を生成し、
前記表示制御部は、
前記増角画像又は前記減角画像の少なくとも一方を前記表示部に表示させる
前記（７）乃至（９）の何れかに記載の撮像装置。
（１１）
前記仮想フィルタ角度の入力操作が回転操作子による入力操作とされ、
前記表示制御部は、
前記増角画像を表示させる場合は、前記増角画像に対応する表示位置に前記仮想フィルタ角度を大きくするための前記回転操作子の回転方向情報を、前記減角画像を表示させる場合は前記減角画像に対応する表示位置に前記仮想フィルタ角度を小さくするための前記回転操作子の回転方向情報をそれぞれ表示させる
前記（１０）に記載の撮像装置。
（１２）
操作による被写体の指定を受け付ける受付部を備え、
前記画像生成部が、前記画素ユニットに含まれる前記複数の画素の受光信号と前記関数情報とに基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を生成可能とされると共に、
前記画像生成部は、
前記指定された被写体の光を受光する画素位置における受光信号値に基づいた前記関数情報を取得し、該関数情報に基づき、前記画素位置の受光信号値を所定条件が満足される値とする前記仮想フィルタ角度を目標角度として計算し、前記目標角度を前記検出部の検出結果に基づき補正して補正角度を得、前記仮想フィルタ角度を前記補正角度としたときの前記仮想偏光画像を生成する
前記（３）乃至（１１）の何れかに記載の撮像装置。
（１３）
前記画像生成部は、
前記目標角度として、前記画素位置の受光信号値を略最小とする前記仮想フィルタ角度を計算する
前記（１２）に記載の撮像装置。
（１４）
前記撮像部による撮像画像を表示部に表示させる表示制御部を備え、
前記受付部は、
前記表示部の表示画面に対するタッチ操作により行われる前記被写体の指定を受け付ける
前記（１２）又は（１３）に記載の撮像装置。
（１５）
表示部を制御する表示制御部を備え、
前記画像生成部は、
前記撮像部における所定の画素位置ごとに、前記関数情報に基づいて前記仮想フィルタ角度の変化に対する前記受光信号値の変化度合いを表す値をフィルタ効果期待値として計算し、
前記表示制御部は、
前記フィルタ効果期待値の大きさを表す期待値情報が前記所定の画素位置ごとに表された期待値画像を前記表示部に表示させる
前記（３）乃至（１４）の何れかに記載の撮像装置。
（１６）
前記表示制御部は、
前記期待値画像を前記撮像部による撮像画像に重畳表示させる
前記（１５）に記載の撮像装置。
（１７）
前記表示制御部は、
前記撮像画像としてモノクロ画像を、前記期待値画像としてモノクロ以外の特定色による画像を表示させる
前記（１６）に記載の撮像装置。
（１８）
前記偏光画像生成部は、
前記フィルタ効果期待値として偏光度を計算する
前記（１５）乃至（１７）の何れかに記載の撮像装置。
（１９）
前記撮像部は、
偏光スプリッタと、所定数の受光素子を有し該受光素子が前記偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して前記反射光を受光する第一種の画素と、所定数の受光素子を有し該受光素子が前記分離面を透過した透過光の光軸に略直交する受光面を有して前記透過光を受光する第二種の画素と、を有した画素対を複数備え、
隣接関係にある前記画素対において、前記偏光スプリッタにおける前記分離面の偏光軸の面内角度が異なっている
前記（１）乃至（１８）の何れかに記載の撮像装置。

１、１Ａ 撮像装置、２ｂ 回転操作子、１１、１１Ａ 撮像部、１２ 撮像素子、１２ａ 受光素子、１３ 光学部材、１３ａ 偏光フィルタ、１６ 表示部、１７ 角度検出部、１８ 操作部、２０ デジタル信号処理部、２１、２１Ａ 偏光画像生成部、２３ 表示データ生成部、３０ 制御部、３１ 表示制御部、３２ 受付部、５０−１、５０−２ 画素対、５１−１、５１−２ 偏光スプリッタ、５１ａ 分離面、５２、５３ 画素、Ｕ、Ｕ’ 画素ユニット、Ｐ 偏光軸、Ｐ’ 仮想偏光軸、Ｇｒ 指示角画像、Ｇａ 増角画像、Ｇｄ 減角画像

Claims (20)

1. 第一の偏光方向の光を受光可能な第一の画素と、前記第一の偏光方向と異なる第二の偏光方向の光を受光可能な第二の画素とを含む撮像部と、
   前記撮像部の姿勢を検出する検出部と、
   前記第一及び第二の画素の信号に基づいて、前記検出部の検出結果に応じた偏光方向に対応する画像を生成する画像生成部と、を備える
   撮像装置。
2. 前記画像生成部は、
   回転自在な偏光フィルタを介した光を受光して撮像画像を得ると仮定した場合における前記偏光フィルタの回転角度に相当する仮想フィルタ角度を設定し、前記検出部の検出結果に基づいて補正された前記仮想フィルタ角度に基づき、前記画像を生成する
   請求項１に記載の撮像装置。
3. 前記撮像部は、
   それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列され、
   前記画像生成部は、
   前記画素ユニットに含まれる前記複数の画素の受光信号と、前記仮想フィルタ角度と受光信号値との関係を表す関数情報とに基づき、前記検出部の検出結果に基づいて補正された前記仮想フィルタ角度に相当する偏光方向に対応する画像を生成する
   請求項２に記載の撮像装置。
4. 前記仮想フィルタ角度を操作入力可能とされた
   請求項２に記載の撮像装置。
5. 前記操作入力が回転操作子による操作入力とされた
   請求項４に記載の撮像装置。
6. 前記画像生成部は、
   前記画素ユニットに含まれる前記複数の画素の受光信号に基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、前記偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされると共に、操作に応じて前記仮想偏光画像と前記仮想通常画像を生成し分ける
   請求項３に記載の撮像装置。
7. 前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を表示部に表示させる表示制御部を備える
   請求項２に記載の撮像装置。
8. 前記撮像部は、
   それぞれが所定数の受光素子を有した複数の画素と、前記画素ごとに偏光方向が異なる直線偏光の光を受光させる偏光部とを有する画素ユニットが複数配列され、
   前記画像生成部は、
   前記画素ユニットに含まれる前記複数の画素の受光信号に基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像と、前記偏光部による偏光の分離をキャンセルした画像である仮想通常画像とを生成可能とされ、
   前記表示制御部は、
   前記表示部において前記仮想偏光画像と前記仮想通常画像の何れか一方が表示中に行われた所定操作に基づき、前記表示部の表示状態を前記仮想偏光画像と前記仮想通常画像の何れか一方が表示された状態から前記仮想偏光画像と前記仮想通常画像の何れか他方が表示された状態に切り替える
   請求項７に記載の撮像装置。
9. 前記表示制御部は、
   前記所定操作が継続中の間、前記仮想偏光画像と前記仮想通常画像の何れか他方の表示状態を維持させ、前記所定操作の終了に応じて前記仮想偏光画像と前記仮想通常画像の何れか一方の表示状態に切り替える
   請求項８に記載の撮像装置。
10. 前記仮想フィルタ角度を操作入力可能とされ、
    前記画像生成部は、
    前記仮想フィルタ角度を前記操作入力された角度よりも大きな角度としたときの前記仮想偏光画像である増角画像、又は、前記仮想フィルタ角度を前記操作入力された角度よりも小さな角度としたときの前記仮想偏光画像である減角画像の少なくとも一方を生成し、
    前記表示制御部は、
    前記増角画像又は前記減角画像の少なくとも一方を前記表示部に表示させる
    請求項７に記載の撮像装置。
11. 前記仮想フィルタ角度の入力操作が回転操作子による入力操作とされ、
    前記表示制御部は、
    前記増角画像を表示させる場合は、前記増角画像に対応する表示位置に前記仮想フィルタ角度を大きくするための前記回転操作子の回転方向情報を、前記減角画像を表示させる場合は前記減角画像に対応する表示位置に前記仮想フィルタ角度を小さくするための前記回転操作子の回転方向情報をそれぞれ表示させる
    請求項１０に記載の撮像装置。
12. 操作による被写体の指定を受け付ける受付部を備え、
    前記画像生成部が、前記画素ユニットに含まれる前記複数の画素の受光信号と前記関数情報とに基づき、前記仮想フィルタ角度を任意角度として得られる画像に相当する仮想偏光画像を生成可能とされると共に、
    前記画像生成部は、
    前記指定された被写体の光を受光する画素位置における受光信号値に基づいた前記関数情報を取得し、該関数情報に基づき、前記画素位置の受光信号値を所定条件が満足される値とする前記仮想フィルタ角度を目標角度として計算し、前記目標角度を前記検出部の検出結果に基づき補正して補正角度を得、前記仮想フィルタ角度を前記補正角度としたときの前記仮想偏光画像を生成する
    請求項３に記載の撮像装置。
13. 前記画像生成部は、
    前記目標角度として、前記画素位置の受光信号値を略最小とする前記仮想フィルタ角度を計算する
    請求項１２に記載の撮像装置。
14. 前記撮像部による撮像画像を表示部に表示させる表示制御部を備え、
    前記受付部は、
    前記表示部の表示画面に対するタッチ操作により行われる前記被写体の指定を受け付ける
    請求項１２に記載の撮像装置。
15. 表示部を制御する表示制御部を備え、
    前記画像生成部は、
    前記撮像部における所定の画素位置ごとに、前記関数情報に基づいて前記仮想フィルタ角度の変化に対する前記受光信号値の変化度合いを表す値をフィルタ効果期待値として計算し、
    前記表示制御部は、
    前記フィルタ効果期待値の大きさを表す期待値情報が前記所定の画素位置ごとに表された期待値画像を前記表示部に表示させる
    請求項３に記載の撮像装置。
16. 前記表示制御部は、
    前記期待値画像を前記撮像部による撮像画像に重畳表示させる
    請求項１５に記載の撮像装置。
17. 前記表示制御部は、
    前記撮像画像としてモノクロ画像を、前記期待値画像としてモノクロ以外の特定色による画像を表示させる
    請求項１６に記載の撮像装置。
18. 前記画像生成部は、
    前記フィルタ効果期待値として偏光度を計算する
    請求項１５に記載の撮像装置。
19. 前記撮像部は、
    偏光スプリッタと、所定数の受光素子を有し該受光素子が前記偏光スプリッタの分離面を反射した反射光の光軸に略直交する受光面を有して前記反射光を受光する第一種の画素と、所定数の受光素子を有し該受光素子が前記分離面を透過した透過光の光軸に略直交する受光面を有して前記透過光を受光する第二種の画素と、を有した画素対を複数備え、
    隣接関係にある前記画素対において、前記偏光スプリッタにおける前記分離面の偏光軸の面内角度が異なっている
    請求項１に記載の撮像装置。
20. 第一の偏光方向の光を受光可能な第一の画素と、前記第一の偏光方向と異なる第二の偏光方向の光を受光可能な第二の画素とを含む撮像部を有する撮像装置について、前記撮像部の姿勢を検出する検出ステップと、
    前記第一及び第二の画素の信号に基づいて、前記検出ステップの検出結果に応じた偏光方向に対応する画像を生成する画像生成ステップと、
    を前記撮像装置が実行する
    画像生成方法。

Images