JP2022119379A - 光電変換装置 - Google Patents

Abstract

【課題】 学習済モデルに基づく処理を行う処理部を改善した光電変換装置を提供する。【解決手段】 第１の光電変換部に対応して配されている第１のフィルタと、第２の光電変換部に対応して配されている第２のフィルタを有する。第１の光電変換部からの出力信号を処理し、第１の学習済モデルを有する第１の処理部と、第２の光電変換部からの出力信号を処理し、第１の学習済モデルとは異なる第２の学習済モデルを有する第２の処理部とを有する。【選択図】 図３

Description

本発明は、光電変換装置が有する信号処理部の配置に関する。

近年では、画像処理の多様化・高速化などの観点から、光電変換装置内でより高度な信号処理を実行することが望まれている。

特許文献１には、第１の基板と第２の基板が積層された積層型の光電変換装置が記載されている。第１の基板には、複数の光電変換部を有する光電変換領域（撮像部）が設けられている。第２の基板には、第１の基板に配された画素アレイから得られた信号に対して、信号処理を行う処理部が配されている。この処理部では、機械学習のプログラムである学習済モデルが格納されており、ニューラルネットワーク計算モデルに基づく信号処理を実行することが可能である。このため、光電変換装置内で従来よりも高度な信号処理を実行することができる。

特開２０２０－２５２６３号公報

特許文献１では、学習済モデルに基づく処理を行う処理部が１つしか設けられていない。このため、処理部での処理速度の低下や負荷の増大などを招く可能性がある。

そこで、本発明は、特許文献１と比較して、学習済モデルに基づく処理を行う処理部を改善した光電変換装置を提供することを目的とする。

光電変換装置であって、複数の光電変換部が配された光電変換領域と、前記複数の光電変換部のうち第１の光電変換部に対応して配されている第１のフィルタと、前記複数の光電変換部のうち第２の光電変換部に対応して配されており、前記第１のフィルタとは光学特性が異なる第２のフィルタと、前記第１の光電変換部からの出力信号を処理し、第１の学習済モデルを有する第１の処理部と、前記第２の光電変換部からの出力信号を処理し、前記第１の学習済モデルとは異なる第２の学習済モデルを有する第２の処理部と、を有することを特徴とする。

本発明によれば、特許文献１と比較して、学習済モデルに基づく処理を行う処理部を改善した光電変換装置を提供することができる。

実施形態１に係る光電変換装置の構成図 実施形態１に係る光電変換装置の第１の基板の平面図 実施形態１に係る光電変換装置の第２の基板の平面図 実施形態１に係る光電変換装置の構成図 実施形態２に係る光電変換装置の第２の基板の平面図 実施形態３に係る光電変換装置の第２の基板の平面図 実施形態４に係る光電変換装置の第２の基板の平面図 実施形態４に係る光電変換装置の第２の基板の平面図 実施形態５に係る光電変換装置の第２の基板の平面図 実施形態５に係る光電変換装置の第２の基板の平面図 実施形態６の光電変換システムの機能ブロック図 実施形態７の距離センサの機能ブロック図 実施形態８の内視鏡手術の機能ブロック図 実施形態９の光電変換システムおよび移動体の図 実施形態１０のスマートグラスの概略図 実施形態１１の診断システムの機能ブロック図

以下に、本開示の一実施形態について図面に基づいて詳細に説明する。以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。また、本明細書において、平面視とは、第１の基板の光入射面に対して垂直な方向から視ることである。

（実施形態１）
実施形態１について、図１から図３を用いて説明する。

図１は、本実施形態における光電変換装置１０００の構成図である。図１において、光電変換装置は、第１の基板１００と第２の基板１０２を有し、第１の基板１００と第２の基板１０２は積層されている。

第１の基板１００には、フォトダイオードからなる光電変換部を備え、複数の光電変換部は光電変換領域１０１に２次元的に配される。光電変換部を撮像用に用いる場合には、「光電変換領域」を「撮像領域」と呼ぶこともある。もっとも、光電変換部は、像形成以外の用途、例えば、距離計測などの用途に用いられる場合があるため、光電変換領域は、撮像領域の上位概念である。

光電変換領域１０１からの信号は第２の基板１０２へ出力される。ここで、光電変換領域１０１には、複数の画素が設けられており、各画素は、光電変換部と、光電変換部で生じた電荷を読み出す画素回路を有していてもよい。例えば、画素回路は、転送トランジスタ、増幅トランジスタ、リセットトランジスタ、選択トランジスタ、容量切り替え用トランジスタなどを有していてもよい。あるいは、光電変換領域１０１には、ＡＰＤ（Ａｖａｌａｎｃｈｅ Ｐｈｏｔｏ Ｄｉｏｄｅ）からなる光電変換部が複数配されていてもよい。さらに、ＡＰＤはＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）であってもよい。例えば、ＳＰＡＤの場合、光電変換領域１０１には、ＡＰＤからなる光電変換部が設けられる。また、ＳＰＡＤの場合、光電変換部からの出力を読み出す画素回路は、第１の基板１００ではなく、第２の基板１０２に設けられる。

第２の基板１０２には、後述するように、アナログデジタル変換器（ＡＤＣ）と、コントロール部と、信号処理部と、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）と、メモリ等が配置されている。第２基板１０２には、不図示のインターフェース回路やドライバー回路などが配置されていてもよい。

第１の基板１００と第２の基板１０２との貼り合わせは、第１の基板１００と第２の基板１０２をそれぞれチップに個片化した後、これら個片化された第１の基板１００と第２の基板１２を貼り合わせることができる。すなわち、ＣｏＣ（Ｃｈｉｐ ｏｎ Ｃｈｉｐ）方式を採用しうる。あるいは、第１の基板１００と第２の基板１０２とのうち一方（例えば、第１の基板１００）をチップに個片化した後、この個片化された第１の基板１００を個片化前（すなわち、ウエハ状態）の第２の基板１０２に貼り合わせることができる。すなわち、ＣｏＷ（Ｃｈｉｐ ｏｎ Ｗａｆｅｒ）方式であってもよい。あるいは、第１基板１００と第２基板１０２とを共にウエハの状態で貼り合わせる方式でもよい。すなわち、ＷｏＷ（Ｗａｆｅｒ ｏｎ Ｗａｆｅｒ）方式であってもよい。

第１の基板１００と第２の基板１０２との接合方法には、例えば、プラズマ接合等を使用することができる。ただし、これに限定されず、種々の接合方法が用いられてよい。

第１の基板１００と第２の基板１０２との電気的接続には、例えば、第１基板１００に設けられたＴＳＶと第１基板１００から第２基板１０２にかけて設けられたＴＳＶとの２つのＴＳＶをチップ外表で接続してもよい。すなわち、いわゆるツインＴＳＶ方式を用いることができる。また、第１基板１００から第２基板１０２にかけて設けられた共通のＴＳＶで接続する、いわゆるシェアードＴＳＶ方式などを採用することができる。さらに、第１基板１００の接合面と第２基板１０２の接合面とにそれぞれ露出させた銅（Ｃｕ）同士を接合する、いわゆるＣｕ－Ｃｕボンディング方式など、種々の接続形態を採用することが可能である。

図２は、図１における第１の基板１００の平面図である。図２において、第１の基板１００には光電変換領域１０１が設けられており、複数の光電変換部が設けられている。光電変換部の受光側となる光電変換部の上部にはカラーフィルタ２０１を備えている。図２においては、赤色カラーフィルタ（Ｒ）、緑色カラーフィルタ（Ｇｂ、Ｇｒ）、青色カラーフィルタ（Ｂ）が示されている。異なる色のカラーフィルタは、光学特性、例えば、波長に対する透過率特性が異なる。図示されていないが、これらのカラーフィルタの配列は１つのブロックを構成し、上下左右方向に２次元状に配列されている。

各カラーフィルタ２０１は、１つの光電変換部に対応して設けてもよいし、２つ以上の光電変換部に対応していてもよい。カラーフィルタ２０１の上には、マイクロレンズ（不図示）が設けられる。各マイクロレンズは、１つのカラーフィルタに対応して設けてもよいし、２つ以上のカラーフィルタに対応して設けてもよい。例えば、クアッドベイヤー配列の場合、４つのカラーフィルタに対して、１つのマイクロレンズが設けられる。

図３は、第２の基板１０２の平面図である。第２の基板１０２の中央部付近には、読み出し回路３０１が設けられている。読み出し回路３０１から出力された信号は、第１のＡＩ処理部３０２、第２のＡＩ処理部３０３、第３のＡＩ処理部３０４、第４のＡＩ処理部３０５に入力されるように構成されている。

ここで、第１のＡＩ処理部３０２は、赤色カラーフィルタ（Ｒ）に対応する光電変換部からの出力を処理する。また、第２のＡＩ処理部３０３は、緑色カラーフィルタ（Ｇｂ）に対応する光電変換部からの出力を処理する。さらに、第３のＡＩ処理部３０４は、緑色カラーフィルタ（Ｇｒ）に対応する光電変換部からの出力を処理する。加えて、第４のＡＩ処理部３０５は、青色カラーフィルタ（Ｂ）に対応する出力を処理する。

図４は、図１から図３で説明した事項をブロック図で再度示したものである。図４においては、図３で説明したブロック図がさらに詳細に説明されている。

図４において、第１の基板１００側には、光電変換領域１０１が設けられており、光電変換領域１０１の光電変換部から出力された信号は、配線を通じて、第２の基板１０２側に入力される。

光電変換部から出力された信号は、第２の基板１０２に設けられた読み出し回路３０１に入力される。読み出し回路３０１は、アナログデジタル変換回路（ＡＤＣ回路）３１０と信号処理部３２０が設けられている。

読み出し回路３０１から出力された信号は、ＡＩ処理部３０２から３０５に入力される。各ＡＩ処理部は、メモリ３３０とＤＳＰ３４０と、を有する。また、各ＡＩ処理部からの出力は、出力部３５０に入力され、光電変換装置１０００の外部に出力される。

ＡＤＣ回路３１０は、アナログの信号をデジタル値に変換することで、デジタルデータを生成する。ＡＤＣ回路３１０には、光電変換領域の素子を駆動するための駆動電圧を生成する電圧生成回路等が含まれていてもよい。ＡＤＣ回路３１０で生成されたデジタルデータは、信号処理部３２０に出力される。ところで、図４では、光電変換領域１０１に設けられた複数の光電変換部から出力された信号を１つのＡＤＣ回路３１０で処理するように記載されている。しかし、ＡＤＣ回路３１０は、複数の光電変換部のそれぞれに対応して、１つのＡＤＣ回路を設けてもよい。あるいは、複数の光電変換部からなるブロックに対応して、１つのＡＤＣ回路を設けてもよい。どのような形態も可能である。

信号処理部３２０は、ＡＤＣ回路３１０から入力されたデジタルデータに対して種々の信号処理を実行する。例えば、処理対象のデータがカラー画像である場合、信号処理部３２０は、このカラー画像データをＹＵＶの画像データやＲＧＢの画像データなどにフォーマット変換する。また、信号処理部３２０は、例えば、処理対象の画像データに対し、ノイズ除去やホワイトバランス調整等の処理を必要に応じて実行する。その他、信号処理部３２０は、処理対象の画像データに対し、ＤＳＰ３４０がその画像データを処理するのに必要となる種々の信号処理（前処理ともいう）を実行する。

ＤＳＰ３４０は、例えば、メモリ３３０に格納されているプログラムを実行することで、学習済みモデル（ニューラルネットワーク計算モデルともいう）を用いた各種処理を実行する。学習済みモデルは、例えば、ディープニューラルネットワーク（ＤＮＮ）を利用した機械学習によって作成される。学習済みモデルは、光電変換領域１０１からの出力に相当する入力信号と、当該入力信号に対するラベルとが紐付いている学習データとを所定の機械学習モデルに入力して生成されたパラメータに基づいて設計されていてもよい。また、所定の機械学習モデルは、多層のニューラルネットワークを利用した学習モデル（多層ニューラルネットワークモデルともいう）であってもよい。

例えば、ＤＳＰ３４０は、メモリ３３０に記憶されている学習済みモデルに基づいた処理を実行することで、メモリ３３０に記憶されている係数とデータと掛け合わせる処理を実行する。このような処理により得られた結果（演算結果）は、メモリ３３０及び／又は出力部３５０へ出力される。演算結果には、学習済みモデルを用いた処理を実行することで得られた画像データや、その画像データから得られる各種情報（メタデータ）が含まれ得る。また、ＤＳＰ３４０には、メモリ３３０へのアクセスを制御するメモリコントローラが組み込まれていてもよい。

ＤＳＰ３４０が処理対象とするデータは、光電変換領域１０１から読み出されたデータであってもよいし、読み出されたデータの画素を間引くことでデータサイズが縮小されたデータであってもよい。あるいは、光電変換領域１０１の全ての画素を読み出すのではなく、一部の画素を間引いた読み出しを実行してもよい。

メモリ３３０は、ＡＤＣ回路３１０から出力されたデジタルデータ、信号処理部３２０で信号処理されたデータ、ＤＳＰ３４０で得られた演算結果等を必要に応じて記憶する。なお、図４では、ＡＤＣ回路３１０の出力信号は、信号処理部３２０へ入力される経路しか記載されていないが、ＡＤＣ回路３１０の出力信号は、メモリ３３０に入力可能に構成してもよい。また、メモリ３３０は、ＤＳＰ３４０が実行する学習済みモデルのアルゴリズムをプログラム及び係数として記憶する。

ＤＳＰ３４０は、学習データを用いて学習モデル内の各種パラメータの重み付けを変更することで再度学習モデルを構築することも可能である。また、ＤＳＰ３４０は、複数の学習モデルを用意しておき、算処理の内容に応じて使用する学習モデルを変更する演算を行うことも可能である。さらに、ＤＳＰ３４０は、外部の装置から学習済みの学習モデルを取得して、上記処理を実行することも可能である。

例えば、一方のＡＩ処理部（例えば、３０２）が有するメモリ３３０と、他方のＡＩ処理部（例えば、３０３）が有するメモリ３３０には、同じ学習済モデルが格納されていてもよい。この場合であっても、複数のＡＩ処理部を用いることにより、処理を並行して行うことが可能になる。これにより、演算の高速化を実現することが可能になる。また、第２の基板内において、ＡＩ処理部の位置を分散させることができるため、発熱を分散することができ、局所的な発熱上昇を抑制することができる。

あるいは、一方のＡＩ処理部が有するメモリ３３０と、他方のＡＩ処理部が有するメモリ３３０には、異なる学習済モデルが格納されていてもよい。異なる色のカラーフィルタが設けられている光電変換部からの出力を処理するに際して、適した処理の仕方は異なる。メモリ３３０に格納されている学習済モデルをＡＩ処理部ごとに変えれば、各カラーフィルタの色毎に対応して、最適な処理をすることができる。

出力部３５０は、例えばコントロール部からの選択制御信号に従うことで、ＤＳＰ３４０から出力された画像データやメモリ３３０に記憶されているデータや演算結果を選択的に出力する。ＤＳＰ３４０が信号処理部３２０から出力されたデータに対して処理を実行しない場合であって、出力部３５０がＤＳＰ３４０から出力されたデータを出力する場合には、出力部３５０は、信号処理部３２０から出力された画像データをそのまま出力する。

以上のようにして出力部３５０から出力された画像データや演算結果は、表示やユーザインタフェースなどを処理するアプリケーションプロセッサ（不図示）に入力される。アプリケーションプロセッサは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いて構成され、オペレーティングシステムや各種アプリケーションソフトウエア等を実行する。

図４では不図示であるが、ＡＩ処理部３０２から３０５と、出力部３５０との間に、各ＡＩ処理部からの出力を統合する統合処理部を設けてもよい。あるいは、一方のＡＩ処理部の出力を、他方のＡＩ処理部に入力するように構成し、前記他方のＡＩ処理部が統合処理する機能を有するように構成してもよい。

また、本実施形態では、ベイヤー配列の場合について説明したが、ベイヤー配列に限定されず、シアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）などの補色フィルタであってもよい。さらに、２つの緑色のカラーフィルタ（Ｇｒ、Ｇｂ）のうち、片方のフィルタを別の透過率特性を有するフィルタに置換してもよい。例えば、可視光領域の概ね全体に透過率が高いフィルタを設けたホワイト画素を含むフィルタ配列であってもよい。また、赤外領域の波長に対して透過率が高いフィルタを設けたＩＲ画素を含むフィルタ配列であってもよい。

以上説明したように、複数のＡＩ処理部は、フィルタの種類に対応して、処理を並行して行うことが可能になる。これにより、演算の高速化を実現することが可能になる。また、平面視をした第２の基板内において、ＡＩ処理部の位置を分散させることができる。これにより、発熱を分散することができ、局所的な発熱上昇を抑制することができる。さらに、各フィルタに対応して、特徴的な処理を行うことも可能になる。

（実施形態２）
実施形態２について、図５を用いて説明する。

図５（Ａ）は、本実施形態における光電変換装置の第１の基板１００の平面図であり、図５（Ｂ）は、第２の基板１０２の平面図である。

図５（Ａ）において、第１の基板１００には光電変換領域１０１が設けられており、光電変換部の上部にはカラーフィルタ２０１を備えている。図２においては、赤色カラーフィルタ（Ｒ）、緑色カラーフィルタ（Ｇ）、青色カラーフィルタ（Ｂ）、ＩＲフィルタ（ＩＲ）が示されている。ＩＲフィルタは、光電変換部が赤外領域に対して感度を有するように設けられたフィルタである。ここでは、ＩＲフィルタを含めて、カラーフィルタという。図示されていないが、これらのカラーフィルタの配列は１つのブロックを構成し、上下左右方向に２次元状に配列されている。

図５（Ｂ）において、第２の基板１０２には、第１のＡＩ処理部４０１と、第２のＡＩ処理部４０２が配置されている。ここで、第１のＡＩ処理部４０１は、ＩＲフィルタに対応して設けられた光電変換部からの出力信号を処理する。また、第２のＡＩ処理部４０２は、赤色、緑色、青色のカラーフィルタに対応して設けられた光電変換部からの出力信号を処理する。すなわち、第１のＡＩ処理部４０１は赤外領域に対する信号を処理する処理部であり、第２のＡＩ処理部４０２は可視光領域に対する信号を処理する処理部である。

以上のような構成によれば、可視光領域に対応する出力信号と、赤外領域に対応する出力信号と分けてＡＩ処理を並列で行うことが可能になる。これにより、ＡＩ処理の高速化を行うことが可能になる。

また、分散処理により第１の基板１００へ伝わる熱の分散や、低消費電力化により、温度の上昇を抑制することが可能となり、画質や演算結果の精度低下を抑制することができる。

さらに、必要に応じて動作させる処理部を選択することが可能になり、低消費電力化を行うことも可能になる。例えば、暗時においては、可視光領域では検出信号を取得することが難しいため、赤外領域用の画素からの信号処理のみを行うことが考えられる。この場合、第１のＡＩ処理部４０１のみを動作させ（動作モード）、第２のＡＩ処理部４０２は動作させない（非動作モード）という制御をする。このような制御によれば、低消費電力化を図ることが可能となる。また、撮像だけでなく、撮像面のオートフォーカス処理を行う際に、第１のＡＩ処理部４０１を動作させ、第２のＡＩ処理部４０２を動作させないという制御も可能である。さらに、赤外領域の光検出が不要な場合は、逆に、第１のＡＩ処理部４０１を動作させずに、第２のＡＩ処理部４０２を動作させるという制御も可能である。なお、処理が必要でないＡＩ処理部を完全に止めるだけでなく、待機の状態にしておく場合も、上記の非動作モードに包含される。

加えて、赤外領域用の画素からは、輝度情報を取得し、可視光領域用の画素からは、色情報を取得し、輝度情報と色情報を統合する処理をする場合がある。例えば、風景の撮影において、可視光領域の光で撮像した場合、靄の影響で鮮明な像形成ができないときがある。そこで、靄の影響が少ない赤外光領域から輝度情報を取得して像形成をする。この場合、第１のＡＩ処理部４０１は輝度情報として信号処理するのに対して、第２のＡＩ処理部４０２は色情報として信号を処理するため、最適な処理が異なる。そのため、第１のＡＩ処理部４０１が有するメモリに格納されている学習済モデルと、第２のＡＩ処理部４０２が有するメモリに格納されている学習済モデルは異なる。この構成によれば、並列処理を行える上に、赤外光用画素からの出力信号の処理と、可視光用画素からの出力信号の処理のそれぞれについて最適化した処理を行うことも可能となる。

（実施形態３）
実施形態３について、図６を用いて説明する。

図６は、本実施形態における光電変換装置の第２の基板１０２の平面図である。カラーフィルタの配置は、図２に示したものを適用する。

図６において、第２の基板１０２には、第１のＡＩ処理部５０１と、第２のＡＩ処理部５０２と、第３のＡＩ処理部５０３が配置されている。ここで、第１のＡＩ処理部５０１は、光電変換部のベイヤー配列のカラーフィルタにおける緑色カラーフィルタ（Ｇｒ、Ｇｂ）に対応して設けられた光電変換部からの出力信号を処理する。また、第２のＡＩ処理部５０２は、赤色カラーフィルタ（Ｒ）に対応して設けられた光電変換部からの出力信号を処理する。さらに、第３のＡＩ処理部５０３は、青色カラーフィルタ（Ｂ）に対応して設けられた光電変換部からの出力信号を処理する。

例えば、緑色カラーフィルタが設けられた画素からは、輝度情報を取得し、それ以外のカラーフィルタが設けられた画素からは、色情報を取得し、輝度情報と色情報を統合する処理をする場合がある。人間の眼は、緑色に対応する波長領域に対して感度が高いため、緑色カラーフィルタが設けられた光電変換部からの出力信号を輝度情報として用いる。他方、それ以外のカラーフィルタが設けられた光電変換部からの出力信号は色情報として用いる。この場合、第１のＡＩ処理部５０１は輝度情報として信号処理するのに対して、第２のＡＩ処理部５０２と第３のＡＩ処理部５０３は色情報として信号を処理するため、最適な処理が異なる。そのため、第１のＡＩ処理部５０１が有するメモリに格納されている学習済モデルと、第２のＡＩ処理部５０２および第３のＡＩ処理部５０３が有するメモリに格納されている学習済モデルは異なる。また、赤色カラーフィルタが設けられた画素からの出力信号と、青色カラーフィルタが設けられた画素からの出力信号でも、信号の組み合わせ方によっては、最終的な画像の出力結果が異なる。そのため、赤色と青色によっても、最適な処理は異なることになる。そのため、第２のＡＩ処理部５０２が有するメモリに格納される学習済モデルと、第３のＡＩ処理部５０３が有するメモリに格納される学習済モデルは異なっていてもよい。

上記構成によれば、各色フィルタに対応する出力信号ごとにＡＩ処理を並列で行うことが可能になる。これにより、ＡＩ処理の高速化を行うことが可能になる。

また、分散処理により第１の基板１００へ伝わる熱の分散や、低消費電力化により、温度の上昇を抑制することが可能となり、画質や演算結果の精度低下を抑制することができる。

さらに、上記構成によれば、並列処理を行える上に、異なる色のカラーフィルタが設けられた画素からの出力信号のそれぞれについて最適化した処理を各ＡＩ処理部で行うことも可能となる。これにより、各ＡＩ処理部で最適化された処理がなされるため、最適化されていない処理を行うＡＩ処理部に比べて、低消費電力化を図ることができる。

加えて、輝度情報のみが必要な場合には、第２のＡＩ処理部５０２と第３のＡＩ処理部５０３を動作しないように制御することも可能である。これにより、低消費電力化を図ることも可能である。例えば、撮像面オートフォーカスを行う際には、輝度情報のみを用いて、被写体認識によるＡＦ追従や動き予測をＡＩ処理部の信号処理により行う。他方、色情報を取得するために用いる信号に対して処理を行うＡＩ処理部については動作させない。これにより、低消費電力化を図ることが可能になる。また、温度の上昇を抑制することが可能となり、画質や演算結果の精度低下も抑制することができる。

本実施形態では、カラーフィルタはベイヤー配列の場合について説明したが、補色フィルタを用いたフィルタ配列、ホワイト画素を含むフィルタ配列を採用してもよい。また、実施形態２で説明したように、「Ｒ」「Ｇ」「Ｂ」「ＩＲ」のフィルタ配列を採用してもよい。この場合、２×２画素において、４つの画素のそれぞれに設けられているフィルタの種類が異なることから、第１から第４のＡＩ処理部を用いて、並列処理、分散処理ができるように構成してもよい。このとき、第１のＡＩ処理部から第４のＡＩ処理のそれぞれに設けられたメモリに格納されている学習済モデルは異なるモデルであってもよい。

（実施形態４）
実施形態４について、図７と図８を用いて説明する。

図７は、本実施形態における光電変換装置の第２の基板１０２の平面図である。カラーフィルタの配置は、図２に示したものを適用する。もっとも、図２に示したベイヤー配列だけでなく、補色フィルタを用いたフィルタ配列、ホワイト画素や赤外光画素を含むフィルタ配列を採用してもよい。

第２の基板１０２には、第１のＡＩ処理部６０１と、第２のＡＩ処理部６０２と、第３のＡＩ処理部６０３とが配置されている。ここで、第１のＡＩ処理部６０１は、緑色カラーフィルタ（Ｇｒ、Ｇｂ）に対応して設けられた光電変換部からの出力信号を処理する。第２のＡＩ処理部６０２は、赤色カラーフィルタ（Ｒ）に対応して設けられた光電変換部からの出力信号を処理する。第３のＡＩ処理部６０３は、青色カラーフィルタ（Ｂ）に対応して設けられた光電変換部からの出力信号を処理する。

図７において、点線で囲まれた領域１０３は、平面視した場合に、光電変換領域１０１と重複する領域である。ここで、第１方向において、第１のＡＩ処理部６０１と領域１０３の境界との間の距離を距離６０４で示す。また、同じく第１方向において、第２のＡＩ処理部６０２と領域１０３の境界との間の距離を距離６０５で示す。なお、第２のＡＩ処理部６０２と第３のＡＩ処理部６０３は、第１方向と交差する第２方向において、隣り合うように配されている。そのため、第１方向において、第３のＡＩ処理部６０３と領域１０３の境界との間の距離も、距離６０５となっている。

ここで、図７において、距離６０４＞距離６０５の関係となっている。すなわち、第１のＡＩ処理部６０１は、第２のＡＩ処理部６０２や第３のＡＩ処理部６０３よりも、領域１０３の境界から離間されて配されている。

実施形態３で説明したように、緑色カラーフィルタが設けられた光電変換部からの出力信号は、輝度情報に用い、赤色と黄色のカラーフィルタが設けられた光電変換部からの出力信号は、色情報に用いる場合がある。この場合、物体の認識、物体の数量のカウント、画像処理、などのＡＩ処理部で行う処理は、輝度情報の処理に基づくことが多い。また、撮像面オートフォーカスを行う際にも、輝度情報の処理に基づく。このため、緑色カラーフィルタが設けられた光電変換部からの出力信号を処理する第１のＡＩ処理部６０１の処理負荷は、他のＡＩ処理部に比べて、大きくなる。

そこで、図７に示す構成を採用することにより、ＡＩ処理負荷の大きい輝度情報を処理するＡＩ処理部をＡＩ処理負荷の小さい色情報を処理するＡＩ処理部よりも光電変換領域から離間させて配置する。ＡＩ処理負荷の大きい輝度情報を処理するＡＩ処理部とは、例えば、第１のＡＩ処理部６０１である。ＡＩ処理負荷の小さい色情報を処理するＡＩ処理部とは、例えば、第２のＡＩ処理部６０２および第３のＡＩ処理部６０３である。これにより、処理負荷の大きいＡＩ処理部からの発熱とノイズが、光電変換領域に与える影響を小さくすることができる。

図８は、図７におけるＡＩ処理部の配置を変更したものである。距離７０１は、第１方向における第１のＡＩ処理部６０１と領域１０３の境界との間の距離である。また、距離７０２は、第１方向における第２のＡＩ処理部６０２と領域１０３の境界との間の距離である。なお、第２のＡＩ処理部６０２と第３のＡＩ処理部６０３は、第２方向において、隣り合うように配されている。そのため、第３のＡＩ処理部６０３と領域１０３の境界との間の距離も、距離７０２となっている。

ここで、図８において、距離７０１＞距離７０２の関係となっている。すなわち、第１のＡＩ処理部６０１は、第２のＡＩ処理部６０２や第３のＡＩ処理部６０３よりも、領域１０３の境界から離間されて配されている。

図７と同様に、図８に示す構成を採用することにより、ＡＩ処理負荷の大きい輝度情報を処理するＡＩ処理部をＡＩ処理負荷の小さい色情報を処理するＡＩ処理部よりも光電変換領域から離間させて配置できる。これにより、処理負荷の大きいＡＩ処理部からの発熱とノイズが、光電変換領域に与える影響を小さくすることができる。

図７と図８では、平面視した場合に、光電変換領域１０１と重複する領域１０３と、各ＡＩ処理部とは重複しない例を説明した。ただし、処理負荷の大きい輝度情報を処理するＡＩ処理部（例：第１のＡＩ処理部）と、ＡＩ処理負荷の小さい色情報を処理するＡＩ処理部（例：第２および第３のＡＩ処理部）が、平面視した場合に、領域１０３と重複するときもありうる。ここで、処理負荷の大きい輝度情報を処理するＡＩ処理部（例：第１のＡＩ処理部）と、領域１０３とが重複する領域を、第１の重複領域とする。また、ＡＩ処理負荷の小さい色情報を処理するＡＩ処理部（例：第２および第３のＡＩ処理部）と、領域１０３とが重複する領域を第２の重複領域とする。この場合、第１の重複領域＜第２の重複領域とすることにより、処理負荷の大きいＡＩ処理部からの発熱とノイズが、光電変換領域に与える影響を小さくすることができる。

（実施形態５）
実施形態５について、図９と図１０を用いて説明する。

図９に、本実施形態における光電変換装置の第２の基板１０２の平面図である。カラーフィルタの配置は、図２に示したものを適用する。もっとも、図２に示したベイヤー配列だけでなく、補色フィルタを用いたフィルタ配列、ホワイト画素や赤外光画素を含むフィルタ配列を採用してもよい。

第２の基板１０２には、第１のＡＩ処理部８０１と、第２のＡＩ処理部８０２と、第３のＡＩ処理部８０３と、第４のＡＩ処理部８０４と、が配置されている。ここで、第１のＡＩ処理部８０１と第２のＡＩ処理部８０２のそれぞれは、緑色カラーフィルタ（Ｇｒ、Ｇｂ）に対応して設けられた光電変換部からの出力信号を処理する。第３のＡＩ処理部８０３は、赤色カラーフィルタ（Ｒ）に対応して設けられた光電変換部からの出力信号を処理する。第４のＡＩ処理部８０４は、青色カラーフィルタ（Ｂ）に対応して設けられた光電変換部からの出力信号を処理する。

図９において、第１のＡＩ処理部８０１と第２のＡＩ処理部８０２は、第３のＡＩ処理部８０３と第４のＡＩ処理部８０４に比べ、第２の基板１０２における専有面積が大きい。ここで、緑色カラーフィルタ（Ｇｒ、Ｇｂ）が設けられた光電変換部からの出力信号を輝度情報として用い、その他のカラーフィルタが設けられた光電変換部からの出力信号を色情報として用いることを想定する。この場合、物体の認識、物体の数量のカウント、画像処理、などのＡＩ処理部で行う処理は、輝度情報の処理に基づくことが多い。また、撮像面オートフォーカスを行う際にも、輝度情報の処理に基づく。このため、緑色カラーフィルタが設けられた光電変換部からの出力信号を処理する第１のＡＩ処理部６０１と第２のＡＩ処理部８０２の処理負荷は、他のＡＩ処理部に比べて、大きくなる。

そこで、ＡＩ処理負荷の大きい輝度情報を処理するＡＩ処理部（例：第１および第２のＡＩ処理部）の占有面積を、ＡＩ処理負荷の小さい色情報を処理するＡＩ処理部（例：第３および第４のＡＩ処理部）の占有面積よりも大きくする。これにより、前者のＡＩ処理部の処理能力を高くすることができ、光電変換装置全体として、ＡＩ処理の高速化が可能になる。

図１０は、図９における第１のＡＩ処理部８０１と第２のＡＩ処理部８０２を同一のＡＩ処理部９０１としたものである。すなわち、第１のＡＩ処理部９０１は、緑色カラーフィルタ（Ｇｒ、Ｇｂ）に対応して設けられた光電変換部からの出力信号を処理する。第２のＡＩ処理部９０２は、赤色カラーフィルタ（Ｒ）に対応して設けられた光電変換部からの出力信号を処理する。第３のＡＩ処理部９０３は、青色カラーフィルタ（Ｂ）に対応して設けられた光電変換部からの出力信号を処理する。

図１０においては、第１のＡＩ処理部９０１の占有面積は、第２のＡＩ処理部９０２の占有面積よりも大きい。また、第１のＡＩ処理部９０１の占有面積は、第３のＡＩ処理部９０３の占有面積よりも大きい。さらに、第１のＡＩ処理部９０１の占有面積は、第２のＡＩ処理部９０２の占有面積および第３のＡＩ処理部９０３の占有面積の合計面積よりも大きい。

この構成によれば、緑色カラーフィルタが設けられた光電変換部からの出力信号を処理する第１のＡＩ処理部９０１の処理能力を高くすることができ、光電変換装置全体として、ＡＩ処理の高速化が可能になる。

（実施形態６）
図１１は、本実施形態に係る光電変換システム１１２００の構成を示すブロック図である。本実施形態の光電変換システム１１２００は、光電変換装置１１２０４を含む。ここで、光電変換装置１１２０４は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム１１２００は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ、ネットワークカメラ等が挙げられる。図１１では、光電変換システム１１２００としてデジタルスチルカメラの例を示している。

図１１に示す光電変換システム１１２００は、光電変換装置１１２０４、被写体の光学像を光電変換装置１１２０４に結像させるレンズ１１２０２を有する。また、光電変換システム１１２００はレンズ１１２０２を通過する光量を可変にするための絞り１１２０３、レンズ１１２０２の保護のためのバリア１１２０１を有する。レンズ１１２０２および絞り１１２０３は、光電変換装置１１２０４に光を集光する光学系である。

光電変換システム１１２００は、光電変換装置１１２０４から出力される出力信号の処理を行う信号処理部１１２０５を有する。信号処理部１１２０５は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム１１２００は、更に、画像データを一時的に記憶するためのバッファメモリ部１１２０６、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）１１２０９を有する。更に光電変換システム１１２００は、撮像データの記録または読み出しを行うための半導体メモリ等の記録媒体１１２１１、記録媒体１１２１１に記録または読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）１１２１０を有する。記録媒体１１２１１は、光電変換システム１１２００に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御Ｉ／Ｆ部１１２１０から記録媒体１１２１１との通信や外部Ｉ／Ｆ部１１２０９からの通信は無線によってなされてもよい。

更に光電変換システム１１２００は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部１１２０８、光電変換装置１１２０４と信号処理部１１２０５に各種タイミング信号を出力するタイミング発生部１１２０７を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム１１２００は、少なくとも光電変換装置１１２０４と、光電変換装置１１２０４から出力された出力信号を処理する信号処理部１１２０５とを有すればよい。全体制御・演算部１１２０８およびタイミング発生部１１２０７は、光電変換装置１１２０４の制御機能の一部または全部を実施するように構成してもよい。

光電変換装置１１２０４は、画像用信号を信号処理部１１２０５に出力する。信号処理部１１２０５は、光電変換装置１１２０４から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部１１２０５は、画像用信号を用いて、画像を生成する。また、信号処理部１１２０５は、光電変換装置１１２０４から出力される信号に対して測距演算を行ってもよい。なお、信号処理部１１２０５やタイミング発生部１１２０７は、光電変換装置に搭載されていてもよい。つまり、信号処理部１１２０５やタイミング発生部１１２０７は、画素が配された基板に設けられていてもよいし、別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。

（実施形態７）
図１２は、前述の実施形態に記載の光電変換装置を利用した電子機器である距離画像センサの構成例を示すブロック図である。

図１２に示すように、距離画像センサ１２４０１は、光学系１２４０７、光電変換装置１２４０８、画像処理回路１２４０４、モニタ１２４０５、およびメモリ１２４０６を備えて構成される。そして、距離画像センサ１２４０１は、光源装置１２４０９から被写体に向かって投光され、被写体の表面で反射された光（変調光やパルス光）を受光することにより、被写体までの距離に応じた距離画像を取得することができる。

光学系１２４０７は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を光電変換装置１２４０８に導き、光電変換装置１２４０８の受光面（センサ部）に結像させる。

光電変換装置１２４０８としては、上述した各実施形態の光電変換装置が適用され、光電変換装置１２４０８から出力される受光信号から求められる距離を示す距離信号が画像処理回路１２４０４に供給される。

画像処理回路１２４０４は、光電変換装置１２４０８から供給された距離信号に基づいて距離画像を構築する画像処理を行う。そして、その画像処理により得られた距離画像（画像データ）は、モニタ１２４０５に供給されて表示されたり、メモリ４０６に供給されて記憶（記録）されたりする。

このように構成されている距離画像センサ１２４０１では、上述した光電変換装置を適用することで、画素の特性向上に伴って、例えば、より正確な距離画像を取得することができる。

（実施形態８）
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図１３は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。

図１３では、術者（医師）１３１３１が、内視鏡手術システム１３００３を用いて、患者ベッド１３１３３上の患者１３１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１３００３は、内視鏡１３１００と、術具１３１１０と、内視鏡下手術のための各種の装置が搭載されたカート１３１３４と、から構成される。

内視鏡１３１００は、先端から所定の長さの領域が患者１３１３２の体腔内に挿入される鏡筒１３１０１と、鏡筒１３１０１の基端に接続されるカメラヘッド１３１０２と、から構成される。図示する例では、硬性の鏡筒１３１０１を有するいわゆる硬性鏡として構成される内視鏡１３１００を図示しているが、内視鏡１３１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。

鏡筒１３１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１３１００には光源装置１３２０３が接続されており、光源装置１３２０３によって生成された光が、鏡筒１３１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光される。この光は対物レンズを介して患者１３１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１３１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド１３１０２の内部には光学系及び光電変換装置が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該光電変換装置に集光される。当該光電変換装置によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該光電変換装置としては、前述の各実施形態に記載の光電変換装置を用いることができる。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１３１３５に送信される。

ＣＣＵ１３１３５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡１３１００及び表示装置１３１３６の動作を統括的に制御する。さらに、ＣＣＵ１３１３５は、カメラヘッド１３１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。

表示装置１３１３６は、ＣＣＵ１３１３５からの制御により、当該ＣＣＵ１３１３５によって画像処理が施された画像信号に基づく画像を表示する。

光源装置１３２０３は、例えばＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１３１００に供給する。

入力装置１３１３７は、内視鏡手術システム１３００３に対する入力インターフェースである。ユーザは、入力装置１３１３７を介して、内視鏡手術システム１３００３に対して各種の情報の入力や指示入力を行うことができる。

処置具制御装置１３１３８は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１３１１２の駆動を制御する。

内視鏡１３１００に術部を撮影する際の照射光を供給する光源装置１３２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１３２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置１３２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１３１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置１３２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用する。具体的には、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１３２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（実施形態９）
本実施形態の光電変換システムおよび移動体について、図１４を用いて説明する。図１４は、本実施形態による光電変換システムおよび移動体の構成例を示す概略図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。

図１４は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。光電変換システム１４３０１は、光電変換装置１４３０２、画像前処理部１４３１５、集積回路１４３０３、光学系１４３１４を含む。光学系１４３１４は、光電変換装置１４３０２に被写体の光学像を結像する。光電変換装置１４３０２は、光学系１４３１４により結像された被写体の光学像を電気信号に変換する。光電変換装置１４３０２は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部１４３１５は、光電変換装置１４３０２から出力された信号に対して所定の信号処理を行う。画像前処理部１４３１５の機能は、光電変換装置１４３０２内に組み込まれていてもよい。光電変換システム１４３０１には、光学系１４３１４、光電変換装置１４３０２および画像前処理部１４３１５が、少なくとも２組設けられており、各組の画像前処理部１４３１５からの出力が集積回路１４３０３に入力されるようになっている。

集積回路１４３０３は、撮像システム用途向けの集積回路であり、メモリ１４３０５を含む画像処理部１４３０４、光学測距部１４３０６、測距演算部１４３０７、物体認知部１４３０８、異常検出部１４３０９を含む。画像処理部１４３０４は、画像前処理部１４３１５の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ１４３０５は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部１４３０６は、被写体の合焦や、測距を行う。測距演算部１４３０７は、複数の光電変換装置１４３０２により取得された複数の画像データから測距情報の算出を行う。物体認知部１４３０８は、車、道、標識、人等の被写体の認知を行う。異常検出部１４３０９は、光電変換装置１４３０２の異常を検出すると、主制御部１４３１３に異常を発報する。

集積回路１４３０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

主制御部１４３１３は、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０等の動作を統括・制御する。主制御部１４３１３を持たず、光電変換システム１４３０１、車両センサ１４３１０、制御ユニット１４３２０が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う（例えばＣＡＮ規格）方法も取り得る。

集積回路１４３０３は、主制御部１４３１３からの制御信号を受け或いは自身の制御部によって、光電変換装置１４３０２へ制御信号や設定値を送信する機能を有する。

光電変換システム１４３０１は、車両センサ１４３１０に接続されており、車速、ヨーレート、舵角などの自車両走行状態および自車外環境や他車・障害物の状態を検出することができる。車両センサ１４３１０は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光電変換システム１４３０１は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部１３１１に接続されている。特に、衝突判定機能に関しては、光電変換システム１４３０１や車両センサ１４３１０の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。

また、光電変換システム１４３０１は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置１４３１２にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部１４３１３は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置１４３１２は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方または後方を光電変換システム１４３０１で撮影する。図１４（ｂ）に、車両前方を光電変換システム１４３０１で撮像する場合の光電変換システム１４３０１の配置例を示す。

２つの光電変換装置１４３０２は、車両１４３００の前方に配される。具体的には、車両１４３００の進退方位または外形（例えば車幅）に対する中心線を対称軸に見立て、その対称軸に対して２つの光電変換装置１３０２が線対称に配される。この形態は、車両１４３００と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置１４３０２は、運転者が運転席から車両１４３００の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置１４３１２は、運転者の視野に入りやすい配置が好ましい。

また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム１４３０１は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

本発明の光電変換装置は、更に、距離情報など各種情報を取得可能な構成であってもよい。

（実施形態１０）
図１５は、１つの適用例に係る眼鏡１６６００（スマートグラス）を説明する。眼鏡１６６００には、光電変換装置１６６０２を有する。光電変換装置１６６０２は、上記の各実施形態に記載の光電変換装置である。また、レンズ１６６０１の裏面側には、ＯＬＥＤやＬＥＤ等の発光装置を含む表示装置が設けられていてもよい。光電変換装置１６６０２は１つでもよいし、複数でもよい。また、複数種類の光電変換装置を組み合わせて用いてもよい。光電変換装置１６６０２の配置位置は図１５（ａ）に限定されない。

眼鏡１６６００は、制御装置１６６０３をさらに備える。制御装置１６６０３は、光電変換装置１６６０２と上記の表示装置に電力を供給する電源として機能する。また、制御装置１６６０３は、光電変換装置１６６０２と表示装置の動作を制御する。レンズ１６６０１には、光電変換装置１６６０２に光を集光するための光学系が形成されている。

図１５（ｂ）は、１つの適用例に係る眼鏡１６６１０（スマートグラス）を説明する。眼鏡１６６１０は、制御装置１６６１２を有しており、制御装置１６６１２に、光電変換装置１６６０２に相当する光電変換装置と、表示装置が搭載される。レンズ１６６１１には、制御装置１６６１２内の光電変換装置と、表示装置からの発光を投影するための光学系が形成されており、レンズ１６６１１には画像が投影される。制御装置１６６１２は、光電変換装置および表示装置に電力を供給する電源として機能するとともに、光電変換装置および表示装置の動作を制御する。制御装置は、装着者の視線を検知する視線検知部を有してもよい。視線の検知は赤外線を用いてよい。赤外発光部は、表示画像を注視しているユーザの眼球に対して、赤外光を発する。発せられた赤外光の眼球からの反射光を、受光素子を有する撮像部が検出することで眼球の撮像画像が得られる。平面視における赤外発光部から表示部への光を低減する低減手段を有することで、画像品位の低下を低減する。

赤外光の撮像により得られた眼球の撮像画像から表示画像に対するユーザの視線を検出する。眼球の撮像画像を用いた視線検出には任意の公知の手法が適用できる。一例として、角膜での照射光の反射によるプルキニエ像に基づく視線検出方法を用いることができる。

より具体的には、瞳孔角膜反射法に基づく視線検出処理が行われる。瞳孔角膜反射法を用いて、眼球の撮像画像に含まれる瞳孔の像とプルキニエ像とに基づいて、眼球の向き（回転角度）を表す視線ベクトルが算出されることにより、ユーザの視線が検出される。

本実施形態の表示装置は、受光素子を有する光電変換装置を有し、光電変換装置からのユーザの視線情報に基づいて表示装置の表示画像を制御してよい。

具体的には、表示装置は、視線情報に基づいて、ユーザが注視する第一の視界領域と、第一の視界領域以外の第二の視界領域とを決定される。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。表示装置の表示領域において、第一の視界領域の表示解像度を第二の視界領域の表示解像度よりも高く制御してよい。つまり、第二の視界領域の解像度を第一の視界領域よりも低くしてよい。

また、表示領域は、第一の表示領域、第一の表示領域とは異なる第二の表示領域とを有し、視線情報に基づいて、第一の表示領域および第二の表示領域から優先度が高い領域を決定されてよい。第一の視界領域、第二の視界領域は、表示装置の制御装置が決定してもよいし、外部の制御装置が決定したものを受信してもよい。優先度の高い領域の解像度を、優先度が高い領域以外の領域の解像度よりも高く制御してよい。つまり優先度が相対的に低い領域の解像度を低くしてよい。

なお、第一の視界領域や優先度が高い領域の決定には、ＡＩを用いてもよい。ＡＩは、眼球の画像と当該画像の眼球が実際に視ていた方向とを教師データとして、眼球の画像から視線の角度、視線の先の目的物までの距離を推定するよう構成されたモデルであってよい。ＡＩプログラムは、表示装置が有しても、光電変換装置が有しても、外部装置が有してもよい。外部装置が有する場合は、通信を介して、表示装置に伝えられる。

視認検知に基づいて表示制御する場合、外部を撮像する光電変換装置を更に有するスマートグラスに好ましく適用できる。スマートグラスは、撮像した外部情報をリアルタイムで表示することができる。

（実施形態１１）
図１６を参照しながら、本実施形態のシステムについて説明する。本実施形態は、医師等が患者から採取された細胞や組織を観察して病変を診断する病理診断システムやそれを支援する診断支援システムに適用することができる。本実施形態のシステムは、取得された画像に基づいて病変を診断又はその支援をしてもよい。

図１６に示すように、本実施形態のシステムは、１以上の病理システム１５５１０を含む。さらに解析部１５５３０と、医療情報システム１５５４０とを含んでもよい。

１以上の病理システム１５５１０それぞれは、主に病理医が使用するシステムであり、例えば研究所や病院に導入される。各病理システム１５５１０は、互いに異なる病院に導入されてもよく、それぞれワイドエリアネットワークやローカルエリアネットワークなどの種々のネットワークを介して解析部１５５３０及び医療情報システム１５５４０に接続される。

各病理システム１５５１０は、顕微鏡１５５１１と、サーバ１５５１２と、表示装置１５５１３とを含む。

顕微鏡１５５１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する。観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等であってよい。

サーバ１５５１２は、顕微鏡１５５１１によって取得された病理画像を図示しない記憶部に記憶、保存する。また、サーバ１５５１２は、閲覧要求を受け付けた場合に、メモリ等に保持された病理画像を検索し、検索された病理画像を表示装置１５５１３に表示させることができる。サーバ１５５１２と表示装置１５５１３とは、表示を制御する装置等を介してもよい。

ここで、観察対象物が臓器の肉片等の固形物である場合、この観察対象物は、例えば、染色された薄切片であってよい。薄切片は、例えば、臓器等の検体から切出されたブロック片を薄切りすることで作製されてもよい。また、薄切りの際には、ブロック片がパラフィン等で固定されてもよい。

顕微鏡１５５１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを含み得る。低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡１５５１１は、撮像対象に応じて解像度が変更されてもよい。

観察対象物はガラススライドなどに収容され、顕微鏡１５５１１の画角内に位置するステージ上に載置される。顕微鏡１５５１１は、まず、低解像度撮像部を用いて画角内の全体画像を取得し、取得した全体画像から観察対象物の領域を特定する。続いて、顕微鏡１５５１１は、観察対象物が存在する領域を所定サイズの複数の分割領域に分割し、各分割領域を高解像度撮像部により順次撮像することで、各分割領域の高解像度画像を取得する。対象とする分割領域の切替えでは、ステージを移動させてもよいし、撮像光学系を移動させてもよいし、それら両方を移動させてもよい。また、各分割領域は、ガラススライドの意図しない滑りによる撮像漏れ領域の発生等を防止するために、隣接する分割領域との間で重複していてもよい。さらに、全体画像には、全体画像と患者とを対応付けておくための識別情報が含まれていてもよい。この識別情報は、例えば、文字列やＱＲコード（登録商標）等であってよい。

顕微鏡１５５１１で取得された高解像度画像は、サーバ１５５１２に入力される。サーバ１５５１２は、各高解像度画像をより小さいサイズの部分画像に分割することができる。このように部分画像を生成すると、サーバ１５５１２は、隣り合う所定数の部分画像を合成することで１つの画像を生成する合成処理を、全ての部分画像に対して実行する。この合成処理は、最終的に１つの部分画像が生成されるまで繰り返され得る。このような処理により、各階層が１つ以上の部分画像で構成されたピラミッド構造の部分画像群が生成される。このピラミッド構造では、ある層の部分画像とこの層とは異なる層の部分画像との画素数は同じであるが、その解像度が異なっている。例えば、２×２個の計４つの部分画像を合成して上層の１つの部分画像を生成する場合、上層の部分画像の解像度は、合成に用いた下層の部分画像の解像度の１／２倍となっている。

このようなピラミッド構造の部分画像群を構築することによって、表示対象のタイル画像が属する階層次第で、表示装置に表示される観察対象物の詳細度を切り替えることが可能となる。例えば、最下層の部分画像が用いられる場合には、観察対象物の狭い領域を詳細に表示し、上層の部分画像が用いられるほど観察対象物の広い領域が粗く表示されるようにすることができる。

生成されたピラミッド構造の部分画像群は、例えば、メモリ等に記憶することができる。そして、サーバ１５５１２は、他の装置（例えば、解析部１５５３０）から識別情報を含む部分画像の取得要求を受け付けた場合に、識別情報に対応する部分画像を他の装置へ送信する。

なお、病理画像である部分画像は、焦点距離や染色条件等の撮像条件毎に生成されてもよい。撮像条件毎に部分画像が生成される場合、特定の病理画像とともに、特定の撮像条件と異なる撮像条件に対応する他の病理画像であって、特定の病理画像と同一領域の他の病理画像を並べて表示してもよい。特定の撮像条件は、閲覧者によって指定されてもよい。また、閲覧者に複数の撮像条件が指定された場合には、各撮像条件に対応する同一領域の病理画像が並べて表示されてもよい。

また、サーバ１５５１２は、ピラミッド構造の部分画像群をサーバ１５５１２以外の他の記憶装置、例えば、クラウドサーバ等に記憶してもよい。さらに、以上のような部分画像の生成処理の一部又は全部は、クラウドサーバ等で実行されてもよい。このように部分画像を使うことにより、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示を制御することにより、仮想顕微鏡のような役割を果たすことができる。ここでの仮想的な観察倍率は、実際には解像度に相当する。

医療情報システム１５５４０は、いわゆる電子カルテシステムであり、患者を識別する情報、患者の疾患情報、診断に用いた検査情報や画像情報、診断結果、処方薬などの診断に関する情報を記憶する。例えば、ある患者の観察対象物を撮像することで得られる病理画像は、一旦、サーバ１５５１２を介して保存された後、表示装置１５５１４に表示され得る。病理システム１５５１０を利用する病理医は、表示装置１５５１３に表示された病理画像に基づいて病理診断を行う。病理医によって行われた病理診断結果は、医療情報システム１５５４０に記憶される。

解析部１５５３０は、病理画像に対する解析を実行し得る。この解析には、機械学習によって作成された学習モデルを用いることができる。解析部１５５３０は、当該解析結果として、特定領域の分類結果や組織の識別結果等を導出してもよい。さらに、解析部１５５３０は、細胞情報、数、位置、輝度情報等の識別結果やそれらに対するスコアリング情報等を導出してもよい。解析部１５５３０で得られたこれらの情報は、診断支援情報として、病理システム１５５１０の表示装置１５５１３に表示されてもよい。

なお、解析部１５５３０は、１台以上のサーバ（クラウドサーバを含む）等で構成されたサーバシステムであってもよい。また、解析部１５５３０は、病理システム１５５１０内の例えばサーバ１５５１２に組み込まれた構成であってもよい。すなわち、病理画像に対する各種解析は、病理システム１５５１０内で実行されてもよい。

上述の実施形態で説明した光電変換装置は、以上説明した構成のうち、例えば、顕微鏡１５５１１に好適に適用され得る。具体的には、顕微鏡１５５１１における低解像度撮像部及び／ 又は高解像度撮像部に適用することができる。これにより、低解像度撮像部及び／ 又は高解像度撮像部の小型化、強いては、顕微鏡１５５１１の小型化が可能となる。それにより、顕微鏡１５５１１の運搬が容易となるため、システム導入やシステム組換え等を容易化することが可能となる。さらに、上述の実施形態で説明した光電変換装置を適用することにより、病理画像の取得から病理画像の解析までの処理の一部又は全部を顕微鏡１５５１１内においてオンザフライで実行可能となるため、より迅速且つ的確な診断支援情報の出力も可能となる。

なお、上記で説明した構成は、診断支援システムに限らず、共焦点顕微鏡や蛍光顕微鏡、ビデオ顕微鏡等の生物顕微鏡全般にも適用され得る。ここで、観察対象物は、培養細胞や受精卵、精子等の生体試料、細胞シート、三次元細胞組織等の生体材料、ゼブラフィッシュやマウス等の生体であってもよい。また、観察対象物は、ガラススライドに限らず、ウェルプレートやシャーレ等に格納された状態で観察されることもできる。

さらに、顕微鏡を利用して取得した観察対象物の静止画像から動画像が生成されてもよい。例えば、所定期間連続的に撮像した静止画像から動画像を生成してもよいし、所定の間隔を空けて撮像した静止画像から画像シーケンスを生成してもよい。このように、静止画像から動画像を生成することで、がん細胞や神経細胞、心筋組織、精子等の拍動や伸長、遊走等の動きや培養細胞や受精卵の分裂過程など、観察対象物の動的な特徴について機械学習を用いて解析することが可能となる。

（その他の実施形態）
上記実施形態において、各色に対応するＡＩ処理部への入力は、他色の画素位置のベイヤー補間した対応色の画素出力を含んでもよい。上記実施形態では、例えば、第１の画素に緑色のカラーフィルタが配置されており、第２の画素に赤色のカラーフィルタが配置されている場合に、第１の画素からの出力を緑色用のＡＩ処理部で処理していた。また、第２の画素からの出力を赤色用のＡＩ処理部で処理していた。しかし、第１の画素から、緑色の輝度情報を取得して、第２の画素に緑色の輝度情報を割り振るという補間処理が行われる場合がある。この場合、例えば、第１の画素の緑色の輝度情報のみならず、補間処理で得られた第２の画素の緑色の輝度情報に対しても、緑色の処理に適したＡＩ処理部で信号処理を行う。すなわち、所定のフィルタが設けられた第１の画素の第１の光電変換部からの出力信号から、所定のフィルタに対応した波長に関する第２の画素の輝度情報を取得する。そして、第１の光電変換部からの出力を処理するＡＩ処理部において、取得された第２の画素の輝度情報について信号処理を行う。

また、各色に対応するＡＩ処理部の配置は、上記した実施形態の配置に限定されるものではない。具体的には、読み出し回路３０１に対して、上方向と下方向にＡＩ処理部を配置する例を説明したが、読み出し回路３０１に対して左方向と右方向にＡＩ処理部を配置する例を説明した。このような構成によっても、上記実施形態で説明した技術的効果を享受することが可能である。

さらに、ＡＩ処理部の学習モデルが格納されたメモリの配置に関しても、一箇所にまとめた配置、或いは各処理に対応して個別配置するなど、適宜、配置を選択することができる。

以上説明した実施形態は、一部の構成を相互に置換することもできるし、一方の実施形態の構成を他の実施形態に付加することもできし、一方の実施形態の構成を削除することもできる。すなわち、各実施形態間はどのような組み合わせや変形も可能である。

１００ 第１の基板
１０１ 光電変換領域
１０２ 第２の基板
１０３ 平面視をした場合に光電変換領域と重複する領域
２０１ カラーフィルタ
３０１ 読み出し回路部
３０２ 第１のＡＩ処理部
３０３ 第２のＡＩ処理部
３０４ 第３のＡＩ処理部
３０５ 第４のＡＩ処理部

Claims (12)

1. 複数の光電変換部が配された光電変換領域と、
   前記複数の光電変換部のうち第１の光電変換部に対応して配されている第１のフィルタと、
   前記複数の光電変換部のうち第２の光電変換部に対応して配されており、前記第１のフィルタとは光学特性が異なる第２のフィルタと、
   前記第１の光電変換部からの出力信号を処理し、第１の学習済モデルを有する第１の処理部と、
   前記第２の光電変換部からの出力信号を処理し、前記第１の学習済モデルとは異なる第２の学習済モデルを有する第２の処理部と、
   を有することを特徴とする光電変換装置。
2. 前記第１のフィルタは、前記第１の光電変換部が赤外光領域の光を受光するために設けられており、
   前記第２のフィルタは、前記第２の光電変換部が可視光領域の光を受光するために設けられていることを特徴とする請求項１に記載の光電変換装置。
3. 前記第１のフィルタは、前記第１の光電変換部が緑色の光を受光するために設けられており、
   前記第２のフィルタは、前記第２の光電変換部が赤色または青色の光を受光するために設けられていることを特徴とする請求項１または２に記載の光電変換装置。
4. 前記第１の学習済モデルは、前記第１の光電変換部からの出力信号から得られた輝度情報を処理する学習済モデルであり、
   前記第２の学習済モデルは、前記第２の光電変換部からの出力信号から得られた色情報を処理する学習済モデルであることを特徴とする請求項１から３のいずれか１項に記載の光電変換装置。
5. 前記第１の処理部からの出力と前記第２の処理部からの出力を統合する処理部を有することを特徴とする請求項１から４のいずれか１項に記載の光電変換装置。
6. 前記光電変換領域は、第１の基板に設けられており、
   前記第１の処理部と前記第２の処理部は、第２の基板に設けられており、
   前記第１の基板と前記第２の基板は積層されていることを特徴とする請求項１から５のいずれか１項に記載の光電変換装置。
7. 平面視において、前記第１の処理部と前記光電変換領域とが重複している領域の面積は、前記第２の処理部と前記光電変換領域とが重複している領域の面積よりも小さいことを特徴とする請求項６に記載の光電変換装置。
8. 平面視において、前記第１の処理部と前記光電変換領域の境界との距離は、前記第２の処理部と前記光電変換領域の境界との距離よりも大きいことを特徴とする請求項６に記載の光電変換装置。
9. 平面視において、前記第１の処理部が占める面積は、前記第２の処理部が占める面積よりも大きいことを特徴とする請求項１から８のいずれか１項に記載の光電変換装置。
10. 前記第１の光電変換部が設けられた第１の画素と、
    前記第２の光電変換部が設けられた第２の画素と、を有し、
    前記第１の光電変換部からの出力信号から、前記第１のフィルタに対応した波長に関する前記第２の画素の輝度情報を取得し、
    前記第１の処理部は、前記第２の画素の輝度情報を処理することを特徴とする請求項１から９のいずれか１項に記載の光電変換装置。
11. 請求項１乃至請求項１０のいずれか１項に記載の光電変換装置と、
    前記光電変換装置が出力する信号を用いて画像を生成する信号処理部と、を有することを特徴とする光電変換システム。
12. 請求項１乃至請求項１０のいずれか１項に記載の光電変換装置を備える移動体であって、
    前記光電変換装置が出力する信号を用いて前記移動体の移動を制御する制御部を有することを特徴とする移動体。

Images