JP5053056B2

JP5053056B2 - 携帯端末装置

Info

Publication number: JP5053056B2
Application number: JP2007309359A
Authority: JP
Inventors: 昌之大坂
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2007-11-29
Filing date: 2007-11-29
Publication date: 2012-10-17
Anticipated expiration: 2027-11-29
Also published as: JP2009135705A

Description

本発明は、操作者の顔による顔認証を行う携帯端末装置に関する。

携帯電話等の携帯端末装置には、例えば、自らの電話番号、Ｅメールアドレス、名前住所等や、アドレス帳に登録した知人等の電話番号・Ｅメールアドレス等、個人情報が記憶されることが多い。そのため、不特定の操作者による操作を受け付けてしまうことは、セキュリティの観点から好ましくない。
セキュリティを向上させるために、最近では、操作に応じてカメラにより操作者の顔を撮影し、撮影した顔画像における目、鼻、口の位置や形状・大きさ、或いは輪郭の形や大きさ等の特徴情報をメモリ内に予め記憶された正規ユーザの特徴情報と比較することにより、顔認証処理を行い、その結果、特徴情報と正規ユーザの特徴情報との一致度が所定のしきい値を超えた場合に操作者を正規ユーザであると判断して、当該操作に応じた処理を実行する携帯端末装置が登場している（例えば特許文献１）。

特開２００７−３６３６５号公報

特許文献１には、操作を検出したときに顔画像を撮影し、特徴抽出部が撮影画像から抽出した特徴情報と予め登録された特徴情報との一致度が認証閾値よりも小さいと判定された場合に、エラー履歴情報管理部がそのときのエラー履歴情報をエラー履歴情報記憶部に格納し、正規ユーザとは異なる者、例えば携帯電話機を盗んだ者などが、その携帯電話機を不正に使用しようとして、その者の顔画像から特徴情報が抽出された場合にのみ、認証処理において認証に失敗した履歴情報をエラー履歴情報として格納し、携帯電話機を取り戻した後、エラー履歴情報からその者を特定することができる携帯情報端末装置が開示されている。

しかし、特許文献１に開示された携帯情報端末装置では、操作に応じて顔認証が実行されている時には顔認証実行中であることを示す画面が表示部に表示され、顔認証が行われていることを操作者が察知できてしまうため、不正な操作者が顔写真を撮られたことに危機感を覚え、携帯情報端末装置を破棄したり破壊してしまったりする事態が起こりえた。
こうした事態を回避するために顔認証をバックグラウンドで行うとしても、電話番号が入力され発呼が行われる場合には、カメラにより顔画像を撮影する前に携帯情報端末装置を耳に当てられてしまう恐れがあり、この場合顔認証を行うことができない事態が生じる。

本発明は、上述したような事態を回避するために、顔認証を実行していることが操作者に察知されない携帯端末装置を提供することを目的とする。

上述した不利益を解消するために、第１の発明の携帯端末装置は、無線通信を行う通信部と、操作者の顔を撮影可能な撮像部と、前記撮像部が撮影した顔画像を基に、顔認証処理が可能な顔認証部と、前記操作者の操作を受け付ける操作部と、第１の画面と、該第１の画面とは異なる第２の画面とを表示する表示部と、制御部と、を有し、前記制御部は、前記無線通信の待ち受け状態において、前記操作部に対する第１の操作を検知したとき、前記撮像部で操作者の顔画像を撮影して、前記顔認証部による当該顔画像に基づく顔認証処理を、当該認証処理を実行中であることを示す画面を前記表示部に表示することなく開始させ、前記操作部に対する第２の操作を検知したとき、前記顔認証処理の結果を基にして、認証合格の場合は前記第１の画面を前記表示部に表示させ、認証失敗である場合は前記第２の画面を前記表示部に表示させる。

好適には、前記第１の操作は、前記操作部に含まれるテンキーを介した数字の入力操作であり、前記第２の操作は、前記操作部に含まれる発呼を行うための発呼キーに対する操作である。

好適には、前記第１の操作は、前記操作部に含まれる発着信履歴の表示を行うためのキーに対する操作であり、前記第２の操作は、前記操作部に含まれる発呼を行うための発呼キーに対する操作である。

第２の発明の携帯端末装置は、無線通信を行う通信部と、操作者の顔を撮影可能な撮像部と、前記撮像部が撮影した顔画像を基に、顔認証処理が可能な顔認証部と、前記操作者の操作を受け付ける操作部と、第１の画面と、該第１の画面とは異なる第２の画面とを表示する表示部と、制御部と、を有し、前記制御部は、前記無線通信の待ち受け状態において、前記操作部に含まれる発呼キーに対する操作を検知したとき、顔認証処理に伴う画像を前記表示部に表示することなく前記撮像部で操作者の顔画像を撮影して、前記顔認証部による当該顔画像に基づく顔認証処理を開始させ、その後前記操作部に含まれるテンキーを介した数列の入力がなされ、当該数列を電話番号であると認識した場合は、前記顔認証処理の結果を基にした認証処理において、認証合格の場合は前記第１の画面を前記表示部に表示させ、認証失敗である場合は前記第２の画面を前記表示部に表示させる。

好適には、名前、連絡先のいずれかを含むアドレス情報とともに、アドレス情報ごとに顔画像を対応付けてアドレス帳データとして記憶する記憶部を有し、前記制御部は、前記顔認証処理の結果を基にした認証処理において、認証失敗である場合は、前記記憶部に記憶された前記アドレス帳データの顔画像内に、前記顔認証処理に使用された前記撮像部が撮影した顔画像と一致する顔画像があるか否かを検索し、あった場合には、当該顔画像に対応するアドレス情報を、予め登録された所定の連絡先に通知し、なかった場合は、当該顔画像を予め登録された所定の連絡先に対して前記通信部に送信させる。

本発明によれば、顔認証を実行していることが操作者に察知されない携帯端末装置を提供することができる。

以下、本発明の第１実施形態について説明する。
＜第１実施形態＞
以下説明する携帯端末１００は、本発明の携帯端末装置の一例である。
図１は、携帯端末１００の各構成について説明するためのブロック図である。
図１に示すように、携帯端末１００は、通信部１と、操作部２と、表示部３と、カメラ４と、顔認証部５と、記憶部６と、制御部７とを有する。

通信部１は、無線通信システムを捕捉し、通信ネットワークに接続される図示しない基地局との間で無線通信を行い、各種データの送受信を行う。各種データとは、音声通話時の音声データ、メール送受信時のメールデータ、Ｗｅｂ閲覧時のＷｅｂページデータ等である。
操作部２は、例えば、電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発呼キーなど、各種の機能が割り当てられたキーを有しており、これらのキーが操作者によって操作された場合に、その操作内容に対応する信号を発生し、これを操作者の指示として制御部７に出力する。

表示部３は、多数の画素（複数色の発光素子の組み合わせ）を縦横に配して構成される、例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ（ＯＬＥＤ）を用いて構成されており、制御部７から供給される映像信号に応じた画像を表示する。表示部３は、例えば、通信部１による無線発呼時における発呼先の電話番号、着信時における発呼元の電話番号、受信メールや送信メールの内容、日付、時刻、電池残量、発呼成否、待ち受け画面等を表示する。
カメラ４は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の光電変換素子とその制御回路等により構成される撮像手段である。カメラ４は、操作者自身（操作者側）を撮影するためのイン側カメラ４１と、それ以外の被写体を撮影するためのアウト側カメラ４２とを有する。
なお、イン側カメラ４１は、筐体を操作する状態（すなわち開状態として、操作者が筐体を手に取り、表示部３に視線を向けた姿勢）において、操作者の顔に向けて光軸が設定される状態で、筐体に取り付けられており、テレビ電話等に用いられるカメラであることが好ましい。

顔認証部５は、イン側カメラ４１が撮影した操作者の顔画像と、記憶部６に予め記憶された正規ユーザの顔画像とをそれぞれの特徴（例えば眼、鼻、口、顔の輪郭の位置、大きさ、形等）を抽出することにより比較し、操作者の顔画像と正規ユーザの顔画像との特徴の一致率が所定のしきい値以上であった場合に認証合格であるとし、所定のしきい値未満であった場合に認証不合格であるとする顔認証処理を実行する処理装置である。なお、本実施形態では、イン側カメラ４１による顔画像の撮影と、顔認証部５の顔認証処理とを合わせて認証処理と称する。
記憶部６は、携帯端末１００の各種処理に利用される各種データを記憶する。例えば、制御部７が実行するコンピュータのプログラム、通信相手の電話番号や電子メールアドレス及び顔画像等を管理するアドレス帳、着信音やアラーム音を再生するための音声ファイル、待ち受け画面用の画像ファイル、各種の設定データ、プログラムの処理過程で利用される一時的なデータ、顔認証部５の顔認証処理に使用される正規ユーザの顔画像、後述する設定項目、後述する非正規ユーザの顔画像等を記憶する。記憶部６は、例えば不揮発性の記憶デバイス（不揮発性半導体メモリ、ハードディスク装置、光ディスク装置など）やランダムアクセス可能な記憶デバイス（例えばＳＲＡＭ、ＤＲＡＭ）などによって構成される。

制御部７は、携帯端末１００の全体的な動作を統括的に制御する。すなわち、携帯端末１００の各種処理（回線交換網を介して行われる音声通話、電子メールの作成と送受信、インターネットのＷｅｂサイトの閲覧など）が操作部２の操作に応じて適切な手順で実行されるように、上述した各ブロックの動作（通信部１における信号の送受信、表示部３における画像の表示、カメラ４における撮像処理、顔認証部５における顔認証処理等）を制御する。制御部７は、記憶部６に格納されるプログラム（オペレーティングシステム、アプリケーションプログラム等）に基づいて処理を実行するコンピュータ（マイクロプロセッサ）を備えており、このプログラムにおいて指示された手順に従って上述した処理を実行する。すなわち、記憶部６に格納されるオペレーティングシステムやアプリケーションプログラム等のプログラムから命令コードを順次読み込んで処理を実行する。

また、制御部７は、携帯端末１００の各種機能を実行するための操作が操作部２を介して行われたとき、その操作に対して認証処理を行うべきか否かの判定を行う判定処理を実行する。制御部７は、判定処理において認証処理が行われるべきと判定した場合は、イン側カメラ４１に操作者の顔画像を撮影させて認証処理を実行し、そうでない場合は、顔認証部５に認証処理を実行せず、操作が要求した機能の実行を実施しない。
この制御部７の判定処理についての詳細は後述する。

図２は、携帯端末１００の外観の一例を示す図である。
図２に示すように、本実施形態の携帯端末１００は、折り畳み型の携帯電話を想定している。図２に示すように、携帯端末１００は、上部筐体１０１と、下部筐体１０２と、ヒンジ部１０３とを有する。

図２（ａ）は、携帯端末１００が開かれた状態（開状態）を示した図であり、図２（ｂ）は携帯端末１００の折り畳まれた状態（閉状態）を示した図である。
図２（ａ）に示すように、上部筐体１０１には、図２（ｂ）に示す携帯端末１００の閉状態においては外部には露出しない一面に表示部３及びイン側カメラ４１が配置されている。
また、図２（ａ）に示すように、下部筐体１０２には、図２（ｂ）に示す携帯端末１００の閉状態において外部には露出しない一面に操作部２が配置されている。また、下部筐体１０２の背面部（携帯端末１００の閉状態において外部には露出しない一面）にはアウト側カメラ４２が配置されている。
すなわち、図２（ａ）に示す携帯端末１００の開状態において、操作者が表示部３を見ながら操作部２を介した操作入力を行おうとするときには、イン側カメラ４１により操作者の顔画像の撮影が可能である。

ヒンジ部１０３は、上部筐体１０１と下部筐体１０２とを開閉し、図２（ａ）に示す携帯端末１００の開状態と図２（ｂ）に示す閉状態とを遷移可能とする回転軸を有するヒンジ機構である。なお、携帯端末１００の開状態／閉状態は、制御部７により監視されており、制御部７は携帯端末１００の閉状態を検出することが可能である。具体的には、例えば上部筐体１０１に配置した図示しない突起部により、下部筐体１０２の図示しない検出スイッチが押しているか否かを制御部７が監視することにより閉状態を検出している（すなわち検出スイッチが押下されていれば閉状態、そうでなければ開状態と判定）。なお、開閉検出は、スイッチに限らず、各種センサにより行ってもよい。
また、イン側カメラ４１は上部筐体１０１に限らず、下部筐体１０２やヒンジ部１０３に配設されていてもよい。

以下、制御部７の判定処理の詳細について説明する。
図３は、制御部７の判定処理について説明するためのフローチャートである。
ステップＳＴ１：
制御部７は、上部筐体１０１と下部筐体１０２とが閉状態から開状態へと遷移したか否かを判定する。閉状態から開状態へと遷移する開動作を検出した場合はステップＳＴ２へ進み、そうでない場合はステップＳＴ１を繰り返す。

ステップＳＴ２：
制御部７は、ステップＳＴ１で検出した開動作が認証処理の対象となる設定項目に該当するか否かの判定を記憶部６を参照して行う。
設定項目とは、携帯端末１００の各機能に対して、その機能の実行を要求する操作がなされた場合に、認証処理を行い認証に合格した場合のみ当該機能を実行すると設定された項目であり、予め正規ユーザによって設定され記憶部６に記憶されているものである。すなわち、携帯端末１００の各機能の実行を要求する各操作（例えば、メール機能を実行するための操作、Ｗｅｂ閲覧機能を実行するための操作、発呼操作等）に対して、予め正規ユーザが認証処理を行うべき操作であると設定した操作が、設定項目として記憶部６に記憶される。
すなわち、本ステップＳＴ２においては、制御部７は、開動作が設定項目として記憶部６に記憶されているか否か、を判定し、開動作が設定項目に含まれる場合はステップＳＴ３に進み、そうでない場合はステップＳＴ７に進む。

ステップＳＴ３：
制御部７は、ステップＳＴ２において開動作が設定項目であると判定された場合、認証処理を開始する。
すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ４：
制御部７は、表示部３にダミー画面の１つであるダミーの待ち受け画面を表示させる。
ダミー画面とは、ステップＳＴ３において開始された認証処理が完了するまでの間、操作者に認証処理が実行されていることを悟られないために表示する画面である。従来の顔認証を行う携帯端末装置では、何らかの操作に応じて認証処理が開始されてから完了するまでの間は、認証処理の実行中であることを示す画面（例えば「顔認証実行中」等のメッセージを含む画面）が表示されていたところであるが、本実施形態の携帯端末１００では、その代わりに、予め記憶部６に記憶されているダミー画面を表示部３に表示させることにより、認証処理が実行中であることを操作者に察知させないことが可能である。
ここで、本実施形態の携帯端末１００では、ダミー画面として、認証処理の契機となった操作に対して本来表示されるべき画面のダミーが表示される。従って、本ステップＳＴ４においては、ステップＳＴ１における開動作に応じて本来表示されるべき画面、すなわち待ち受け画面のダミーが表示されることになる。なお、ダミーの待ち受け画面としてどのような画面を表示部３に表示させるかについては本実施形態では特に限定しないが、できるだけ操作者に不審を抱かせない画面、すなわち待ち受け画面であると一目で理解されるような画面であることが望ましい。

ステップＳＴ５：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ６に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。そして、これにより、正規ユーザが登録していた本来の待ち受け画面（例えば正規ユーザの子供の写真等）が、正規ユーザ以外の操作者に見られることがなくなる。
ステップＳＴ６：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。

ステップＳＴ７：
制御部７は、表示部３に正規の待ち受け画面（本発明の第１の画面に対応）、すなわちステップＳＴ４において表示させたダミーの待ち受け画面ではない、正規ユーザによって予め設定された待ち受け画面を表示させる。

以後、ステップＳＴ１０〜ステップＳＴ１６は、メール画面或いはＷｅｂ閲覧画面の表示を要求する操作がなされた場合の処理である。
ステップＳＴ１０：
制御部７は、メール画面或いはＷｅｂ閲覧画面表示を要求する操作、すなわち、例えば操作部２のうちの１つであるメールキー或いはＷｅｂキーの押下を検知したか否かの判定を行う。メール画面或いはＷｅｂ閲覧画面表示を要求する操作を検知した場合はステップＳＴ１１に進み、そうでない場合はステップＳＴ２０に進む。
ステップＳＴ１１：
制御部７は、ステップＳＴ１０において検知した操作、すなわちメール画面或いはＷｅｂ閲覧画面表示を要求する操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、メール画面或いはＷｅｂ閲覧画面表示を要求する操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ１２に進み、そうでない場合はステップＳＴ１５に進む。

ステップＳＴ１２：
制御部７は、ステップＳＴ１１においてメール画面或いはＷｅｂ閲覧画面表示を要求する操作が設定項目であると判定された場合、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ１３：
制御部７は、ダミー画面の１つであるダミーのメール画面或いはダミーのＷｅｂ閲覧画面を表示部３に表示させる。ダミーのメール画面或いはダミーのＷｅｂ閲覧画面としては、メール画面或いはＷｅｂ閲覧画面であると一目で理解されるような画面であることが望ましい。
ところで、携帯端末１００は通常、待ち受け状態において基地局との間の無線接続（物理層の接続）はされておらず、通信開始時には基地局との無線接続を行う必要があるため、通信開始が要求されると、基地局との接続が確立されるまでの間は「connecting」等の表示である接続待ち画面を表示する。
そこで、ダミー画面としては、このような接続待ち画面を採用したり、送受信履歴の全く登録されていない状態のメールの送受信履歴画面を採用したりすることも好ましい。この場合には操作者に全く不審感を与えずに済ませることができる。さらに、ダミー画面専用のデータを記憶部６等に記憶させる必要もないため、記憶部６への不要なメモリ容量の圧迫を防止することもできる。
ステップＳＴ１４：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ１５に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。
ステップＳＴ１５：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。

ステップＳＴ１６：
制御部７は、表示部３に正規のメール画面或いはＷｅｂ閲覧画面（本発明の第１の画面に対応）、すなわちステップＳＴ１３において表示させたダミーの画面ではないメール画面或いはＷｅｂ閲覧画面を表示させる。これにより、正規ユーザが登録していたお気に入り（ショートカット登録したＷｅｂページ）の内訳や、送受信メールの内容等を、正規ユーザ以外の操作者に見られることがなくなる。

次に、ステップＳＴ２０〜ＳＴ２６は、アドレス帳画面或いは発着信履歴画面の表示を要求する操作がなされた場合の処理である。
ステップＳＴ２０：
制御部７は、アドレス帳画面或いは発着信履歴画面表示を要求する操作、すなわち、例えば操作部２のうちの１つであるアドレス帳キー或いは履歴キーの押下を検知したか否かの判定を行う。アドレス帳画面或いは発着信履歴画面表示を要求する操作を検知した場合はステップＳＴ２１に進み、そうでない場合はステップＳＴ３０に進む。
ステップＳＴ２１：
制御部７は、ステップＳＴ２０において検出した操作、すなわちアドレス帳画面或いは発着信履歴画面表示を要求する操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、アドレス帳画面或いは発着信履歴画面表示を要求する操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ２２に進み、そうでない場合はステップＳＴ２５に進む。

ステップＳＴ２２：
制御部７は、ステップＳＴ２１においてアドレス帳画面或いは発着信履歴画面表示を要求する操作が設定項目であると判定された場合、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ２３：
制御部７は、ダミー画面の１つであるダミーのアドレス帳画面或いはダミーの発着信履歴画面を表示部３に表示させる。ダミーのアドレス帳画面或いはダミーの発着信履歴画面としては、アドレス帳画面或いは発着信履歴画面であると一目で理解されるような画面であることが望ましい。例えば、アドレス情報が未登録状態のアドレス帳画面や、発着信履歴が未登録状態の発着信履歴画面等をダミー画面として表示させてもよい。この場合には全く操作者に全く不審感を与えずに済ませることができる。さらに、ダミー画面専用のデータを記憶部６等に記憶させる必要もないため、記憶部６への不要なメモリ容量の圧迫を防止することもできる。
ステップＳＴ２４：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ２５に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。
ステップＳＴ２５：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。

ステップＳＴ２６：
制御部７は、表示部３に正規のアドレス帳画面或いは発着信履歴画面（本発明の第１の画面に対応）、すなわちステップＳＴ２３において表示させたダミーの画面ではないアドレス帳画面或いは発着信履歴画面を表示させる。これにより、正規ユーザが登録していたアドレス情報や、送受信の履歴に基づくアドレス情報や通信履歴内容などを、正規ユーザ以外の操作者に見られることがなくなる。

次に、ステップＳＴ３０〜ＳＴ３６は、音声発呼を要求する操作がなされた場合の処理である。
ステップＳＴ３０：
制御部７は、操作部２のうちテンキー（数字を入力するための１０個のキー）の押下を検知したか否かの判定を行う。テンキーが押下された場合にはステップＳＴ３１に進み、そうでない場合はステップＳＴ４０に進む。

ステップＳＴ３１：
制御部７は、ステップＳＴ３０において検知した、操作部２のテンキーを介した数字の入力が電話番号の入力であるか否かの判定を行う。
判定の方法の一例を説明する。制御部７は、１回目の入力が「０」である場合に電話番号の入力であると判定し、「０」でない場合は電話番号の入力でない、或いは、外線ではなく内線用の電話番号であると判定する。なお、連続して複数回の数字入力がある場合には、それぞれの入力を保存し、特番（「１１９」等）であった場合には電話番号であると判定する。また、「０」の入力に続いて合計所定の桁数（１１桁）となる数列が入力された場合にも、電話番号であると判定する。さらに、数列の入力後、無操作状態が所定時間続いた場合にも、電話番号であると判定する。
なお、上述した電話番号であるか否かの判定方法は一例であり、本発明はこれには限定されない。
電話番号の入力であると判定した場合はステップＳＴ３２に進み、そうでない場合はステップＳＴ４０に進む。

ステップＳＴ３２：
制御部７は、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。
ステップＳＴ３３：
制御部７は、操作部２のうちの１つである発呼キーに対する操作が検知されたか否かを判定する。発呼キーは、テンキーを介して入力された電話番号に対する音声通話の発呼を行うためのキーである。発呼キーに対する操作を検知した場合はステップＳＴ３４に進み、そうでない場合はステップＳＴ３３を繰り返す。

ステップＳＴ３４：
制御部７は、ステップＳＴ３３において検知した発呼キーに対する発呼操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、発呼キーに対する発呼操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ３５に進み、そうでない場合はステップＳＴ３７に進む。なお、ステップＳＴ３４における設定項目であるか否かの判定は、他の機能と同様、キー押下直後に行い、認証を要する設定であると判定されたときにのみ認証処理を開始するように構成してもよい。
ステップＳＴ３５：
制御部７は、ダミー画面の１つであるダミーの発呼画面を表示部３に表示させる。ダミーの発呼画面としては、発呼画面であると一目で理解されるような画面であることが望ましい。例えば、上述した基地局への接続待ち画面を表示するよう構成すれば、操作者に全く違和感を与えることがないばかりか、専用の画面を要しないため、記憶部６のメモリ容量への圧迫もない。

ステップＳＴ３６：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ３７に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。
ステップＳＴ３７：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。
ステップＳＴ３８：
制御部７は、表示部３に正規の発呼画面（本発明の第１の画面に対応）、すなわちステップＳＴ３５において表示させたダミーの画面ではない発呼画面を表示させ、ステップＳＴ３０においてテンキーを介して入力された電話番号に対する発呼処理を通信部１に開始させる。
これにより、発信を規制することができるため、不正な利用を防止することができる。すなわち、不正な電話料金が正規ユーザに請求されることを阻止したり、電話番号等携帯端末１００に固有のＩＤ情報の外部への流出を防止したりすることができる。

ステップＳＴ４０〜ＳＴ４６は、上述したメール画面或いはＷｅｂ閲覧画面表示要求、アドレス帳画面或いは発着信履歴表示要求、音声発呼要求以外の操作を検知した場合の処理である。
ステップＳＴ４０：
制御部７は、メール画面或いはＷｅｂ閲覧画面表示要求、アドレス帳画面或いは発着信履歴表示要求、音声発呼要求以外の操作を検知したか否かの判定を行う。メール画面或いはＷｅｂ閲覧画面表示要求、アドレス帳画面或いは発着信履歴表示要求、音声発呼要求以外の操作を検知した場合はステップＳＴ４１に進み、そうでない場合はステップＳＴ１０に戻る。
ステップＳＴ４１：
制御部７は、ステップＳＴ４０において検知された操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、ステップＳＴ４０においてなされた操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ４２に進み、そうでない場合はステップＳＴ４５に進む。

ステップＳＴ４２：
制御部７は、ステップＳＴ４０において検知された操作が設定項目であるとステップＳＴ４１において判定された場合、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ４３：
制御部７は、ステップＳＴ４０において検知した操作に対応するダミー画面を表示部３に表示させる。
ステップＳＴ４４：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ４５に進み、認証に失敗した場合は後述する図４に示すフローチャートのＡに進む。

ステップＳＴ４５：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。
ステップＳＴ４６：
制御部７は、ステップＳＴ４０において検知された操作が要求する処理に対応した正規の画面（本発明の第１の画面に対応）を表示部３に表示させる。

なお、上述した図３にフローチャートにおいて、ステップＳＴ３１における電話番号であるか否かの判定を行わない構成としても本発明の効果を得ることは可能である。すなわち、テンキー押下が生じると（ステップＳＴ３０“Ｙｅｓ”）、認証処理を開始（ステップＳＴ３２）するようにすればよい。

次に、認証処理に失敗した場合の制御部７の動作について説明する。
図４は、認証処理に失敗した場合の制御部７の動作例を示したフローチャートである。
ステップＳＴ５０：
制御部７は、認証処理に使用した顔画像に、人物の顔が写っているか否かの判定を行う。これは、認証処理に失敗した原因が、撮影した範囲内（画像内）に顔が入っていないことによるものかどうかを判定するためである。顔が画像内に写っていた場合はステップＳＴ５１に進み、そうでない場合はステップＳＴ５３に進む。
ステップＳＴ５１：
制御部７は、失敗した認証処理に使用した顔画像を、非正規ユーザ顔画像として記憶部６に記憶させる。記憶部６では、非正規ユーザ顔画像をデータベースとして保持することにより、非正規ユーザが操作を試みた履歴を残すことができる。

ステップＳＴ５２：
制御部７は、認証処理に使用した顔画像が、記憶部６に記憶されたアドレス帳内のアドレス帳データの顔画像の中に一致するものがあるか否かの判定を行う。
すなわち、本実施形態の携帯端末１００では、記憶部６にアドレス帳として名前、電話番号、Ｅメールアドレス等のアドレス情報に対応付けて、顔画像が予め登録されている。ただし、アドレス帳に登録された全ての通信相手の顔画像が登録されている必要はない。制御部７は、アドレス帳に登録された複数の通信相手のうち、顔画像が登録されている通信相手の顔画像を、認証処理に使用した顔画像と比較する。
一致する顔画像がアドレス帳に登録されていた場合はステップＳＴ５３に進み、そうでない場合はステップＳＴ５４に進む。

ステップＳＴ５３：
制御部７は、ステップＳＴ５２において認証に使用した顔画像と一致すると判定されたアドレス帳内の顔画像に対応するアドレス情報（名前、電話番号、Ｅメールアドレス等）を、予め設定されたアドレスに対して通知する。予め設定されたアドレスは、例えば正規ユーザの有する他の通信端末、例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）等においてメール送受信が可能なＥメールアドレス等である。本ステップにより、正規ユーザは、リアルタイムで非正規ユーザの操作試行を知ることができる。なお、このとき、顔画像についても共に送付して精度を上げるようにしてもよい。
ステップＳＴ５４：
制御部７は、認証処理に失敗した顔画像を、予め設定されたアドレスに対して送信する。送信の方法は、例えばＥメールの添付ファイルとして送信する方法がある。

ステップＳＴ５５：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。
ステップＳＴ５６：
制御部７は、操作不可であることを通知する操作不可通知画面（本発明の第２の画面に対応）を表示部３に表示させる。操作不可通知画面は、例えば、「操作できません」、「セキュリティによりロックされています」等のメッセージを含む画面である。操作不可通知画面は、操作者に顔認証による認証処理を行っていたことを察知されないために、「顔認証に失敗しました」等の表示を行わないことが望ましい。

なお、図４におけるフローチャートにおいて、認証処理に失敗した顔画像に対応するアドレス情報或いは顔画像を予め設定されたアドレスに送信しないように予め正規ユーザにより設定することも可能である。この場合、図４におけるステップＳＴ５１のあと、即座にステップＳＴ５５に進むようにすればよい。

以上説明したように、本実施形態の携帯端末１００によれば、制御部７は、操作部２のテンキーを介して数字の入力を検知したときにバックグラウンドで認証処理を開始するため、電話番号の入力が終了し、発呼キーが操作されるときには既に認証処理が終了しているようにすることが可能であり、発呼キーの操作後即座に携帯端末１００が耳に当てられるような場合でも、顔認証処理を実行することが可能である。
また、本実施形態の携帯端末１００によれば、制御部７は、操作部２に対する操作を検知した時点でイン側カメラ４１を起動し顔画像を撮影させて顔認証部５に顔認証を開始させ、認証処理が完了するまでの間操作に対応したダミー画面を表示部３に表示させるので、操作者に顔認証による認証処理を実行していることを察知されない。
また、本実施形態の携帯端末１００によれば、操作部２に対する操作を検知したとき認証処理に失敗した場合には、認証に使用した顔画像に対応したアドレス情報、あるいは顔画像そのものを即座に予め設定された正規ユーザの有するアドレスに送信するため、正規ユーザはリアルタイムで携帯端末１００に対する非正規ユーザの操作試行を知ることができ、対策を講じることが可能である。また、認証処理に失敗した顔画像を記憶部６にデータベースとして保持するので、非正規ユーザの履歴を残すことができる。

また、本実施形態の携帯端末１００によれば、制御部７は操作部２に対して行われた操作に応じて、当該操作が予め正規ユーザが認証処理を行うべき操作であると設定した設定項目に該当するか否かを記憶部６を参照して判定し、認証処理を行うか否かを決定するので、正規ユーザは携帯端末１００の機能ごとに認証処理を行うか否かの設定を行うことができ、使い勝手が向上する。すなわち、頻繁に使用し、かつセキュリティ上それほど問題とならない、例えばＷｅｂ閲覧機能のような機能を実行させる操作を行うたびに一々認証処理が行われ煩わしい、という事態を回避することができる。

なお、図３に示したフローチャートでは、制御部７が開動作を検出しない場合は開動作が検出されるまでステップＳＴ１を繰り返していたが、例えば下部筐体１０２の側面部や、上部筐体１０１の裏面（表示部３が配置された面の反対側の面）に、操作部２として説明したキー類とは独立したサブキーが設けられている場合にはこの限りではない。すなわち、携帯端末１００の閉状態においても、サブキーに対する操作を検出した場合は、その操作が設定項目であるかを判定し、設定項目であった場合には顔認証を行うようにすればよい。

また、上述した実施形態において、図３における開動作の検出から認証処理が開始しているが、本発明はこれに限定されるものではない。
例えば、筐体の表面にタッチセンサを設けておき、タッチセンサによる接触検出があったかどうかを予め判定し、タッチセンサの接触検出がある状態では認証処理への移行を可能とし、接触検出がない状態ではそもそも設定項目か否かの判定に入らないように制限してもよい。この構成によれば、接触検出がない状態でのキー操作を検出しても、認証処理に移行しないため、ポケットの中などでのキーへの意図しない押圧によって操作が生じた場合等にイン側カメラ４１が起動して認証処理に移行した場合、当然顔認証に成功しないために使用不可画面が表示されて使用を制限するモードに移行してしまい、正規ユーザによる解除操作が必要になる、という煩わしさを回避することができる。

＜第２実施形態＞
以下、本発明の第２の実施形態について説明する。
本第２実施形態における携帯端末１００は、発呼の際の処理において第１実施形態と異なる。
なお、本第２実施形態における携帯端末１００の構成や外観については、第１実施形態において説明したものと同様であるため、説明を省略する。

本第２実施形態の携帯端末１００では、第１実施形態のようにテンキーによる電話番号入力の後に発呼キーが操作されることにより発呼処理が実行されるのではなく、発呼キーが先に操作されることにより電話番号入力待ち状態となり、テンキーを介した電話番号入力が完了した時点で（電話番号を認識した時点で）発呼処理が行われる。

従って、本第２実施形態の制御部７の処理は、図３に示したフローチャートとほぼ同様であるが、第１実施形態の発呼処理に関する部位、すなわち図３におけるステップＳＴ３０〜ステップＳＴ３８において異なっている。
以下では、図３におけるステップＳＴ３０〜３８の代わりの第２実施形態の制御部７の動作例について説明する。
図５は、第２実施形態の制御部７の発呼処理に関する動作例を示したフローチャートである。

以下説明するステップＳＴ６０以降の処理は、図３におけるステップＳＴ２０においてアドレス帳画面或いは発着信履歴画面表示を要求する操作が検知されなかった場合に開始される。
ステップＳＴ６０：
制御部７は、操作部２の発呼キーに対する操作を検知したか否かの判定を行う。発呼キーに対する操作を検知した場合はステップＳＴ６１に進み、そうでない場合は図３に示すステップＳＴ４０に進む。
ステップＳＴ６１
制御部７は、認証処理を開始する。すなわち、制御部７は、イン側カメラ４１を起動させ、操作者の顔を撮影して、顔認証部５に顔認証処理を開始させる。

ステップＳＴ６２：
制御部７は、ステップＳＴ６０において検知した発呼キーに対する発呼操作が認証処理の対象となる設定項目であるか否かの判定を記憶部６を参照して行う。すなわち、制御部７は、発呼キーに対する発呼操作が設定項目として記憶部６に記憶されているか否か、を判定し、設定項目に含まれる場合はステップＳＴ６３に進み、そうでない場合はステップＳＴ６７に進む。
ステップＳＴ６３：
制御部７は、ダミー画面の１つであるダミーの発呼画面を表示部３に表示させる。

ステップＳＴ６４：
制御部７は、操作部２のうちテンキーの押下を検知したか否かの判定を行う。テンキーが押下された場合にはステップＳＴ６５に進み、そうでない場合はステップＳＴ６４を繰り返す。
ステップＳＴ６５：
制御部７は、ステップＳＴ６４において検知したテンキーの押下により、電話番号が入力されたか否かの判定を行う。テンキーによる数字（数列）の入力を電話番号として認識する方法は、第１実施形態において説明した方法と同様の方法を用いる。電話番号入力であると認識した場合はステップＳＴ６５に進み、そうでない場合はステップＳＴ６４に戻る。

ステップＳＴ６６：
制御部は、顔認証部５の顔認証処理の結果を基に認証処理の合否判定を行う。認証に合格した場合はステップＳＴ６７に進み、認証に失敗した場合は第１実施形態の図４に示すフローチャートのＡに進む。
ステップＳＴ６７：
制御部７は、認証処理に使用したイン側カメラ４１を終了させる。
ステップＳＴ６８：
制御部７は、表示部３に正規の発呼画面、すなわちステップＳＴ６３において表示させたダミーの画面ではない発呼画面を表示させ、ステップＳＴ６４においてテンキーを介して入力された電話番号に対する発呼処理を通信部１に開始させる。
これによっても、第１実施形態と同様に発信を規制することができるため、不正な利用を防止することができ、不正な電話料金が正規ユーザに請求されることを防止したり、電話番号等端末固有のＩＤ情報の外部への送出を防止したりすることができる。

以上説明したように、本実施形態の携帯端末１００によれば、発呼キーが先に操作されることにより電話番号入力待ち状態となり、テンキーを介した電話番号入力が完了した時点で発呼が行われる方式の発呼処理においても、第１実施形態と同様の効果を奏することが可能である。

本発明は上述した実施形態には限定されない。
すなわち、本発明の実施に際しては、本発明の技術的範囲またはその均等の範囲内において、上述した実施形態の構成要素に関し様々な変更、コンビネーション、サブコンビネーション、並びに代替を行ってもよい。

上述した実施形態では、顔認証のみによる認証処理を行っていたが、本発明はこれには限定されない。認証処理として、顔認証に加えて他の方式の認証、例えば指紋認証等の生体認証、パスワード等による認証等を並行して行ってもよい。

また、上述した実施形態では、携帯端末装置の一例として、折り畳み式の携帯電話機である携帯端末１００について説明したが、本発明はこれには限定されない。例えば、折り畳み式でなくストレート形、スライド型等、他の形式の携帯端末装置であってもよい。また、携帯電話機だけでなく、ＰＤＡ（Personal Digital Assistant）やデジタルカメラ等、他の携帯端末装置であってもよい。

図１は、携帯端末の各構成について説明するためのブロック図である。図２は、携帯端末の外観の一例を示す図である。図３は、制御部の判定処理について説明するためのフローチャートである。図４は、認証処理に失敗した場合の制御部の動作例を示したフローチャートである。図５は、第２実施形態の制御部の発呼処理に関する動作例を示したフローチャートである。

符号の説明

１００…携帯端末、１０１…上部筐体、１０２…下部筐体、１０３…ヒンジ部、１…通信部、２…操作部、３…表示部、４…カメラ、４１…イン側カメラ、４２…アウト側カメラ、５…顔認証部、６…記憶部、７…制御部

Claims

無線通信を行う通信部と、
操作者の顔を撮影可能な撮像部と、
前記撮像部が撮影した顔画像を基に、顔認証処理が可能な顔認証部と、
前記操作者の操作を受け付ける操作部と、
第１の画面と、該第１の画面とは異なる第２の画面とを表示する表示部と、
制御部と、
を有し、
前記制御部は、前記無線通信の待ち受け状態において、前記操作部に対する第１の操作を検知したとき、前記撮像部で操作者の顔画像を撮影して、前記顔認証部による当該顔画像に基づく顔認証処理を、当該認証処理を実行中であることを示す画面を前記表示部に表示することなく開始させ、前記操作部に対する第２の操作を検知したとき、前記顔認証処理の結果を基にして、認証合格の場合は前記第１の画面を前記表示部に表示させ、認証失敗である場合は前記第２の画面を前記表示部に表示させる
ことを特徴とする携帯端末装置。
前記第１の操作は、前記操作部に含まれるテンキーを介した数字の入力操作であり、前記第２の操作は、前記操作部に含まれる発呼を行うための発呼キーに対する操作である
ことを特徴とする請求項１に記載の携帯端末装置。
前記第１の操作は、前記操作部に含まれる発着信履歴の表示を行うためのキーに対する操作であり、前記第２の操作は、前記操作部に含まれる発呼を行うための発呼キーに対する操作である
ことを特徴とする請求項１に記載の携帯端末装置。
無線通信を行う通信部と、
操作者の顔を撮影可能な撮像部と、
前記撮像部が撮影した顔画像を基に、顔認証処理が可能な顔認証部と、
前記操作者の操作を受け付ける操作部と、
第１の画面と、該第１の画面とは異なる第２の画面とを表示する表示部と、
制御部と、
を有し、
前記制御部は、前記無線通信の待ち受け状態において、前記操作部に含まれる発呼キーに対する操作を検知したとき、顔認証処理に伴う画像を前記表示部に表示することなく前記撮像部で操作者の顔画像を撮影して、前記顔認証部による当該顔画像に基づく顔認証処理を開始させ、その後前記操作部に含まれるテンキーを介した数列の入力がなされ、当該数列を電話番号であると認識した場合は、前記顔認証処理の結果を基にした認証処理において、認証合格の場合は前記第１の画面を前記表示部に表示させ、認証失敗である場合は前記第２の画面を前記表示部に表示させる
ことを特徴とする携帯端末装置。
名前、連絡先のいずれかを含むアドレス情報とともに、アドレス情報ごとに顔画像を対応付けてアドレス帳データとして記憶する記憶部
を有し、
前記制御部は、前記顔認証処理の結果を基にした認証処理において、認証失敗である場合は、前記記憶部に記憶された前記アドレス帳データの顔画像内に、前記顔認証処理に使用された前記撮像部が撮影した顔画像と一致する顔画像があるか否かを検索し、あった場合には、当該顔画像に対応するアドレス情報を、予め登録された所定の連絡先に通知し、なかった場合は、当該顔画像を予め登録された所定の連絡先に対して前記通信部に送信させる
ことを特徴とする請求項１から４に記載の携帯端末装置。