[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7338659B2 - 指示体の検出方法及びプロジェクションシステム - Google Patents

指示体の検出方法及びプロジェクションシステム Download PDF

Info

Publication number
JP7338659B2
JP7338659B2 JP2021056783A JP2021056783A JP7338659B2 JP 7338659 B2 JP7338659 B2 JP 7338659B2 JP 2021056783 A JP2021056783 A JP 2021056783A JP 2021056783 A JP2021056783 A JP 2021056783A JP 7338659 B2 JP7338659 B2 JP 7338659B2
Authority
JP
Japan
Prior art keywords
light
indicator
phase
mode
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021056783A
Other languages
English (en)
Other versions
JP2022153981A (ja
Inventor
和弘 ▲高▼栖
行浩 唐澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2021056783A priority Critical patent/JP7338659B2/ja
Priority to US17/706,875 priority patent/US11543920B2/en
Priority to CN202210315932.XA priority patent/CN115145409A/zh
Publication of JP2022153981A publication Critical patent/JP2022153981A/ja
Application granted granted Critical
Publication of JP7338659B2 publication Critical patent/JP7338659B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)

Description

本発明は、指示体の検出方法及びプロジェクションシステムに関する。
従来、発光装置から射出された光が指示体で反射した反射光を検出して、指示体の指示位置を検出する装置が知られている。
例えば、特許文献１に開示の画像投影システムは、レーザ光射出器からシート状に整形された赤外線レーザ光が、机に沿って伝搬することでライトカーテンを形成する。机上のある位置が電子ペンで触れられると、その位置でレーザ光が反射する。画像投影システムは、その反射光を撮像部で撮像し、撮像データに基づいて電子ペンの位置を検出する。特許文献１では、机上の障害物を検出し、障害物の影響を受ける投影画像上の領域を、電子ペンの操作を有効とする領域から除くよう設定する。これにより、障害物によってレーザ光が遮られたり、障害物がレーザ光を反射したりすることによる影響を抑制する。
特開２０１７－９８２９号公報
しかしながら、電子ペンの操作を有効とする領域から除いた領域では、電子ペンによる操作を行うことができない。指示体以外の物体が配置されている領域でも、指示体の位置を検出することが求められる場合がある。
本開示の一態様は、第１指示体が発する第１光を検出することによって、操作面における前記第１指示体の位置を検出することと、発光装置が第２光を出射することと、前記第２光が第２指示体で反射した反射光を検出することによって、前記操作面における前記第２指示体の位置を検出することと、を含む第１モードと、前記第１指示体が前記操作面に接触していると判定した場合に、前記第２光の光量を減少させることと、前記第２光の光量を減少させた状態で、前記第１光を検出することによって、前記操作面における前記第１指示体の位置を検出することと、を含む第２モードと、を含む、指示体の検出方法である。
本開示の一態様は、第１光を発する第１指示体と、第２光を出射する発光装置と、前記第１指示体が発する第１光を検出することによって、操作面における前記第１指示体の位置を検出することと、前記第２光が第２指示体で反射した反射光を検出することによって、前記操作面に対する前記第２指示体の位置を検出することと、を含む第１モードと、前記第１指示体が前記操作面に接触していると判定した場合に、前記第２光の光量を減少させることと、前記第２光の光量を減少させた状態で、前記第１光を検出することによって、前記操作面における前記第１指示体の位置を検出することと、を含む第２モードと、で動作する制御部と、前記第１指示体の位置、又は前記第２指示体の位置に基づいて、前記操作面に画像光を投写する光学装置と、を含む、プロジェクションシステムである。
プロジェクションシステムのシステム構成を示す斜視図。 プロジェクションシステムの側面図。 プロジェクター及び第１指示体の構成を示す構成図。 第１光送信部及び照射部の発光パターンを示す図。 第１制御部の動作を示すフローチャート。 第１制御部の第１フェーズの動作を示すフローチャート。 第１制御部の第２フェーズの動作を示すフローチャート。 第１制御部の第３フェーズの動作を示すフローチャート。 第１制御部の第４フェーズの動作を示すフローチャート。
１．プロジェクションシステム１の構成
図１は、プロジェクションシステム１のシステム構成を示す斜視図である。
プロジェクションシステム１は、プロジェクター１００と、プロジェクター１００が画像を投写する投写面１０と、投写面１０の位置を指定することに用いる第１指示体５０とを備える。投写面１０の位置の指定は、ユーザーの指等である第２指示体７０による指定も可能である。以下では、投写面１０の法線をＺ軸、鉛直軸をＹ軸、Ｚ軸とＹ軸とに垂直な軸をＸ軸として説明する。投写面１０は、操作面の一例に相当する。
プロジェクター１００は、画像データに対応した画像光を生成し、生成した画像光を投写面１０に投写する。また、プロジェクター１００は、インタラクティブ機能を備える。インタラクティブ機能とは、第１指示体５０及び第２指示体７０により指定された投写面１０の位置を検出し、検出した位置に基づいて第１指示体５０及び第２指示体７０の位置や軌跡に対応した画像を表示させたり、表示させた画像に変更を加えたりする機能である。
第１指示体５０は、ユーザーが手に持って使用するペン型の指示体であり、発光可能な先端部５１、ユーザーが把持する軸部５２等を有する。先端部５１には近赤外光を発光するＬＥＤ（Light Emitting Diode）等の光源が搭載されている。第１指示体５０は、先端部５１が投写面１０に接触したタッチ状態において、所定の発光間隔で発光する。また、第１指示体５０は、先端部５１が投写面１０に接触していない状態でも所定の発光間隔で発光する。また、図１には、１本の第１指示体５０を示すが、同時に使用可能な第１指示体５０の本数は１本に限らず、複数本の第１指示体５０を同時に使用することも可能である。
また、ユーザーの手指を第２指示体７０として使用する場合、ユーザーは、指先等の先端を投写面１０に接触させ、投写面１０の位置を指定する。
プロジェクター１００は投写面１０に沿って検出光を出射しており、第２指示体７０の先端が投写面１０に接触すると、検出光を遮る。この検出光を、以下では第２光１８０という。第２光１８０が第２指示体７０に当たって反射し、第２光１８０の反射光の一部は第２指示体７０からプロジェクター１００に向かって進む。プロジェクター１００は、第２光１８０が第２指示体７０で反射した反射光を検出して、第２指示体７０により指示された位置を検出する。
図２は、プロジェクションシステム１の側面図である。
本実施形態のプロジェクター１００は、壁面に固定されて投写面１０の前方かつ上方に設置され、斜め下方の投写面１０に向けて画像光を投写する。プロジェクター１００によって画像光が投写される投写面１０の領域を投写領域２０という。また、プロジェクター１００は、第１指示体５０及び第２指示体７０の検出に用いる第２光１８０を、投写面１０に対応する方向に照射する。具体的には、投写面１０から所定距離以内に近づいた第２指示体７０で反射した反射光が、撮像部１３５へ入射させることが可能な方向である。第２光１８０は、第２指示体７０の検出に用いられる光であり、本実施形態では赤外光が用いられる。赤外光を用いることにより、可視光を主とする画像光の影響を受けずに第２指示体７０を検出でき、また、画像光による表示にも影響を与えない。第２光１８０は、投写面１０の少なくとも一部を含む範囲に照射される。本実施形態では、投写面１０の全体をカバーする範囲に投写される。
２．プロジェクター１００及び第１指示体５０の構成
図３は、プロジェクター１００及び第１指示体５０の構成を示す構成図である。まず、プロジェクター１００の構成について説明する。
プロジェクター１００は、画像生成部１１０、投写部１２０、送信部１３１、照射部１３３、撮像部１３５、受光部１４０及び第１制御部１５０を備える。
画像生成部１１０は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）により構成される演算処理装置である。画像生成部１１０は、投写画像を記憶する画像記憶部１１５を有する。画像記憶部１１５は、投写部１２０が投写する画像をフレーム単位で格納する、いわゆるフレームメモリーである。
画像生成部１１０は、画像データに基づいて、投写面１０上に投写される投写画像を画像記憶部１１５に描画する。画像生成部１１０は、画像記憶部１１５に描画した画像を示す画像信号を後述する光変調装置１２３に出力して、画像データに対応した画像光を投写部１２０により投写面１０に投写させる。投写部１２０は、光学装置に相当する。
また、画像生成部１１０は、画像記憶部１１５に描画する画像に対する画像処理を実行する。例えば、画像生成部１１０は、投写領域２０の台形歪み等を補正する幾何補正処理、投写面１０に表示させる画像のサイズを拡大又は縮小するデジタルズーム処理、投写面１０に表示させる画像の色調等を補正する色補正処理等を実行する。
投写部１２０は、光源１２１、光変調装置１２３及び光学ユニット１２５を備える。
光源１２１は、キセノンランプや、超高圧水銀ランプ、ＬＥＤ、レーザー光源等の光源を備える。また、光源１２１は、光源が発した光を光変調装置１２３に導くリフレクター及び補助リフレクターを備えていてもよい。
光変調装置１２３は、例えば、液晶パネル等の変調素子を備える。光変調装置１２３は、画像記憶部１１５から入力される画像信号に従って光源１２１から入射される光を変調して画像光を形成する。画像光は、典型的には、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の可視光を含むカラー画像光である。
光学ユニット１２５は、光変調装置１２３により形成された画像光を投写面１０に投写して、投写面１０上に結像させる。光学ユニット１２５は、レンズ及びミラーの少なくとも一方を含む。光学ユニット１２５は、投写面１０に投写される画像を拡大又は縮小させるズーム機構や、フォーカスの調整を行うフォーカス調整機構を備えていてもよい。
送信部１３１は、第１指示体５０の発光タイミングを、撮像部１３５の撮像タイミングに同期させるための信号である信号光１７０を出力する。信号光１７０を、図３に二点鎖線で示す。信号光１７０は、第１指示体５０が後述する受信部５３により受信可能な近赤外光の信号である。送信部１３１は、プロジェクター１００の起動中、信号光１７０を定期的に送信する。
信号光１７０は、例えば、第１指示体５０に、第１光１９０を送信させるタイミングを指定する制御信号である。第１光１９０は、予め定められた発光パターンを有する近赤外光である。図３に、第１光１９０を一点鎖線で示す。第１指示体５０は、例えば、信号光１７０を受信したタイミングに同期して、第１光１９０を送信する。
このため、プロジェクター１００は、第１指示体５０が第１光１９０を発光するタイミングに合わせて、撮像部１３５に撮像を実行させることが可能となる。送信部１３１は、例えば、ＬＥＤ等の光源と、光源の点灯や消灯を制御する装置とを備える。制御する装置は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ(field-programmable gate array)等により構成することができる。
照射部１３３は、第１指示体５０及び第２指示体７０を検出するための第２光１８０を、投写面１０を含む方向に照射する。図３に第２光１８０を破線で示す。照射部１３３は、赤外光を発する光源として、ＬＤ（Laser Diode）又はＬＥＤを有する。また、照射部１３３は、光源が発する赤外光を投写面１０に向けて拡散させる光学部品を備えてもよい。照射部１３３は、発光装置の一例に相当する。
撮像部１３５は、第１指示体５０の発光部５５が発する近赤外光を受光するＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を備えるカメラである。また、撮像部１３５は、撮像素子に像を結像する光学系、撮像素子に入射する光を制限する絞りなどを備える。
撮像部１３５は、投写面１０を含む範囲を撮像して撮像画像を生成する。撮像部１３５は、第１指示体５０が発する第１光１９０を受光して撮像する。撮像部１３５により生成された撮像画像は、第１制御部１５０に出力される。
撮像部１３５は、撮像を行うと、第１制御部１５０に割込信号を出力する。撮像部１３５は、割込信号に対応する応答を第１制御部１５０から受信すると、撮像画像を第１制御部１５０に出力する。
受光部１４０は、リモコン５から送信される赤外線信号を受光する。受光部１４０は、受光した赤外線信号に対応した操作信号を生成し、生成した操作信号を第１制御部１５０に出力する。操作信号は、ユーザーによって操作されたリモコン５のスイッチに対応する信号である。
第１制御部１５０は、記憶部１６０と、プロセッサー１６５とを備えるコンピューター装置である。記憶部１６０は、例えば、ＲＡＭ（Random access memory）等の揮発性メモリーと、ＲＯＭ（Read Only Memory）等の不揮発性メモリーとを備える。揮発性メモリーは、プロセッサー１６５のワークエリアを構成する。不揮発性メモリーは、プロセッサー１６５が実行する制御プログラムや、キャリブレーションデータ１６３を記憶する。制御プログラムにはファームウェアや、アプリケーションプログラム１６１が含まれる。
キャリブレーションデータ１６３は、撮像画像と、投写面１０の投写領域２０とを対応づけたデータである。より具体的には、撮像画像の座標系における各画素の座標と、画像記憶部１１５の座標系における各画素の座標とを対応づけたデータである。この撮像画像の座標をカメラ座標といい、画像記憶部１１５の座標をパネル座標という。キャリブレーションデータ１６３を参照することで、撮像画像上の１つの位置に対して、投写領域２０の対応する位置が一意に特定される。
アプリケーションプログラム１６１は、プロセッサー１６５が実行するプログラムである。アプリケーションプログラム１６１は、インタラクティブ機能を実現するプログラムである。
プロセッサー１６５は、例えば、ＣＰＵやＭＰＵ（Micro Processor Unit）により構成される。プロセッサー１６５が制御プログラムを実行することで、プロジェクター１００の各部を制御する。第１制御部１５０は、複数のプロセッサーを備える構成であってもよい。
第１制御部１５０は、撮像画像に撮像された第１光１９０や、第２光１８０が第１指示体５０で反射した反射光を検出する。第１制御部１５０は、撮像部１３５が生成した撮像画像を解析して、第１指示体５０及び第２指示体７０の指示位置を特定する。第１制御部１５０は、検出した第１光１９０の光点の位置及び第２光１８０の反射光の光点の位置を示す座標情報を生成する。この座標情報は、カメラ座標で表される。
第１制御部１５０は、カメラ座標で表された座標情報を、パネル座標の座標情報に変換する。この変換は、例えば、事前に行われるキャリブレーションによって生成されたキャリブレーションデータ１６３に基づいて行われる。
第１制御部１５０は、プロジェクター１００の各部を制御して、投写面１０に画像を表示させる。また、第１指示体５０及び第２指示体７０により指示された投写面１０の位置の軌跡に対応した画像や図形、文字、記号等を表す描画データを生成する。第１制御部１５０は、生成した描画データを画像生成部１１０に出力する。第１制御部１５０は、画像生成部１１０を制御して、変換後の座標情報に基づいて画像記憶部１１５上の座標に画像データを展開させる。これにより、画像データに描画データが重畳され、投写面１０に表示される。
次に、第１指示体５０の構成について説明する。
第１指示体５０は、先端部５１、軸部５２、受信部５３、先端スイッチ５４、発光部５５、電源部５７及び第２制御部５８を備える。
受信部５３は、赤外光を受光する受光素子等を含み、プロジェクター１００により送信される信号光１７０を受信する。受信部５３は、信号光１７０を受信したタイミングを示す制御信号等を第２制御部５８に出力する。
先端スイッチ５４は、先端部５１が投写面１０に接触して先端部５１が押下されるとオンし、先端部５１と投写面１０との接触が解放されるとオフするスイッチである。
発光部５５は、近赤外光を発光するＬＥＤを含み、第２制御部５８により発光が制御され、近赤外光である第１光１９０を出力する。
電源部５７は、一次電池、二次電池、光電池等の電池を備え、第１指示体５０の各部に電力を供給する。第１指示体５０は、電源部５７からの電源供給をオン又はオフする電源スイッチを備えていてもよい。
第２制御部５８は、ＣＰＵ等のプロセッサー、メモリー等の記憶装置及び各種周辺回路を備える。つまり、第２制御部５８は、コンピューターとしての機能を備える。第２制御部５８は、記憶装置に格納されたプログラムをプロセッサーが実行することによって、第１指示体５０の各部を制御する。また、第２制御部５８は、複数のプロセッサーを備える構成であってもよい。
第２制御部５８は、受信部５３から入力される制御信号に基づいて発光部５５を発光させる発光タイミングを決定する。第２制御部５８は、決定した発光タイミングで発光部５５を発光させて、第１光１９０を出力させる。
３．第１指示体５０、送信部１３１及び照射部１３３の発光パターン
図４には、未描画時の第１光１９０の発光パターンと、描画時の第１光１９０の発光パターンと、第２光１８０の発光パターンと、信号光１７０の発光パターンとを示す。未描画時とは、第１指示体５０の先端が投写面１０に接触しておらず、先端スイッチ５４がオフしている状態である。また、描画時とは、第１指示体５０の先端が投写面１０に接触し、先端スイッチ５４がオンしている状態である。
第１指示体５０及びプロジェクター１００は、第１フェーズ、第２フェーズ、第３フェーズ及び第４フェーズの４つのフェーズを１周期とする動作を繰り返し行う。以下では、第１フェーズ、第２フェーズ、第３フェーズ及び第４フェーズの４つのフェーズから構成される１周期をステージという。図４には、第１ステージ～第６ステージまでの６つのステージを示す。各ステージ内の「１Ａ」及び「１Ｂ」は、第１フェーズを示す。また、各ステージ内の「２」は、第２フェーズを示す。また、各ステージ内の「３」は、第３フェーズを示す。また、各ステージ内の「４」は、第４フェーズを示す。
図４に示す数値「１」は、該当する第１指示体５０、送信部１３１又は照射部１３３が点灯状態にあることを示す。また、図４に示す数値「０」は、該当する第１指示体５０、送信部１３１又は照射部１３３が非点灯状態であることを示す。
第１フェーズは、同期用のフェーズであり、第１期間に相当する。第１フェーズでは、プロジェクター１００の送信部１３１が点灯する。送信部１３１が点灯することで、同期信号である信号光１７０が出力される。第１フェーズ～第４フェーズの各フェーズの時間長は、予め設定されており、第１指示体５０は、信号光１７０を受信することにより第１フェーズ～第４フェーズの各々のフェーズの開始タイミングを特定する。
また、第１フェーズは、第１フェーズＡと、第１フェーズＢとの２つのフェーズにより構成される。第１フェーズでは、第１フェーズＡと第１フェーズＢとが交互に繰り返される。図４に示す「１Ａ」は第１フェーズＡに対応し、図４に示す「１Ｂ」は第１フェーズＢに対応する。また、第１指示体５０は、第１フェーズにおいて、送信部１３１から信号光１７０が出力されるタイミングとは重ならないタイミングで、第１光１９０を送信する。
また、第１フェーズＢでは、今回のステージの１つ前のステージにおける第３フェーズでの第１指示体５０の発光状態を反転させた信号が送信される。
例えば、第３ステージの第３フェーズにおける第１指示体５０の点灯状態は、未描画時及び描画時ともに点灯しているので、第４ステージの第１フェーズＢでは反転して、未描画時も描画時も非点灯状態となる。また、第５ステージの第３フェーズにおける第１指示体５０の点灯状態は、未描画時は非点灯状態であるが、描画時は点灯状態となる。次の第６ステージの第１フェーズＢでは、反転して、未描画時には、第１指示体５０は点灯状態となり、描画時には第１指示体５０は非点灯状態となる。
第２フェーズ及び第４フェーズは、位置検出のフェーズである。第２フェーズ及び第４フェーズは、第２期間に相当する。
第２フェーズと第４フェーズにおいて、第１指示体５０及び照射部１３３が点灯する。第１指示体５０は、先端スイッチ５４がオンであるか、オフであるかによらず点灯する。第１指示体５０が点灯することで第１光１９０が出力され、照射部１３３が点灯することで第２光１８０が出力される。
プロジェクター１００は、第２フェーズと第４フェーズにおける第１指示体５０の発光タイミングに合わせて撮像部１３５に撮像を実行させ、投写面１０を撮像する。第１指示体５０の点灯時には第１光１９０の光点が、第２指示体７０での描画時には第２光１８０の反射光の光点が、それぞれ含まれる撮像画像が取得される。これにより、第１指示体５０の位置と、第２指示体７０の位置とがプロジェクター１００により検出される。
第３フェーズは、第１指示体５０だけを点灯させるフェーズであり、第１期間に相当する。また、第３フェーズは、指示体の個体を識別するフェーズである。さらに、第３フェーズは、先端スイッチ５４がオンしているか否かをプロジェクター１００に通知する通知フェーズである。第３フェーズにおいて、第１指示体５０は、予め設定された発光パターンで発光する。第１指示体５０は、先端スイッチ５４がオンしているか、オフしているかによって第３フェーズでの発光パターンを切り替える。
例えば、第１指示体５０には、第３フェーズにおける発光パターンとして「００１」が設定されていると仮定する。この発光パターン「００１」は、第１指示体５０を識別する指示体ＩＤであり、個々の第１指示体５０に固有の発光パターンである。第１指示体５０は、未描画時において、連続する３ステージの第３フェーズにおいて、「００１」の発光パターンを繰り返す。図４に示す例では、第１ステージ、第２ステージ及び第３ステージの連続する３ステージにおいて、第１指示体５０は、「００１」の発光パターンで第１光１９０を出力する。プロジェクター１００は、連続する複数ステージの第３フェーズの発光有無から、繰り返されるパターンを読み取ることで、第１指示体５０の個体を識別する。なお、指示体ＩＤは３ステージで表現されなくてもよい。例えば、第１指示体５０Ａ及び第１指示体５０Ｂの２本の第１指示体５０を用いる場合に、第１指示体５０Ａは「００１」、第１指示体５０Ｂは「０００１」のように、ステージ数の異なる指示体ＩＤを用いてもよい。
また、第１指示体５０は、描画時、すなわち、先端スイッチ５４がオンしているときは、第３フェーズにおいて、指示体ＩＤを表す発光パターンを反転した発光パターンを繰り返す。従って、指示体ＩＤが「００１」の場合、連続する３ステージの第３フェーズにおいて、「１１０」の発光パターンで発光する。図４に示す例では、第１ステージ、第２ステージ及び第３ステージの連続する３ステージにおいて、第１指示体５０は、「１１０」の発光パターンで第１光１９０を出力する。
プロジェクター１００は、第３フェーズにおける第１指示体５０の発光タイミングに合わせて撮像部１３５に投写面１０を撮像させる。第１指示体５０の点灯時には第１光１９０の光点が含まれる撮像画像が取得される。そして、プロジェクター１００は、先端スイッチ５４がオンしている場合の発光パターンにより第１指示体５０の先端部５１がスクリーンＳＳに接触するタッチ状態と、先端スイッチ５４がオフしている場合の発光パターンにより第１指示体５０の先端部５１がスクリーンＳＳに接触していないホバリング状態とを検出する。
４．第１制御部１５０の動作
第１制御部１５０の動作について、さらに説明する。第１制御部１５０は、位置検出のフェーズである第２フェーズ及び第４フェーズにおいて、座標情報を取得した場合、取得した座標情報をアプリケーションプログラム１６１に渡すため、一時的に記憶部１６０に記憶させる。
ところが、第２フェーズ及び第４フェーズにおいて、第１制御部１５０が第１指示体５０の光点の座標情報を取得することができない場合がある。例えば、第１指示体５０により投写面１０に直線を引くため、定規等の物体を投写面１０に接触させた等、照射部１３３が照射する第２光１８０が反射される位置に物体を配置したと仮定する。
上述したように位置検出のフェーズである第２フェーズ及び第４フェーズでは、第１指示体５０が第１光１９０を出力し、照射部１３３が第２光１８０を出力する。このため、投写面１０に定規等の物体を接触させて、第１指示体５０により直線を引く等、物体の近傍で第１指示体５０による描画を行うと、第２フェーズ及び第４フェーズにおいて、照射部１３３が出力する第２光１８０の反射光が物体で反射し、反射した反射光が光点として第１制御部１５０に検出される。このため、第１指示体５０が出力する第１光１９０が、第２光１８０の反射光に埋もれてしまう場合がある。このような場合、第２光１８０の反射光の中から第１光１９０を特定し、第１指示体５０の指示位置を特定するのが難しくなる。
そこで、第１制御部１５０は、第２フェーズ又は第４フェーズの座標情報から第１光１９０の座標情報を特定することができなかった場合、次の第３フェーズ又は第１フェーズにおいて検出された座標情報を、一時的に記憶部１６０に記憶させる。第１制御部１５０は、第３フェーズ又は第１フェーズにおいて検出された座標情報を、アプリケーションプログラム１６１に渡す。
第１フェーズ及び第３フェーズでは、照射部１３３が第２光１８０を出力しない。また、第１フェーズＢでは、１つ前のステージの第３フェーズでの第１指示体５０の発光パターンを反転させた発光パターンで第１指示体５０が点灯する。また、第３フェーズは、第１指示体５０だけを点灯させるフェーズである。このため、検出される光点の座標情報は、第２光１８０の反射光ではなく、第１指示体５０の光点の座標情報となる。
また、第１制御部１５０は、第２フェーズ及び第４フェーズでの第１光１９０の座標情報の特定を容易にするため、先端スイッチ５４がオンしたことが検出された場合、照射部１３３に第２光１８０の光量を低減させる。第１制御部１５０は、第２光１８０の光量を制御する動作モードとして第１モードと第２モードとを備える。
第１制御部１５０は、動作モードが第１モードの場合、照射部１３３に第２光１８０の光量を低減させない。第１制御部１５０は、動作モードが第２モードの場合、照射部１３３に第２光１８０の光量を低減させる。第１制御部１５０は、第２モードにおいて、第２光１８０の光量を、例えば、撮像画像を解析しても、第２光１８０が第２指示体７０で反射した反射光が検出されない程度の光量まで減少させる。
また、第１制御部１５０が第２光１８０の光量を減少させることは、動作モードが第２モードに移行した場合に、照射部１３３に第２光１８０の照射を停止させることを含む。本実施形態では、動作モードが第２モードに移行した場合に、照射部１３３に第２光１８０の照射を停止させる場合について説明する。
また、プロジェクター１００は、第１モード及び第２モードのいずれかを選択する操作を受け付けてもよい。例えば、第１制御部１５０は、投写面１０に、動作モードを選択することに用いるユーザーインターフェース画像を表示して、ユーザーによる選択を受け付けてもよい。ユーザーは、第１指示体５０又は第２指示体７０によって、ユーザーインターフェース画像に表示された選択肢にタッチする。第１制御部１５０は、光点の座標情報と、ユーザーインターフェース画像の表示位置との関係に基づいて、ユーザーの操作を受け付け、選択された動作モードで動作する。選択肢は、タッチミュートの設定及び解除であってもよい。タッチミュートとは、第２指示体７０の操作をミュートする、すなわち、第２指示体７０の操作を検出しないモードである。また、第１制御部１５０は、リモコン５の操作により、タッチミュートが選択された場合に、動作モードを第１モードから第２モードに変更してもよい。また、第１制御部１５０は、リモコン５の操作によりタッチミュートの解除が選択された場合、動作モードを第２モードから第１モードに変更する。
図５は、第１制御部１５０の動作を示すフローチャートである。
図５に示すフローチャートを参照しながら第１制御部１５０の動作について説明する。まず、第１制御部１５０は、撮像部１３５から割込信号が入力されたか否かを判定する（ステップＳ１）。撮像部１３５は、投写面１０を撮像し、撮像画像生成すると、第１制御部１５０に割込信号を出力する。第１制御部１５０は、撮像部１３５から割込信号の入力がない場合、割込信号が入力されるまで処理の開始を待機する（ステップＳ１／ＮＯ）。
第１制御部１５０は、撮像部１３５から割込信号が入力されると（ステップＳ１／ＹＥＳ）、撮像部１３５から撮像画像を取得し、取得した撮像画像を解析して光点の有無を判定する。第１制御部１５０は、撮像画像から光点を検出すると、検出した光点のカメラ座標を特定する。続いて、カメラ座標の座標情報を、キャリブレーションデータ１６３によりパネル座標の座標情報に変換する（ステップＳ２）。
次に、第１制御部１５０は、撮像が行われたフェーズが第１フェーズであるか否かを判定する（ステップＳ３）。例えば、第１制御部１５０は、信号光１７０の出力タイミングと、撮像部１３５から撮像画像を取得したタイミングとに基づき、撮像が行われたフェーズが第１フェーズであるか否かを判定する。第１制御部１５０は、撮像が行われたフェーズが第１フェーズであると判定した場合（ステップＳ３／ＹＥＳ）、第１フェーズに対応した処理を実行する（ステップＳ４）。第１フェーズに対応した処理の詳細については、図６に示すフローチャートを参照しながら説明する。
第１制御部１５０は、撮像が行われたフェーズが第１フェーズではないと判定した場合（ステップＳ３／ＮＯ）、撮像が行われたフェーズが第２フェーズであるか否かを判定する（ステップＳ５）。この場合も、第１制御部１５０は、信号光１７０の出力タイミングと、撮像部１３５から撮像画像を取得したタイミングとに基づき、撮像が行われたフェーズが第２フェーズであるか否かを判定する。第１制御部１５０は、撮像が行われたフェーズが第２フェーズであると判定した場合（ステップＳ５／ＹＥＳ）、第２フェーズに対応した処理を実行する（ステップＳ６）。第２フェーズに対応した処理の詳細については、図７に示すフローチャートを参照しながら説明する。
第１制御部１５０は、撮像が行われたフェーズが第２フェーズではないと判定した場合（ステップＳ５／ＮＯ）、撮像が行われたフェーズが第３フェーズであるか否かを判定する（ステップＳ７）。この場合も、第１制御部１５０は、信号光１７０の出力タイミングと、撮像部１３５から撮像画像を取得したタイミングとに基づき、撮像が行われたフェーズが第３フェーズであるか否かを判定する。
第１制御部１５０は、撮像が行われたフェーズが第３フェーズであると判定した場合（ステップＳ７／ＹＥＳ）、第３フェーズに対応した処理を実行する（ステップＳ８）。第３フェーズに対応した処理の詳細については、図８に示すフローチャートを参照しながら説明する。
第１制御部１５０は、撮像が行われたフェーズが第３フェーズではないと判定した場合（ステップＳ７／ＮＯ）、第４フェーズに対応した処理を実行する（ステップＳ９）。第４フェーズに対応した処理の詳細については、図９に示すフローチャートを参照しながら説明する。
第１制御部１５０は、ステップＳ４、Ｓ６、Ｓ８及びＳ９のいずれかを実行すると、続いて、最新の記憶フラグがオンであるか否かを判定する（ステップＳ１０）。記憶フラグは、ステップＳ４、Ｓ６、Ｓ８及びＳ９の各ステップにおいて、記憶部１６０に座標情報を記憶させた場合にオンとなるフラグである。本実施形態では、記憶フラグは連続した複数のフェーズの各々について座標情報を記憶したか否かを示すビット列であり、各フェーズについて、記憶部１６０に座標情報を記憶させた場合には「１」、記憶部１６０に座標情報を記憶させなかった場合には「０」が設定される。本明細書では、記憶フラグが「１」であることをオン、「０」であることをオフという。記憶フラグの最下位のビットが、最新の記憶フラグである。
第１制御部１５０は、最新の記憶フラグがオンであると判定した場合（ステップＳ１０／ＹＥＳ）、記憶部１６０に記憶させた最新の座標情報及び判定結果をアプリケーションプログラム１６１に通知する（ステップＳ１１）。その後、第１制御部１５０は、最下位の記憶フラグをオフに変更する（ステップＳ１２）。第１制御部１５０は、記憶フラグを1ビット分ずつ上位にシフトさせ、最下位のビットの値を「０」にすることで、最下位の記憶フラグをオフにする。判定結果には、例えば、先端スイッチ５４がオンであるか否かを示す情報、検出された光点の有無を示す情報、検出した光点が、第１光１９０を撮像したものであるか第２光１８０の反射光を撮像したものであるかを示す情報、及び、指示体ＩＤを示す情報等が含まれる。これらの判定結果を得る処理については後述する。
また、第１制御部１５０は、最新の記憶フラグがオフであると判定した場合（ステップＳ１０／ＮＯ）、又は、ステップＳ１２の処理に続いて、先端スイッチ５４がオンであるか否かを判定する（ステップＳ１３）。第１制御部１５０は、先端スイッチ５４がオンであるか否の判定結果を記憶部１６０から取得する。先端スイッチ５４がオンであるか否かの判定は、ステップＳ９で実行される処理である。
第１制御部１５０は、判定結果が、先端スイッチ５４がオンであるとの判定結果であった場合（ステップＳ１３／ＹＥＳ）、現在の動作モードが第１モードであるか否かを判定する（ステップＳ１４）。第１制御部１５０は、動作モードが第１モードではなく、第２モードであると判定した場合（ステップＳ１４／ＮＯ）、ステップＳ１に戻る。
また、第１制御部１５０は、現在の動作モードが第１モードであると判定した場合（ステップＳ１４／ＹＥＳ）、動作モードを第２モードに変更し（ステップＳ１５）、照射部１３３に第２光１８０の出力を停止させる（ステップＳ１６）。その後、第１制御部１５０は、ステップＳ１の判定に戻る。
また、第１制御部１５０は、ステップＳ１３で先端スイッチ５４がオフであると判定した場合（ステップＳ１３／ＮＯ）、現在の動作モードが第２モードであるか否かを判定する（ステップＳ１７）。第１制御部１５０は、動作モードが第２モードではなく、第１モードであると判定した場合（ステップＳ１７／ＮＯ）、ステップＳ１の判定に戻る。
また、第１制御部１５０は、現在の動作モードが第２モードであると判定した場合（ステップＳ１７／ＹＥＳ）、カウンターがカウントダウン中であるか否かを判定する（ステップＳ１８）。第１制御部１５０は、カウンターがカウントダウン中ではないと判定した場合（ステップＳ１８／ＮＯ）、カウンターに所定の値をセットし、カウントダウンを開始させる（ステップＳ１９）。その後、第１制御部１５０は、ステップＳ１の判定に戻る。
また、第１制御部１５０は、ステップＳ１８の判定でカウンターがカウントダウン中であると判定した場合（ステップＳ１８／ＹＥＳ）、カウンターのカウント値が０である否かを判定する（ステップＳ２０）。第１制御部１５０は、カウンターのカウント値が０ではないと判定した場合（ステップＳ２０／ＮＯ）、ステップＳ１の判定に戻る。また、第１制御部１５０は、カウンターのカウント値が０であると判定した場合（ステップＳ２０／ＹＥＳ）、動作モードを第２モードから第１モードに変更する（ステップＳ２１）。その後、第１制御部１５０は、照射部１３３に第２光１８０の出力を再開させ（ステップＳ２２）、ステップＳ１の判定に戻る。つまり、プロジェクター１００は、第２モードで動作しているときに、描画が行われない状態が所定時間継続すると、動作モードを第１モードに変更し、第２指示体７０の指示位置の検出を再開する。
続いて、ステップＳ４、Ｓ６、Ｓ８及びＳ９について説明する。図６は、図５に示すステップＳ４の詳細、すなわち、第１制御部１５０の第１フェーズの動作を示すフローチャートである。
第１制御部１５０は、今回の第１フェーズにおいて検出された光点の有無を記憶部１６０に記憶させる（ステップＳ４０１）。第１制御部１５０は、ステップS２で光点のパネル座標の座標情報が取得され、かつ、直近の所定の期間内に第１指示体５０の光点であると判定された座標情報が記憶部１６０に記憶されている場合には、そのうち最新の座標情報と今回の座標情報とを比較する。比較の結果、今回の座標が比較対象の座標から所定範囲内にある場合に、光点が検出されたと判定し、光点があることを示す情報を記憶部１６０に記憶させる。今回の座標が所定範囲内にない場合には、光点は検出されなかったと判定し、光点が無いことを示す情報を記憶部１６０に記憶させる。ステップＳ２で光点のパネル座標の座標情報が取得され、比較対象となる座標情報が無い場合には、今回の光点はノイズではないものとして、光点があることを示す情報を記憶部１６０に記憶させる。また、第１制御部１５０は、ステップＳ２で光点が検出されなかった場合には、光点が無いことを示す情報を記憶部１６０に記憶させる。なお、光点の有無の判定結果は、連続した所定数のフェーズについての光点の有無を示す情報を含む。
次に、第１制御部１５０は、ステップＳ４０１で記憶した判定結果を参照して、今回の第１フェーズで検出された光点があるか否かを判定する（ステップＳ４０２）。
第１制御部１５０は、光点が無いと判定した場合（ステップＳ４０２／ＮＯ）、ステップＳ１０へ移行する。また、第１制御部１５０は、光点があると判定した場合（ステップＳ４０２／ＹＥＳ）、現在の動作モードが第２モードであるか否かを判定する（ステップＳ４０３）。動作モードが第２モードではなく、第１モードであると判定した場合（ステップＳ４０３／ＮＯ）、ステップＳ１０へ移行する。動作モードが第２モードであると判定した場合（ステップＳ４０３／ＹＥＳ）、直前のフェーズの記憶フラグがオフであるか否かを判定する（ステップＳ４０４）。第１フェーズにおいては、直前のフェーズは直前のステージの第４フェーズであるので、当該第４フェーズの記憶フラグについて、オフであるか否かを判定する。記憶フラグがオンである場合には、記憶フラグはオフではないと判定し（ステップＳ４０４／ＮＯ）、ステップＳ１０へ移行する。
第１制御部１５０は、記憶フラグがオフであると判定した場合（ステップＳ４０４／ＹＥＳ）、今回の第１フェーズで検出された光点の座標情報を記憶部１６０に一時的に記憶させる（ステップＳ４０５）。第１制御部１５０は、この第１フェーズで検出された光点の座標情報を、アプリケーションプログラム１６１に出力するため、記憶部１６０に一時的に記憶させる。その後、第１制御部１５０は、記憶フラグの最下位のビットをオフからオンに変更する（ステップＳ４０６）。そして、ステップＳ１０へ移行する。
図７は、図５に示すステップＳ６の詳細、すなわち、第１制御部１５０の第２フェーズの動作を示すフローチャートである。
第１制御部１５０は、今回の第２フェーズにおいて検出された光点の有無を記憶部１６０に記憶させる（ステップＳ６０１）。光点の有無の判定方法は、ステップＳ４０２と同様である。ただし、第２フェーズにおいては第１光１９０と、第２光１８０の反射光とが検出され得る。そのため、第１制御部１５０は、第２フェーズで検出された光点について、第１光１９０の光点であると判定された比較対象の座標、及び、第２光１８０の反射光の光点であると判定された比較対象の座標と比較する。そして、いずれかの座標から所定範囲内にある今回の光点を、第１光１９０又は第２光１８０の反射光の光点であると判定する。光点が１つも検出されなかった場合、及び、検出された光点が第１光１９０及び第２光１８０の反射光のいずれからも所定範囲内にないと判定された場合、光点が無いことを示す情報を記憶部１６０に記憶する。
続いて、第１制御部１５０は、ステップＳ６０１で記憶した判定結果を参照して、今回の第２フェーズで検出された光点があるか否かを判定する（ステップＳ６０２）。第１制御部１５０は、光点が無いと判定した場合（ステップＳ６０２／ＮＯ）、ステップＳ１０へ移行する。第１制御部１５０は、光点があると判定した場合（ステップＳ６０２／ＹＥＳ）、光点のパネル座標を記憶部１６０に記憶させ（ステップＳ６０３）続いて、第１制御部１５０は、記憶フラグの最下位のビットをオフからオンに変更する（ステップＳ６０４）。そして、ステップＳ１０へ移行する。
図８は、図５に示すステップＳ８の詳細、すなわち、第１制御部１５０の第３フェーズの動作を示すフローチャートである。
第１制御部１５０は、今回の第３フェーズにおいて検出された光点の有無を記憶部１６０に記憶させる（ステップＳ８０１）。ステップＳ８０１の処理は、ステップＳ４０１と同様である。
次に、第１制御部１５０は、ステップＳ８０１で記憶した判定結果を参照して、今回の第３フェーズで検出された光点があるか否かを判定する（ステップＳ８０２）。第１制御部１５０は、光点が無いと判定した場合（ステップＳ８０２／ＮＯ）、ステップＳ８０７に移行する。
また、第１制御部１５０は、光点があると判定した場合（ステップＳ８０２／ＹＥＳ）、現在の動作モードが第２モードであるか否かを判定する（ステップＳ８０３）。動作モードが第２モードではなく、第１モードであると判定した場合（ステップＳ８０３／ＮＯ）、ステップＳ１０へ移行する。動作モードが第２モードであると判定した場合（ステップＳ８０３／ＹＥＳ）、直前のフェーズの記憶フラグがオフであるか否かを判定する（ステップＳ８０４）。第３フェーズにおいては、直前のフェーズは現在のステージの第２フェーズであるので、当該第２フェーズの記憶フラグについて、オフであるか否かを判定する。記憶フラグがオンである場合には、記憶フラグはオフではないと判定し（ステップＳ８０４／ＮＯ）、ステップＳ８０７へ移行する。
第１制御部１５０は、記憶フラグがオフであると判定した場合（ステップＳ８０４／ＹＥＳ）、今回の第３フェーズで検出された光点の座標情報を記憶部１６０に記憶させる（ステップＳ８０５）。その後、第１制御部１５０は、記憶フラグの最下位のビットをオフからオンに変更する（ステップＳ８０６）。
次に、第１制御部１５０は、第１指示体５０及び第２指示体７０の光点を判定する（ステップＳ８０７）。第１制御部１５０は、第２フェーズ及び第４フェーズで光点が検出され、かつ、第１フェーズ又は第３フェーズで光点が検出された座標を、第１指示体５０の光点の座標と判定する。また、第１制御部１５０は、第２フェーズ及び第４フェーズで光点が検出され、第３フェーズでは光点が検出されなかった座標を第２指示体７０の座標と判定する。
第１制御部１５０は、判定結果を記憶部１６０に記憶させる（ステップＳ８０８）。第１制御部１５０は、光点の座標情報に、指示体が第１指示体５０であるのか、第２指示体７０であるのかを示す情報を対応づけて記憶部１６０に記憶させる。
次に、第１制御部１５０は、ステップＳ８０９において、第１指示体５０の光点と判定した座標があるか否かを、記憶部１６０に記憶させた情報を参照して判定する（ステップＳ８０９）。第１制御部１５０は、第１指示体５０の光点と判定した座標がない場合（ステップＳ８０９／ＮＯ）、ステップＳ１０の判定に移行する。また、第１制御部１５０は、第１指示体５０の光点と判定した座標がある場合（ステップＳ８０９／ＹＥＳ）、第１指示体５０に設定された指示体ＩＤを判定する（ステップＳ８１０）。
第１制御部１５０は、第１指示体５０の光点と判定した座標における過去の第３フェーズでの光点の検出結果に基づいて、第１指示体５０に設定された指示体ＩＤを判定する。例えば、第１制御部１５０は、先端スイッチ５４がオンである場合、ステップＳ８０１で記憶した判定結果と、ステップＳ８０８で記憶した判定結果と、を参照し、連続する３ステージの第３フェーズの同一座標での発光有無の情報を取得することで、１つの第１指示体５０についての発光パターンを判定する。例えば、発光パターンが記憶部１６０に予め記憶された複数の指示体ＩＤのいずれかと一致する場合、当該指示体ＩＤを、当該第１指示体５０の指示体ＩＤであると判定する。例えば、発光パターンが「００１」であり、記憶された指示体ＩＤと一致する場合、指示体ＩＤが「００１」の第１指示体５０の光点の座標であると判定する。
また、第１制御部１５０は、発光パターンがあらかじめ記憶された指示体ＩＤのいずれかの反転となっている場合、発光パターンの反転が第１指示体５０の指示体ＩＤであると判定する。例えば、発光パターンが「１１０」である場合、指示体ＩＤが「００１」の第１指示体５０の光点の座標であると判定する。
第１制御部１５０は、第１指示体５０の指示体ＩＤを判定することができた場合、判定した指示体ＩＤを座標情報に対応づけて記憶部１６０に記憶させる。また、第１制御部１５０は、指示体ＩＤを判定することができなかった場合、判定不可との情報を、座標情報に対応づけて記憶部１６０に記憶させる（ステップＳ８１１）。そして、ステップＳ１０へ移行する。
図９は、図５に示すステップＳ９の詳細、すなわち、第１制御部１５０の第４フェーズ
の動作を示すフローチャートである。
第１制御部１５０は、今回の第４フェーズにおいて検出された光点の有無を記憶部１６０に記憶させる（ステップＳ９０１）。光点の有無の判定方法は、ステップＳ６０１と同様である。続いて、第１制御部１５０は、ステップＳ９０１で記憶した判定結果を参照して、今回の第４フェーズで検出された光点があるか否かを判定する（ステップＳ９０２）。第１制御部１５０は、光点が無いと判定した場合（ステップＳ９０２／ＮＯ）、ステップＳ１０へ移行する。第１制御部１５０は、光点があると判定した場合（ステップＳ９０２／ＹＥＳ）、光点のパネル座標を記憶部１６０に記憶させる（ステップＳ９０３）。続いて、第１制御部１５０は、記憶フラグの最下位のビットをオフからオンに変更する（ステップＳ９０４）。
第１制御部１５０は、記憶フラグをオンに変更すると先端スイッチ５４がオンであるか、オフであるかを判定する（ステップＳ９０５）。第１制御部１５０は、ステップＳ８１０で得られた発光パターンが指示体ＩＤと一致している場合、先端スイッチ５４がオフであると判定する。また、第１制御部１５０は、発光パターンが、指示体ＩＤの反転と一致している場合、先端スイッチ５４がオンであると判定する。第１制御部１５０は、先端スイッチ５４の状態の判定結果を記憶部１６０に記憶させる（ステップＳ９０６）。そして、ステップＳ１０へ移行する。
以上説明したように本実施形態のプロジェクター１００は、第１モードと第２モードとを実行する第１制御部１５０を備える。
第１制御部１５０は、第１モードを実行する場合、第１指示体５０が発する第１光１９０を検出することによって、投写面１０における第１指示体５０の位置を検出することと、照射部１３３に第２光１８０を出射させ、第２光１８０が第２指示体７０で反射した反射光を検出することによって、投写面１０における第２指示体７０の位置を検出することと、を実行する。
また、第１制御部１５０は、第２モードを実行する場合、第１指示体５０が投写面１０に接触していると判定した場合に、第２光１８０の光量を減少させることと、第２光１８０の光量を減少させた状態で、第１光１９０を検出することによって、投写面１０における第１指示体５０の位置を検出することと、を実行する。
このため、第１指示体５０が投写面１０に接触していると判定した場合には、第２指示体７０の位置の検出に使用する第２光１８０の光量が減少するため、第１指示体５０が発する第１光１９０が検出しやすくなる。従って、第１指示体５０の操作の検出精度の低下を抑制することができる。
第１制御部１５０は、第２光１８０の光量を減少させる場合、照射部１３３に第２光１８０の出射を停止させる。
このため、第１指示体５０が発する第１光１９０がさらに検出しやすくなる。
第１制御部１５０は、第２光１８０の光量を減少させる場合、第２光１８０の光量を、反射光が検出されない光量に減少させる。
従って、第１指示体５０が投写面１０に接触していると判定した場合に、第２光１８０の光量が、第２指示体７０で反射した反射光を検出できない光量に減少されるため、第１指示体５０が発する第１光１９０が検出しやすくなる。従って、第１指示体５０の操作の検出精度の低下を抑制することができる。
第１制御部１５０は、第１モード及び第２モードのいずれかを選択する操作を受け付ける。
従って、ユーザーの操作により、第１制御部１５０のモードを第１モード又は第２モードに切り替えることができる。このため、ユーザーの判断に応じて、手動で第２モードに変更することで、第１指示体５０が発する第１光１９０を検出しやすくすることができる。
第１指示体５０と、照射部１３３との発光パターンには、第１期間と第２期間とが含まれる。
第１期間は、第１指示体５０が第１光１９０を発し、照射部１３３が第２光１８０の出射を停止する第１フェーズ又は第３フェーズである。
また、第２期間は、第１指示体５０が第１光１９０を発し、第１モードにおいて照射部１３３が第２光１８０を出射する第２フェーズ及び第４フェーズである。
第１制御部１５０は、第１フェーズ又は第３フェーズにおいて第１光１９０が検出されたか否かを判定する。
第１指示体５０の位置を検出することは、第２フェーズ又は第４フェーズにおいて第１指示体５０が検出されたと判定した場合に、第２フェーズ又は第４フェーズにおいて検出された光の位置に基づき、第１指示体５０の位置を出力する。
従って、第１モードにおいては、第２フェーズ又は第４フェーズにおいて第１光１９０が検出された場合、第２フェーズ又は第４フェーズにおいて検出された光の位置に基づき、第１指示体５０の位置を出力するため、第１指示体５０の位置を検出することができる。
また、第１制御部１５０は、第１指示体５０の位置を検出することは、第１フェーズ又は第３フェーズにおいて検出された第１光１９０の位置に基づき、第１指示体５０の位置を出力する。
従って、第２モードにおいて、第２光１８０が出射されない第１フェーズ又は第３フェーズにおいて検出された第１光１９０の位置に基づき、第１指示体５０の位置を出力するため、第１指示体５０の位置の検出精度を高めることができる。
プロジェクションシステム１は、第１光１９０を発する第１指示体５０と、第２光１８０を出射する照射部１３３と、第１指示体５０が発する第１光１９０を検出することによって、投写面１０における第１指示体５０の位置を検出することと、第２光１８０が第２指示体７０で反射した反射光を検出することによって、投写面１０に対する第２指示体７０の位置を検出することと、を含む第１モードと、第１指示体５０が投写面１０に接触していると判定した場合に、第２光１８０の光量を減少させることと、第２光１８０の光量を減少させた状態で、第１光１９０を検出することによって、投写面１０における第１指示体５０の位置を検出することと、を含む第２モードと、で動作する第１制御部１５０と、第１指示体５０の位置、又は第２指示体７０の位置に基づいて、投写面１０に画像光を投写する光学装置と、を含む。
このため、第１指示体５０が投写面１０に接触している場合には、第２指示体７０の位置の検出に使用する第２光１８０の光量が減少するため、第１指示体５０が発する第１光１９０が検出しやすくなる。従って、第１指示体５０の操作の検出精度の低下を抑制することができる。
上述した実施形態は本発明の好適な実施の形態である。ただし、この実施形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の変形実施が可能である。
例えば、上述した実施形態では、プロジェクター１００が照射部１３３及び撮像部１３５を備える構成について説明したが、照射部１３３及び撮像部１３５の少なくとも一方を別体の発光装置としてプロジェクター１００の外部に設けてもよい。また、第１制御部１５０の機能の一部が、プロジェクター１００の外部に設けられた別体の装置に搭載されていてもよい。プロジェクター１００の外部にこれらの構成が設けられる場合には、それぞれ独立した装置としてもよく、これらの構成のうち２以上を含む装置としてもよい。
また、上述した実施形態では、プロジェクター１００を、透過型液晶パネルを用いた液晶プロジェクターとして説明したが、反射型の液晶パネルやデジタルミラーデバイスを用いたプロジェクターであってもよい。
また、図３に示す第１指示体５０の各機能部は、ハードウェアとソフトウェアとの協働により実現される機能的構成を示すものであって、具体的な実装形態は特に制限されない。従って、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上記実施形態においてソフトウェアで実現されている機能の一部をハードウェアで実現してもよく、また、ハードウェアで実現されている機能の一部をソフトウェアで実現してもよい。
また、例えば、図３に示す第１指示体５０の構成において、受信部５３、第２制御部５８、電源部５７及び先端スイッチ５４の少なくとも一部を、集積回路やその他のディジタル回路により構成してもよいし、各部の少なくとも一部にアナログ回路が含まれてもよい。集積回路は、ＬＳＩ（Large Scale Integration），ＡＳＩＣ、ＰＬＤ（Programmable Logic Device）を含む。ＰＬＤは、例えば、ＦＰＧＡを含む。上記各部は、プロセッサーと集積回路との組み合わせであっても良い。組み合わせは、例えば、ＭＣＵ（Micro Control Unit）、ＳｏＣ（System-on-a-Chip）、システムＬＳＩ、チップセットなどと呼ばれる。
また、図３に示すプロジェクター１００の構成において、送信部１３１、照射部１３３、及び第１制御部１５０の少なくとも一部を、集積回路ＩＣやその他のディジタル回路により構成してもよいし、各部の少なくとも一部にアナログ回路が含まれてもよい。また、上記各部をプロセッサーと集積回路との組み合わせにより構成してもよい。
また、上述した指示体の検出方法を実現するためにコンピューターが実行するプログラム、このプログラムを前記コンピューターで読み取り可能に記録した記録媒体、或いは、このプログラムを伝送する伝送媒体の態様で構成することも可能である。
また、図５～図９に示すフローチャートの処理単位は、第１制御部１５０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、図５～図９のフローチャートに示す処理単位の分割の仕方や名称によって本発明が制限されることはない。また、第１制御部１５０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
１…プロジェクションシステム、５…リモコン、１０…投写面、２０…投写領域、５０、５０Ａ、５０Ｂ…第１指示体、５１…先端部、５２…軸部、５３…受信部、５４…先端スイッチ、５５…発光部、５７…電源部、５８…第２制御部、７０…第２指示体、１００…プロジェクター、１１０…画像生成部、１１５…画像記憶部、１２０…投写部、１２１…光源、１２３…光変調装置、１２５…光学ユニット、１３１…送信部、１３３…照射部、１３５…撮像部、１４０…受光部、１５０…第１制御部、１６０…記憶部、１６１…アプリケーションプログラム、１６３…キャリブレーションデータ、１６５…プロセッサー、１７０…信号光、１８０…第２光、１９０…第１光。

Claims (7)

  1. 第１指示体が発する第１光を検出することによって、操作面における前記第１指示体の
    位置を検出することと、
    発光装置が第２光を出射することと、
    前記第２光が第２指示体で反射した反射光を検出することによって、前記操作面におけ
    る前記第２指示体の位置を検出することと、
    を含む第１モードと、
    前記第１指示体が前記操作面に接触していると判定した場合に、前記第２光の光量を減
    少させることと、
    前記第２光の光量を減少させた状態で、前記第１光を検出することによって、前記操作
    面における前記第１指示体の位置を検出することと、
    を含む第２モードと、
    前記第２モードにおいて前記第１指示体による前記操作面への描画が行われない状態が
    所定時間継続したとき、前記第２モードから前記第１モードに変更することと、
    を含む、指示体の検出方法。
  2. 前記第２光の光量を減少させることは、前記発光装置が前記第２光の出射を停止するこ
    とである、請求項１記載の指示体の検出方法。
  3. 前記第２光の光量を減少させることは、前記第２光の光量を、前記反射光が検出されな
    い光量に減少させることである、請求項１記載の指示体の検出方法。
  4. 前記第１モード及び前記第２モードのいずれかを選択する操作を受け付けることをさら
    に含む、請求項１から３のいずれか一項に記載の指示体の検出方法。
  5. 前記第１指示体と前記発光装置とが、
    前記第１指示体が前記第１光を発し、前記発光装置が前記第２光の出射を停止する第
    １期間と、
    前記第１指示体が前記第１光を発し、前記第１モードにおいて前記発光装置が前記第
    ２光を出射する第２期間と、
    を含む発光パターンで発光することと、
    前記第１期間において前記第１光が検出されたか否かを判定することと、をさらに含み
    、
    前記第１モードにおいて前記第１指示体の位置を検出することは、前記第１光が検出さ
    れたと判定した場合に、前記第２期間において検出された光の位置に基づいて、前記第１
    指示体の位置を出力することを含む、請求項１から４のいずれか一項に記載の指示体の検
    出方法。
  6. 前記第２モードにおいて前記第１指示体の位置を検出することは、前記第１期間におい
    て検出された前記第１光の位置に基づいて、前記第１指示体の位置を出力すること、を含
    む請求項５記載の指示体の検出方法。
  7. 第１光を発する第１指示体と、
    第２光を出射する発光装置と、
    前記第１指示体が発する第１光を検出することによって、操作面における前記第１
    指示体の位置を検出することと、
    前記第２光が第２指示体で反射した反射光を検出することによって、前記操作面に
    対する前記第２指示体の位置を検出することと、
    を含む第１モードと、
    前記第１指示体が前記操作面に接触していると判定した場合に、前記第２光の光量
    を減少させることと、
    前記第２光の光量を減少させた状態で、前記第１光を検出することによって、前記
    操作面における前記第１指示体の位置を検出することと、
    を含む第２モードと、
    で動作する制御部と、
    前記第１指示体の位置、又は前記第２指示体の位置に基づいて、前記操作面に画像光を
    投写する光学装置と、
    を含み、
    前記制御部は、前記第２モードにおいて前記第１指示体による前記操作面への描画が行
    われない状態が所定時間継続したと判定したとき、前記制御部の動作モードを、前記第２
    モードから前記第１モードに変更する、
    プロジェクションシステム。
JP2021056783A 2021-03-30 2021-03-30 指示体の検出方法及びプロジェクションシステム Active JP7338659B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021056783A JP7338659B2 (ja) 2021-03-30 2021-03-30 指示体の検出方法及びプロジェクションシステム
US17/706,875 US11543920B2 (en) 2021-03-30 2022-03-29 Indicator detection method and projection system
CN202210315932.XA CN115145409A (zh) 2021-03-30 2022-03-29 指示体的检测方法和投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021056783A JP7338659B2 (ja) 2021-03-30 2021-03-30 指示体の検出方法及びプロジェクションシステム

Publications (2)

Publication Number Publication Date
JP2022153981A JP2022153981A (ja) 2022-10-13
JP7338659B2 true JP7338659B2 (ja) 2023-09-05

Family

ID=83406715

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021056783A Active JP7338659B2 (ja) 2021-03-30 2021-03-30 指示体の検出方法及びプロジェクションシステム

Country Status (3)

Country Link
US (1) US11543920B2 (ja)
JP (1) JP7338659B2 (ja)
CN (1) CN115145409A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207910A1 (en) 2009-02-19 2010-08-19 Quanta Computer, Inc. Optical Sensing Screen and Panel Sensing Method
WO2015052765A1 (ja) 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
JP2015159523A (ja) 2014-01-21 2015-09-03 セイコーエプソン株式会社 プロジェクター、表示装置、プロジェクションシステム、及び、プロジェクターの制御方法
JP2016122382A (ja) 2014-12-25 2016-07-07 株式会社リコー システム、描画方法、情報処理装置、プログラム
JP2018160265A (ja) 2014-01-21 2018-10-11 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013104060A1 (en) * 2012-01-11 2013-07-18 Smart Technologies Ulc Interactive input system and method
JP6413236B2 (ja) 2013-12-20 2018-10-31 セイコーエプソン株式会社 プロジェクター、プロジェクションシステム、及び、プロジェクターの制御方法
JP6326895B2 (ja) 2014-01-21 2018-05-23 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
TWI511008B (zh) * 2014-05-26 2015-12-01 Wistron Corp 偵測觸控方法及其光學觸控系統
WO2016075796A1 (ja) * 2014-11-13 2016-05-19 日立マクセル株式会社 投射型映像表示装置および映像表示方法
JP6477131B2 (ja) * 2015-03-27 2019-03-06 セイコーエプソン株式会社 インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法
JP2017009829A (ja) 2015-06-23 2017-01-12 株式会社リコー 画像投影装置、画像投影システムおよび映像供給装置
WO2017061213A1 (ja) * 2015-10-06 2017-04-13 ソニー株式会社 投射型表示装置および画像補正方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100207910A1 (en) 2009-02-19 2010-08-19 Quanta Computer, Inc. Optical Sensing Screen and Panel Sensing Method
WO2015052765A1 (ja) 2013-10-08 2015-04-16 日立マクセル株式会社 投射型映像表示装置、操作検出装置及び投射型映像表示方法
JP2015159523A (ja) 2014-01-21 2015-09-03 セイコーエプソン株式会社 プロジェクター、表示装置、プロジェクションシステム、及び、プロジェクターの制御方法
JP2018160265A (ja) 2014-01-21 2018-10-11 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
JP2016122382A (ja) 2014-12-25 2016-07-07 株式会社リコー システム、描画方法、情報処理装置、プログラム

Also Published As

Publication number Publication date
JP2022153981A (ja) 2022-10-13
US11543920B2 (en) 2023-01-03
US20220317804A1 (en) 2022-10-06
CN115145409A (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
JP6417690B2 (ja) プロジェクター、表示装置、及び、プロジェクターの制御方法
JP6326895B2 (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
JP6111706B2 (ja) 位置検出装置、調整方法、および調整プログラム
JP6349838B2 (ja) 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
JP6387644B2 (ja) 位置検出装置、位置検出システム、及び、位置検出方法
JP2015158887A (ja) 位置検出システム、及び、位置検出システムの制御方法
JP6375660B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP6562124B2 (ja) 位置検出システム、及び、位置検出システムの制御方法
US9733728B2 (en) Position detecting device and position detecting method
CN110333788B (zh) 操作器件、位置检测系统和操作器件的控制方法
JP7338659B2 (ja) 指示体の検出方法及びプロジェクションシステム
JP6569259B2 (ja) 位置検出装置、表示装置、位置検出方法、及び、表示方法
JP2020074089A (ja) 電子デバイス、及び電子デバイスの制御方法
JP2017167789A (ja) 電子デバイス、及び電子デバイスの制御方法
JP6287432B2 (ja) 操作デバイス、位置検出システム、及び、操作デバイスの制御方法
US11778152B2 (en) Method of controlling projector and projector
JP6291912B2 (ja) 位置検出装置、及び、位置検出方法
JP6291911B2 (ja) 位置検出装置、及び、位置検出方法
JP6787363B2 (ja) 操作デバイス、位置検出システム及び操作デバイスの制御方法
JP6340860B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP6524741B2 (ja) 位置検出装置、表示装置、位置検出装置の制御方法、及び、表示装置の制御方法
JP6337558B2 (ja) 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法
JP2017134730A (ja) プロジェクターおよび位置検知方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20211104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230307

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230807

R150 Certificate of patent or registration of utility model

Ref document number: 7338659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150