[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6946010B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6946010B2
JP6946010B2 JP2017015519A JP2017015519A JP6946010B2 JP 6946010 B2 JP6946010 B2 JP 6946010B2 JP 2017015519 A JP2017015519 A JP 2017015519A JP 2017015519 A JP2017015519 A JP 2017015519A JP 6946010 B2 JP6946010 B2 JP 6946010B2
Authority
JP
Japan
Prior art keywords
image
template
layout
image data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017015519A
Other languages
English (en)
Other versions
JP2018125660A (ja
Inventor
水城 早川
水城 早川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017015519A priority Critical patent/JP6946010B2/ja
Priority to US15/869,218 priority patent/US10789745B2/en
Publication of JP2018125660A publication Critical patent/JP2018125660A/ja
Application granted granted Critical
Publication of JP6946010B2 publication Critical patent/JP6946010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00143Ordering
    • H04N1/00145Ordering from a remote location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00161Viewing or previewing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00196Creation of a photo-montage, e.g. photoalbum

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、画像データをフォトアルバムのテンプレートに自動レイアウトする技術に関する。
従来、フォトアルバムを自動作成するために、画像データの特徴に基づいて、画像データをテンプレートにレイアウトする技術が知られている(特許文献1)。
また、画像がレイアウトされたテンプレートを変更する場合に、メイン画像の位置やサイズを変更しないで、テンプレートの特徴を保つ技術が知られている(特許文献2)。
特開2010−72934号公報 特開2007−49518号公報
しかしながら、ユーザーが、テンプレートにレイアウトされた画像を入れ替えるなどの編集をした後に、再びレイアウト処理を行うと、ユーザーによる編集結果(すなわち、ユーザーが編集した内容)が破棄されてしまうという問題があった。
本発明の一実施形態における情報処理装置は、画像データをテンプレートにレイアウトするレイアウト手段と、前記レイアウト手段によるレイアウト結果に対してユーザーにより編集される前の前記画像データの画像識別子及び編集された後の前記画像データの画像識別子を対応付けて記憶する記憶手段と、前記画像データを前記レイアウト手段によって再レイアウトする場合、前記編集した内容を再レイアウト結果に反映する反映手段とを有することを特徴とする。
本発明によると、ユーザーが、テンプレートに配置された画像を入れ替えるなどの編集をした後に、再びレイアウト処理を行った場合にも、ユーザーによる編集結果を再レイアウト結果に反映させることができる。
実施形態1におけるフォトアルバム作成システムの構成図である。 実施形態1における情報処理装置の(a)ソフトウェア構成図と(b)機能ブロック図である。 実施形態1における自動レイアウト処理のフローチャートである。 実施形態1におけるテンプレートデータ描画図である。 実施形態1におけるテンプレートデータ表を示す図である。 実施形態1における画像データ表を示す図である。 実施形態1における自動レイアウト計算表を示す図である。 実施形態1における自動レイアウト結果表を示す図である。 実施形態1における自動レイアウト結果の描画図である。 実施形態1における編集操作のフローチャートである。 実施形態1における編集操作のためのユーザーインターフェースを示す図である。 実施形態1における編集後の自動レイアウト結果表を示す図である。 実施形態1における編集結果の描画図である。 実施形態1における再レイアウト処理のフローチャートである。 実施形態1における再レイアウト退避表を示す図である。 実施形態1における再レイアウト処理のテンプレートデータ描画図である。 実施形態1における再レイアウト処理のテンプレートデータ表を示す図である。 実施形態1における再レイアウト計算表を示す図である。 実施形態1における再レイアウト処理の途中経過の描画図である。 実施形態1における再レイアウト処理の過程及び再レイアウト結果表を示す図である。 実施形態1における再レイアウト結果の描画図である。 実施形態2における再レイアウト処理のフローチャートである。 実施形態2におけるテンプレートデータ表を示す図である。 実施形態2における再レイアウト処理の過程および変換テーブルを示す図である。 実施形態2における再レイアウト結果の描画図である。
以下、添付図面を参照して、本発明の好適な実施形態を詳しく説明する。なお、以下の実施の形態は、特許請求の範囲に関わる本発明を限定するものでなく、また、本実施の形態で説明されている特徴の組み合わせすべてが本発明の解決手段に必須のものとは限らない。
<実施形態1>
図1は、本実施形態におけるフォトアルバム作成システムの構成を示す。情報処理装置1004は、入力された画像データを含むアルバムデータを作成することができる。また、作成したアルバムデータを印刷データとしてプリンタ1005に出力することや、ネットワーク1003を介して外部サーバー1002にアップロードすることができる。
情報処理装置1004は、ROM(リードオンリーメモリ)1009、RAM(ランダムアクセスメモリ)1010、及びCPU(中央演算装置)1011を有する。また、プリンタ1005、モニタ1006、入力装置1007、記憶装置1008、及びネットワーク1003と接続するための入出力インターフェース(不図示)を有する。
CPU1011は、記憶装置1008、ROM1009、またはRAM1010に記憶されているオペレーションシステムプログラム(以下、OSと略す)を実行することにより、情報処理装置1004全体の制御を行う。また、CPU1011は、ROM1009やRAM1010に記憶されているプログラムを実行することによって、情報処理装置1004の各機能構成の実現や情報の演算、加工、各ハードウェアの制御を実行する。
ROM1009は読み出し専用メモリであり、各プログラムが格納されている。RAM1010は、CPU1011のワークメモリである。不揮発性のRAMであれば各プログラムが格納されている。
ネットワーク1003は、情報処理装置1004と、外部サーバー1002とを接続し、それぞれの情報の伝達を行う。外部サーバー1002は、プリンタ1001と接続するための入出力インターフェース(不図示)を有しており、プリンタ1001が接続されている。
情報処理装置1004で作成したアルバムデータは、ネットワーク1003を介して外部サーバー1002にアップロードされる。外部サーバー1002では、アップロードされたアルバムデータが印刷可能であれば、プリンタ1001に出力する。外部サーバー1002は、例えばアルバムの受注・管理サーバーである。すなわち、ユーザーが自身の情報処理装置1004で作成したアルバムデータをアップロードし、不図示のウェブブラウザなどを介して必要なアルバム購入手続きを取ると、アルバムデータがプリンタ1001によって印刷される。その後、プリンタ1001によって印刷された印刷物は製本され、ユーザーに届けられる。
情報処理装置1004に接続されたプリンタ1005は、情報処理装置1004で作成されたアルバムデータを印刷するためのプリンタである。一実施形態では、ユーザーが作成したアルバムデータをユーザー自身が所有しているプリンタ1005で印刷し、ユーザーが製本し、アルバムに仕上げてもよい。モニタ1006は、情報処理装置1004において出力された画像情報を表示する表示装置である。入力装置1007は、情報処理装置1004に入力を行うためのキーボードやポインティングデバイスなどの入力装置である。一実施形態では、入力装置1007はモニタ1006と一体となっており、ユーザーがモニタ1006に直接触れることで入力する構成の装置もある。記憶装置1008は、画像データやアルバムのテンプレートなどを保存するHDD(ハードディスクドライブ)やSSD(ソリッドステートドライブ)などの記憶装置である。
図1では、情報処理装置1004と、モニタ1006、入力装置1007、及び記憶装置1008とが別の装置として記載されているが、一実施形態では、情報処理装置1004と各装置は一体化されている。すなわち、情報処理装置1004の構成物としてモニタ、入力装置、及び記憶装置(情報処理装置のRAMと共有となる場合もある)が含まれてもよい。
図2は、本実施形態における情報処理装置1004の(a)ソフトウェア構成図と(b)機能ブロック図を示す。図2(a)に示されるように、情報処理装置1004は、OS2001、アルバム作成アプリケーション2002、及びウェブブラウザアプリケーション2003等を含んで構成される。これらのソフトウェアの機能は、情報処理装置1004のCPU1011がROM1009、RAM1010、または記憶装置1008に格納された各プログラムを読み出して実行することにより実現される。
OS2001は、上述したように、CPU1011によって実行されると情報処理装置1004全体の制御を行う。
アルバム作成アプリケーション2002は、CPU1011によって実行されると、RAM1010や記憶装置1008に格納された画像データや、アルバムのテンプレートを読み出し、ユーザー操作に従って、アルバムデータを生成する。すなわち、アルバム作成アプリケーション2002は、CPU1011によって実行されると、情報処理装置1004における各機能を実現するための手段として機能する。また、アルバム作成アプリケーション2002は、アルバムデータを生成するための種々のユーザーインターフェース(以下、UIとも呼ぶ)を提供する。ユーザーは、アルバム作成アプリケーション2002が提供するユーザーインターフェースに従って、アルバム作成のための作業を行うことができる。
ウェブブラウザアプリケーション2003は、CPU1011によって実行されると、ユーザーがネットワーク1003を介して外部サーバー1002にアクセスすることを可能にする。例えば、上述したように、ユーザーは、ウェブブラウザアプリケーション2003を利用して外部サーバー1002にアクセスし、アルバム購入手続き等を取ることができる。
また、図2(b)に示すように、本実施形態における情報処理装置1004は、アルバム作成アプリケーション2002をCPU1011が実行することにより、以下の処理部を実装する。
画像解析部2010は、アルバムにレイアウトするための複数の画像ファイル(複数の画像データ)の解析及びスコアリングを行い、その結果(解析スコア)をRAM1010または記憶装置1008に記憶する。たとえば、画像メタ情報に格納されているレーティング情報を使用する方法や、顔検出結果や画像のヒストグラム、周波数解析によって独自の基準を使用する方法がある。
ファイル分割部2011は、複数の画像ファイルをアルバムのページごとに分割する。たとえば、ページごとに均等に画像を割り当てる方法や、画像の撮影日時によりクラスタリングを行い、各クラスターをページごとに割り当てる方法などがある。
自動レイアウト処理部2012は、分割された複数の画像ファイルをテンプレートにレイアウトする。すなわち、レイアウト手段として機能する。具体的には、画像ファイルに適したテンプレートを選択し、選択されたテンプレートの各スロットに各画像ファイルを割り当てる。
編集結果保持部2013は、レイアウト結果に対するユーザーの編集結果(すなわち、ユーザーが編集した内容)を保持するように機能する。具体的には、ユーザーが編集した内容を記憶装置1008などの記憶手段に記憶し、退避させる。また、編集結果保持部2013は、再レイアウト結果に対して、記憶装置1008などの記憶手段に記憶されたユーザーが編集した内容を反映させる。すなわち、ユーザーが編集した内容の反映手段としても機能する。
なお、情報処理装置1004の機能は上述した機能に限定されるものではなく、その他の機能を有してもよい。
図3は、情報処理装置1004における画像データの自動レイアウト処理のフローチャートを示す。以下の処理は、情報処理装置1004がアルバム作成アプリケーション2002を実行することにより実施される。
ステップS3001において、ユーザーは、アルバム作成アプリケーション2002が提供するUIに従って、アルバムのページ数と、テンプレートを選択する。テンプレートは、事前にデザイナーなどが作成したものをテンプレートデータとして記憶装置1008に格納したものである。以下の説明では、1つのテンプレートは、アルバムの見開き1ページに対応するものとし、ページ内の画像のレイアウト情報、すなわち、画像データをレイアウトするためのスロット情報を含む。
図4は、それぞれのテンプレートデータに基いて描画された4つのテンプレートA−1、B−1、C−1、D−1の描画図である。各テンプレートは、画像データが割り当てられるスロットを含む。例えば、テンプレートA−1には、4つのスロット4001、4002、4003、4004が含まれる。以下の説明では、これらの4つのテンプレートがユーザーによって選択されたものとする。
図5に示したテンプレートデータ表は、上述した4つのテンプレートA−1、B−1、C−1、D−1のそれぞれに含まれる各スロットの座標値(位置及び大きさ)、並びに優先度などを格納している。
なお、上述した各テンプレートは4つのスロットを含むが、スロット数はこれに限定されるものではなく、各テンプレートのスロット数は異なってもよい。
ステップS3002において、ユーザーは、アルバム作成アプリケーション2002が提供するUIに従って、画像ファイルが格納されているフォルダーを選択する。選択されるフォルダーは、記憶装置1008上にあってもよいし、情報処理装置1004に接続された外部メモリ上にあってもよい。
ステップS3003において、情報処理装置1004は、ユーザーが選択したフォルダーから画像ファイルを取得し、画像解析部2010によって画像の解析及びスコアリングを行い、その結果(解析スコア)を記憶する。図6に、スコアリング結果などを格納する画像データ表を示す。画像データ表には、画像ファイルの画像識別子(画像ID)、撮影日時、画像データ、解析スコア(スコアリング結果)などが含まれる。スコアリングは、画像メタ情報に格納されているレーティング情報を使用して行われたり、顔検出結果や画像のヒストグラム、周波数解析によって独自の基準を使用して行われたりする。また、画像データは、Binary Large Object(以下、BLOB)形式など、データベースに格納できる形式に変換され、画像データ表に格納される。図6では一例として、7つの画像ファイルのスコアリング結果を示している。
ステップS3004において、情報処理装置1004は、ファイル分割部2011によって複数の画像ファイルをページごとに分割する。たとえば、ページごとに均等に画像を割り当てる方法や、画像の撮影日時によりクラスタリングを行い、各クラスターをページごとに割り当てる方法などがある。以下では、説明を単純化する為、図6の画像データ表に含まれる画像ファイルを、任意の1ページに配置するために分割された画像ファイルとする。
なお、解像度の低い画像ファイルを用いてアルバムを作成すると印刷の品質が低下してしまうため、所定の解像度以下の画像ファイルは、分割から除外される。また、画像ファイルの除外は、ステップS3003における画像の解析及びスコアリング処理において行ってもよい。この場合、所定の解像度以下の画像ファイルは、画像データ表に登録されず、所定の解像度以下のファイルが除外された画像データ表に基づいて画像ファイルの分割処理が行われる。
ステップS3005において、情報処理装置1004は、任意の1ページ(通常は最初の1ページ)について、分割された画像ファイルをテンプレートにレイアウトする。すなわち、自動レイアウト処理部2012が、レイアウト手段として機能する。ここでは、分割された画像ファイルに適したテンプレートが選択され、選択されたテンプレートの各スロットに画像ファイルが割り当てられる。
図7は、画像ファイルを自動的にレイアウトするための自動レイアウト計算表を示す。以下では、図7の自動レイアウト計算表を参照して、ステップS3005における処理を詳細に説明する。
まず、情報処理装置1004は、ステップS3001で選択された各テンプレートがそれぞれ4つのスロットを含むため、図6の画像データ表から、解析スコアが高い順に4つの画像データを取得し、撮影日時順に並び替える。具体的には、図6の画像データ表から、スコアの高い順に、画像ID004(スコア85)、画像ID002(スコア81)、画像ID005(スコア39)、画像ID006(スコア36)の4つの画像ファイルが取得される。これらの画像データを撮影日時順に並び替えると、画像ID002(スコア81)、画像ID004(スコア85)、画像ID005(スコア39)、画像ID006(スコア36)の順になる。情報処理装置1004は、ここまでの処理で、図7の自動レイアウト計算表の1列目の「画像ID」、及び2列目の「スコア」に値を格納する。
次に、情報処理装置1004は、図5のテンプレートデータ表から、各テンプレートに含まれる各スロットの「優先度」を取得し、「スロットID(スロット識別子)」の順番に従って図7の自動レイアウト計算表にセットする。具体的には、図7の自動レイアウト計算表の3列目、5列目、7列目、9列目の各テンプレートの「優先度」に値が格納される。
次に、情報処理装置1004は、図7の自動レイアウト計算表の2列目の画像データの「スコア」と、3列目、5列目、7列目、9列目の各テンプレートの「優先度」を掛け合わせる。情報処理装置1004は、図7の自動レイアウト計算表の4列目、6列目、8列目、10列目の各テンプレートの「計算値」に、「スコア」と「優先度」を掛け合わせた値を格納する。
次に、情報処理装置1004は、テンプレート毎に「計算値」の合計値を算出し、「合計」の行に格納する。このように、画像データの解析スコアと、各テンプレートのスロット毎にセットされた優先度とを掛け合わせた値の合計値が求まる。
次に、情報処理装置1004は、合計値が最も大きいテンプレートを選択する。本実施形態では、テンプレートB−1の合計値(411)が最も高いので、テンプレートB−1が選択される。
最後に、情報処理装置1004は、図7の自動レイアウト計算表の「画像ID」と、選択されたテンプレートの各「スロットID」とを対応づけて記憶する。図8は、自動的にレイアウトした「自動レイアウト画像ID」と「スロットID」とを対応付けた自動レイアウト結果表を示す。図8の自動レイアウト結果表では、単純に図5のテンプレートデータ表のテンプレートB−1に含まれるスロットIDを上から順に取得し、図7の自動レイアウト計算表に含まれる画像IDを上から順に取得し、それらが対応付けて格納されている。図9に、図8の自動レイアウト結果表に基づくテンプレートB−1の描画図を示す。図示されるように、テンプレートデータに基づき、スロット4011、4012、4013、4014のそれぞれに、画像ID(画像識別子)002、004、005、006の画像データが描画される。なお、図8の自動レイアウト結果表に含まれる「編集画像ID」は、後述するフォトアルバム編集操作時に使用される。
このようにして、ステップS3005では、ユーザーが選択したテンプレートの中から、分割された画像ファイルに適したテンプレートが自動的に選択され、画像ファイルが自動的にレイアウトされる。
ステップS3006において、情報処理装置1004は、アルバムの全ページのレイアウトが完了したか判定する。全ページのレイアウトが完了していなければ、ステップS3005に戻り、次ページについて処理を繰り返す。一方、全ページのレイアウトが完了していれば、処理を終了する。
以上のフロー処理により、テンプレートに対して画像ファイルを自動的に割り振り、レイアウトすることが可能となる。
図10は、ユーザーによる編集操作のフローチャートを示す。以下では、図10を参照して、ユーザーによるフォトアルバムの編集操作について詳細に説明する。ユーザーによる編集操作は、アルバム作成アプリケーション2002が提供するUI上で行われる。また、ユーザーによる編集操作として、ここでは、自動レイアウトされた画像ファイルを、別の画像ファイルに入れ替える編集操作について説明する。
ステップS10001において、ユーザーは、選択したページ上で、入れ替える画像ファイルのスロットを選択する。
ステップS10002において、ユーザーは、ステップS10001で選択したスロットに入れ替えるための別の画像ファイルを選択する。たとえば、情報処理装置1004は、図11のユーザーインターフェースに示したように、記憶装置1008内の画像ファイルをサムネイル表示し、ユーザーに選択させることができる。なお、図11では、テンプレートB−1のスロット4012が選択され、画像ID004が入れ替えられる。そのほか、スロット間の画像入れ替えであれば、ユーザーが別のスロットを選択し、別のスロットに指定されている画像ファイルを選択することもできる。
ステップS10003において、情報処理装置1004は、画像ファイルの入れ替え処理を行い、図12に示すように、自動レイアウト結果表に入れ替えた画像ファイルの画像識別子(画像ID)を格納する。ユーザーインターフェース上では、ユーザーが選択したスロットに、ユーザーが選択した別の画像ファイルが表示された状態となる。
図12は、編集後の自動レイアウト結果表を示す。ここでは、テンプレートB−1のスロット4012、4013の画像ファイル(画像ID004、005)がそれぞれ、画像ID001、003の画像ファイルで入れ替えられたことを示している。すなわち、図8の自動レイアウト結果表の「編集画像ID」に、入れ替えた別の画像ファイルの画像ID(画像識別子)が格納されている。このようにして、フォトアルバム編集処理が完了する。
図13に、図12のフォトアルバム編集後の自動レイアウト結果表に基づくテンプレートB−1の描画図を示す。図示されたように、スロット4012、スロット4013は、「編集画像ID」がセットされているため、「自動レイアウト画像ID」で指定された画像ではなく、編集画像ID001、003の画像ファイルが描画されている。一方、スロット4011、スロット4014は、「編集画像ID」がセットされていないため、自動レイアウト画像ID002、006で指定された画像ファイルが描画されている。
以上の処理を繰り返し、ユーザーは、自動レイアウトされた画像ファイルを入れ替えることができる。
図14は、本実施形態における再レイアウト処理のフローチャートを示す。以下では、図14を参照して、画像ファイルを入れ替えた後に再び画像ファイルを自動レイアウトする処理について説明する。また、以下の処理は、情報処理装置1004がアルバム作成アプリケーション2002を実行することにより実施される。
ステップS14001において、情報処理装置1004は、図12のフォトアルバム編集後の自動レイアウト結果表から、「自動レイアウト画像ID」と、編集結果の「編集画像ID」を取り出し、退避させる。すなわち、編集結果保持部2013が、ユーザーが編集した内容を記憶装置1008などの記憶手段に記憶する。図15は、取り出した「自動レイアウト画像ID」と「編集画像ID」を退避させるための再レイアウト退避表を示す。退避が必要なデータは、「編集画像ID」が指定されたデータであり、図12の自動レイアウト結果表から、スロット4012、スロット4013のデータが取り出される。そして、編集前の画像ファイルの画像識別子である「自動レイアウト画像ID」と、編集後の画像ファイルの画像識別子である「編集画像ID」とが対応付けられ、セットで保持される。
ステップS14002において、情報処理装置1004は、1ページを再レイアウトする。すなわち、自動レイアウト処理部2012が、レイアウト手段として機能する。ここでは、種類の異なるテンプレートや、スロット数を増減させたテンプレートなどが使用される。ここで図3のステップS3005における自動レイアウト処理と同じテンプレートを使用しても、レイアウト結果は変わらないためである。また、テンプレート自体のサイズや形を変更する場合は、変更したサイズや形のテンプレートが使用される。たとえば、1ページが正方形のテンプレートを、縦長の長方形や横長の長方形に変更する場合、縦長の長方形や横長の長方形のテンプレートが使用される。そのほか、図3のステップS3003におけるスコアリングの基準を変化させたり、図5のテンプレートデータの優先度を変化させたりすることで、異なるレイアウト結果を得ることができる。本実施形態では、一例として、図16及び図17に示すようなそれぞれが5つのスロットを含むテンプレートA−2、B−2、C−2、D−2が使用されるものとする。
画像ファイルを複数のテンプレートに自動レイアウトする処理は、図3のステップS3005と同じであるため説明は省略し、図18に、処理結果である再レイアウト計算表を示す。また、再レイアウト処理の途中経過の参考として、図19に、図18の再レイアウト計算表に基づいて自動的に選択されたテンプレートB−2の描画結果を示す。図19の描画結果と図12の編集結果とを比較すると、再び自動レイアウト処理がなされた結果、ユーザーが画像ファイルを入れ替えた編集結果は破棄されていることがわかる。本発明は、このような場合でも、ユーザーが画像ファイルを入れ替えた編集結果を保持して、レイアウト結果に反映させる。
ステップS14003において、情報処理装置1004は、ステップS14001で退避したデータ(すなわち、ユーザーが編集した内容である退避情報)を、ステップS14002において再レイアウトする場合に再レイアウト結果に反映させる。すなわち、編集結果保持部2013が、編集結果の反映手段として機能する。具体的には、情報処理装置1004は、ステップS14002における再レイアウト結果から、図15の再レイアウト退避表に退避した「自動レイアウト画像ID」が割り当てられているスロットを特定する。次いで、特定したスロットの「編集画像ID」として、図15の再レイアウト退避表に退避した「編集画像ID」を登録する。以下では、図20に示した再レイアウト処理の過程及び再レイアウト結果表を参照して、この処理を詳細に説明する。
図20(a)は、ステップS14002における再レイアウト結果を示し、図20(b)は、図15の再レイアウト退避表の1行目の「編集画像ID」を反映させた後の状態を示す。図15の再レイアウト退避表の1行目において、「自動レイアウト画像ID」は004であり、「編集画像ID」が001である。この退避データを反映した結果、図20(b)のスロットID4112の「編集画像ID」には、「001」が格納されている。なお、図20(c)に示すように、図15の再レイアウト退避表の2行目のデータを反映させると、スロット4113の「編集画像ID」には、「003」が格納される。
ステップS14004において、情報処理装置1004は、ステップS14003で格納した「編集画像ID」が、図20(a)の他のスロットの「自動レイアウト画像ID」として含まれているか判定する。図15の再レイアウト退避表の1行目の「編集画像ID」は「001」であり、図20(a)の「自動レイアウト画像ID」の列には含まれていない。そのため、処理は、ステップS14006に進む。
一方、図15の再レイアウト退避表の2行目の「編集画像ID」は「003」であり、図20(a)の「自動レイアウト画像ID」の列に含まれている。そのため、処理は、ステップS14005に進む。
ステップS14005において、情報処理装置1004は、ステップS14003で格納した「編集画像ID」とセットで保持された「自動レイアウト画像ID」を、別のスロットの「編集画像ID」に格納する。別のスロットとは、ステップS14003で格納した「編集画像ID」を「自動レイアウト画像ID」として含むスロットである。
図20(c)に示すように、ステップ14003の処理を繰り返すことで、スロット4113の「編集画像ID」に「003」が格納される。そして、ステップS14004で、画像ID003が、スロット4115の「自動レイアウト画像ID」に含まれると判定される。このため、スロット4113の「自動レイアウト画像ID」である「005」が、スロット4115の「編集画像ID」に格納される。図20(d)に、退避情報を反映させた後の再レイアウト結果表を示す。こうすることにより、同じ画像ファイルが重複して描画されることを防ぐことができる。
ステップS14006において、情報処理装置1004は、図15の再レイアウト退避表に処理していない退避情報があるか判定する。退避情報がある場合、ステップS14003に戻り、処理を繰り返す。一方、退避情報がない場合、処理は終了する。
図21に、本処理が終わった図20(d)の再レイアウト結果表に基づくテンプレートB−2の描画図を示す。図13の編集結果の描画図と、図21の再レイアウト結果の描画図とを比較すると、再レイアウト処理後も、図21のスロット4112、4113において、ユーザーが画像ファイルを入れ替えた編集結果が反映されていることがわかる。また、図21のスロット4115において、編集結果を考慮した更なる画像ファイルの入れ替えも行われている。
以上のフロー処理により、ユーザーが画像ファイルを編集した後に再レイアウト処理が行われても、ユーザーの編集結果が反映されたレイアウト結果を得ることができる。
<実施形態2>
実施形態1の再レイアウト処理では、図15の再レイアウト退避表へユーザーによる編集情報を退避させた後、再び、複数のテンプレートから最適な1つのテンプレートを選択する自動レイアウト処理を行った。一方、本実施形態における再レイアウト処理では、ユーザーが変更後のテンプレートを個別に指定した上で自動レイアウト処理を行なう。すなわち、ユーザーが明示的に指定したテンプレートに基づいて、自動レイアウト処理が行われる。具体的には、本実施形態における再レイアウト処理では、テンプレート毎に対応するスロットを予め決めておくことで、変更前後のテンプレートの変換テーブルを生成し、画像ファイルをレイアウトする。そうすることで、ユーザーの編集結果(すなわち、ユーザーが編集した内容)が反映された再レイアウト結果を得ることができる。
なお、初回の自動レイアウト処理、及びユーザーによる編集操作については、実施形態1と同じであるため、説明は省略する。
図22は、実施形態2における再レイアウト処理のフローチャートを示す。以下では、図22を参照して、ユーザーによる編集操作後のページレイアウトを、異なるテンプレートを使用して再び自動レイアウトする処理について説明する。なお、以下の処理は、情報処理装置1004がアルバム作成アプリケーション2002を実行することにより実施される。また、ユーザー操作については、アルバム作成アプリケーション2002が提供するユーザーインターフェース上で行われる。
また、図23は、実施形態2におけるテンプレートデータ表を示し、変更前のテンプレートB−1と変更後のテンプレートB−2のテンプレートデータを示す。図23のテンプレートデータ表は、図15及び図17のテンプレートデータ表と比較して、スロット毎に「対応ID」を有する点で異なる。「対応ID」には、異なるテンプレート間のスロットを対応付けるための識別子が予め格納されており、対応するスロットには共通の識別子が格納されている。つまり、異なるテンプレートの少なくとも一部のスロット同士はそれぞれ対応付けられて記憶されている。
また、図24は、実施形態2における再レイアウト処理の過程および変換テーブルを示す。
まず、図22のステップS22001において、ユーザーは、テンプレート(変更後のテンプレート)を選択する。ここでは、編集操作を行ったテンプレートB−1に対して、図16及び図17に示すテンプレートB−2を選択したとする。
ステップS22002において、情報処理装置1004は、図24(a)に示すように、再レイアウト前の状態、すなわち、ユーザーの編集結果を変換テーブルに格納する。このように、変換テーブルは、編集結果の記憶手段として機能する。具体的には、図12の編集後の自動レイアウト結果表の「スロットID(スロット識別子)」が、図24(a)の変換テーブルの「変更前スロットID」として格納される。また、図12の「自動レイアウト画像ID」あるいは「編集画像ID」が、図24(a)の「画像ID」として格納される。すなわち、図24(a)において、編集されたスロット4012、4013の「画像ID」には、図12の編集画像ID001、003が格納される。また、図24(a)において、編集されてないスロット4011、4014の「画像ID」には、図12の自動レイアウト画像ID002、005が格納される。
ステップS22003において、情報処理装置1004は、図24(b)に示すように、ステップS22001で選択したテンプレートのテンプレートデータを変換テーブルに格納する。すなわち、図17のテンプレートデータ表から、変更後テンプレートB−2の「スロットID」を、図24(a)の「変更後スロットID」に格納する。このとき、変更前後のスロットの対応関係については、図23に示すテンプレートデータ表の「対応ID」に従う。図24(a)の1行目は、スロット4011であり、図23のテンプレートB−1を参照するとスロット4011の「対応ID」は1である。次に、図23のテンプレートB−2を参照すると、「対応ID」が1であるスロットは、スロット4111となる。したがって、スロットID4111が共通の識別子を有するので、図24(a)の1行目の「変更後スロットID」に格納される。同じように、図24(a)のスロット4012、スロット4013、スロット4014の「変更後スロットID」にテンプレートB−2の対応するスロットIDが格納される。最後に、図23のテンプレートB−2で参照されていないスロットID4115が、図24(a)の最後の行に格納される。このようにして、図24(b)に示すように、ステップS22001で選択したテンプレートのテンプレートデータが変換テーブルに格納される。
ステップS22004において、情報処理装置1004は、変換テーブルにおいて「変更後スロットID」が格納されているが、「画像ID」が格納されていない行に対し、「画像ID」を割り当て、格納する。すなわち、変更後のテンプレートに対して不足画像の割り当てを行う。具体的には、図6の画像データ表から、使われていない新たな画像ファイルを、解析スコアが高い順にセットしていく。ここでは、図24(b)に示すように、使用されている画像IDは、「001」、「002」、「003」、「006」であるため、使用されていない新たな画像ファイルの画像ID(画像識別子)は、「004」、「005」、「007」の3つとなる。その中で、解析スコアが最も高いのは画像ID004であるため、この画像ID004が、図24(b)の変更後スロットID4115に対応する画像IDに格納される。図24(c)に、すべてのデータが格納された結果の変換テーブルを示す。
図25は、図24(c)の変換テーブルに基づくテンプレートB−2の描画図を示す。図13のユーザーによる編集結果の描画図と、図25の描画図とを比較すると、図25のスロット4112、4113において、ユーザーが画像ファイルを入れ替えた編集結果が反映されていることがわかる。これは変更前後のテンプレートでスロット同士が対応付けられているためである。また、変更後のテンプレートで画像データが割り当てられていないスロット4115には、使用されていない画像データの中からスコアが高い画像データ004がレイアウトされている。このように、編集結果保持部2013は、編集結果を再レイアウト結果に反映させる反映手段として機能する。すなわち、本実施形態では、変更前後のテンプレートの変換テーブルを生成することで、編集結果を再レイアウト結果に反映させることができる。
以上のフロー処理により、ユーザーが画像ファイルを編集した後に再レイアウト処理が行われても、ユーザーの編集結果が反映されたレイアウト結果を得ることができる。
<実施形態3>
本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUまたはMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM、DVDなどを用いることができる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOperating System(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

Claims (11)

  1. 画像データをテンプレートにレイアウトするレイアウト手段と、
    前記レイアウト手段によるレイアウト結果に対して、ユーザーにより編集される前の前記画像データの画像識別子及び編集された後の前記画像データの画像識別子を対応付けて記憶する記憶手段と、
    前記画像データを前記レイアウト手段によって再レイアウトする場合、前記編集した内容を再レイアウト結果に反映する反映手段と、
    を有することを特徴とする情報処理装置。
  2. 前記レイアウト手段は、前記テンプレートとは異なるテンプレートを使用して再レイアウトすることを特徴とする請求項1に記載の情報処理装置。
  3. 前記反映手段は、編集される前の前記画像データの画像識別子を使用して、再レイアウトに使用したテンプレートにおけるスロットを特定し、前記特定されたスロットに編集された後の前記画像データの画像識別子を割り当てることを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記反映手段は、前記特定されたスロットに割り当てられた前記画像識別子が前記再レイアウトに使用したテンプレートにおける他のスロットに既に割り当てられていた場合、前記特定されたスロットに割り当てられていた画像識別子を前記他のスロットに割り当てることを特徴とする請求項に記載の情報処理装置。
  5. 前記編集は、前記テンプレートにレイアウトされた前記画像データの入れ替えを含むことを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 画像データをテンプレートにレイアウトするステップと、
    前記テンプレートにレイアウトされたレイアウト結果に対してユーザーより編集される前の前記画像データの画像識別子及び編集された後の前記画像データの画像識別子を対応付けて記憶するステップと、
    前記画像データを再レイアウトする場合、前記編集した内容を再レイアウト結果に反映するステップと
    を含むことを特徴とする情報処理方法。
  7. コンピュータを、
    画像データをテンプレートにレイアウトするレイアウト手段と、
    前記レイアウト手段によるレイアウト結果に対して、ユーザーにより編集される前の前記画像データの画像識別子及び編集された後の前記画像データの画像識別子を対応付けて記憶する記憶手段と、
    前記画像データを前記レイアウト手段によって再レイアウトする場合、前記編集した内容を再レイアウト結果に反映する反映手段と
    として機能させるためのプログラム。
  8. 前記レイアウト手段は、前記テンプレートとは異なるテンプレートを使用して再レイアウトすることを特徴とする請求項7に記載のプログラム。
  9. 前記反映手段は、編集される前の前記画像データの画像識別子を使用して、再レイアウトに使用したテンプレートにおけるスロットを特定し、前記特定されたスロットに編集された後の前記画像データの画像識別子を割り当てることを特徴とする請求項7または8に記載のプログラム。
  10. 前記反映手段は、前記特定されたスロットに割り当てられた前記画像識別子が前記再レイアウトに使用したテンプレートにおける他のスロットに既に割り当てられていた場合、前記特定されたスロットに割り当てられていた画像識別子を前記他のスロットに割り当てることを特徴とする請求項9に記載のプログラム。
  11. 前記編集は、前記テンプレートにレイアウトされた前記画像データの入れ替えを含むことを特徴とする請求項7乃至10のいずれか1項に記載のプログラム。
JP2017015519A 2017-01-31 2017-01-31 情報処理装置、情報処理方法、及びプログラム Active JP6946010B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017015519A JP6946010B2 (ja) 2017-01-31 2017-01-31 情報処理装置、情報処理方法、及びプログラム
US15/869,218 US10789745B2 (en) 2017-01-31 2018-01-12 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017015519A JP6946010B2 (ja) 2017-01-31 2017-01-31 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018125660A JP2018125660A (ja) 2018-08-09
JP6946010B2 true JP6946010B2 (ja) 2021-10-06

Family

ID=62980025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017015519A Active JP6946010B2 (ja) 2017-01-31 2017-01-31 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US10789745B2 (ja)
JP (1) JP6946010B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6723965B2 (ja) * 2017-10-03 2020-07-15 キヤノン株式会社 情報処理方法、情報処理装置およびプログラム
JP7034819B2 (ja) 2018-04-23 2022-03-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020004270A (ja) 2018-06-29 2020-01-09 キヤノン株式会社 情報処理装置、制御方法およびプログラム
JP2020145659A (ja) 2019-03-08 2020-09-10 キヤノン株式会社 フォトアルバム作成システム、フォトアルバム作成方法、およびプログラム
CN112256990B (zh) * 2020-09-01 2023-09-26 北京沃东天骏信息技术有限公司 一种图像处理方法及装置、计算机可读存储介质
JP7303953B2 (ja) 2021-11-05 2023-07-05 楽天グループ株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3927962B2 (ja) * 2003-10-31 2007-06-13 シャープ株式会社 データ処理装置およびデータ処理プログラム
CN100341312C (zh) * 2004-03-01 2007-10-03 富士胶片株式会社 图像编辑装置及其方法和程序
US7940284B2 (en) * 2004-09-03 2011-05-10 Canon Kabushiki Kaisha Digital document editing method, digital document editing program and digital document editing apparatus
JP4347168B2 (ja) * 2004-09-03 2009-10-21 キヤノン株式会社 編集装置およびその制御方法およびそのプログラム
US20060109516A1 (en) * 2004-11-23 2006-05-25 Rodrigo Catalan Personal photo book creation kit
JP2006285578A (ja) * 2005-03-31 2006-10-19 Seiko Epson Corp ページ編集装置、ページ編集方法およびコンピュータプログラム
JP2007049518A (ja) 2005-08-11 2007-02-22 Fujifilm Holdings Corp アルバム作成装置及びアルバム作成プログラム
JP4981565B2 (ja) * 2007-07-19 2012-07-25 パナソニック株式会社 表示制御装置、撮像装置および印刷装置
JP2010072934A (ja) 2008-09-18 2010-04-02 Canon Inc アルバム作成装置及びアルバム作成方法
JP5219928B2 (ja) * 2009-06-03 2013-06-26 キヤノン株式会社 編集装置及び編集方法、プログラム
US20110029860A1 (en) * 2009-07-30 2011-02-03 Ptucha Raymond W Artistic digital template for image display
US8422794B2 (en) * 2009-07-30 2013-04-16 Intellectual Ventures Fund 83 Llc System for matching artistic attributes of secondary image and template to a primary image
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
US8577752B2 (en) * 2010-08-06 2013-11-05 Shutterfly, Inc. Photobook engine powered by blog content
JP2012138895A (ja) * 2010-12-08 2012-07-19 Canon Inc データ作成装置、データ作成方法、およびプログラム
JP5617697B2 (ja) * 2011-03-04 2014-11-05 株式会社ニコン 電子機器、画像表示システム及び画像選択方法
JP5449460B2 (ja) * 2011-06-28 2014-03-19 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5981789B2 (ja) * 2012-07-09 2016-08-31 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6463996B2 (ja) * 2015-03-06 2019-02-06 キヤノン株式会社 情報処理装置、方法およびプログラム
US20160283483A1 (en) * 2015-03-27 2016-09-29 Google Inc. Providing selected images from a set of images
JP6521791B2 (ja) 2015-08-07 2019-05-29 キヤノン株式会社 情報処理装置およびその制御方法
US9754237B2 (en) * 2015-12-18 2017-09-05 Ricoh Co., Ltd. Index image quality metric
JP6723909B2 (ja) * 2016-12-09 2020-07-15 キヤノン株式会社 画像処理方法、画像処理装置、及びプログラム

Also Published As

Publication number Publication date
US10789745B2 (en) 2020-09-29
JP2018125660A (ja) 2018-08-09
US20180218526A1 (en) 2018-08-02

Similar Documents

Publication Publication Date Title
JP6946010B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11321523B2 (en) Systems and methods for applying layout to documents
US8930809B2 (en) Editing apparatus and layout method, and storage medium
JP4564693B2 (ja) 文書処理装置及び方法
JP3950657B2 (ja) 情報処理システム及びその表示方法、プログラム、並びに記録媒体
US20060028659A1 (en) Layout adjustment method, apparatus and program for the same
JP2024109732A (ja) ユーザカスタマイズ型の文書自動作成方法
US20090204888A1 (en) Document processing apparatus, document processing method, and storage medium
JP2003091520A (ja) 文書処理装置及び方法
JP2006107142A (ja) 文書処理装置及び方法
US9189469B2 (en) Apparatus and method for supporting creation of an electronic document
JP2013046188A (ja) レイアウト編集支援装置、レイアウト編集支援方法及びプログラム
US20070297004A1 (en) Information-processing device, information-processing method, and information-processing program
JP6521856B2 (ja) 情報処理装置、プログラム、及び情報処理方法
JP2007200064A (ja) 情報処理装置、設定処理方法、記憶媒体、プログラム
CN109960787A (zh) 版式模板的生成方法及装置
KR102581936B1 (ko) 드래그 앤 드롭 입력 방식을 적용하여 웹 문서를 생성하는 방법 및 시스템
WO2023119611A1 (ja) 情報処理装置、レイアウトの支援方法、およびレイアウトの支援プログラム
JP6244743B2 (ja) レイアウト編集処理方法,装置およびプログラム
US20080180444A1 (en) Cad-system projection method, cad-system, and recording medium
JP2005038149A (ja) 帳票処理方法、帳票処理プログラム、帳票処理装置
KR102253751B1 (ko) 워드프로세서와 데이터베이스를 연동하여 문서를 생성하는 시스템 및 방법
JP2008090789A (ja) 文書管理システム、文書管理方法、文書管理プログラム及びその記憶媒体
JP2013171517A (ja) 情報処理装置、その制御方法およびプログラム
JPH08221265A (ja) ソフトウエア開発支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210915

R151 Written notification of patent or utility model registration

Ref document number: 6946010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151