TW202114396A - 攝像裝置、攝像控制方法及攝像控制程式 - Google Patents
攝像裝置、攝像控制方法及攝像控制程式 Download PDFInfo
- Publication number
- TW202114396A TW202114396A TW109116501A TW109116501A TW202114396A TW 202114396 A TW202114396 A TW 202114396A TW 109116501 A TW109116501 A TW 109116501A TW 109116501 A TW109116501 A TW 109116501A TW 202114396 A TW202114396 A TW 202114396A
- Authority
- TW
- Taiwan
- Prior art keywords
- unit
- face
- camera
- department
- image
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 226
- 238000000034 method Methods 0.000 title claims description 153
- 238000005259 measurement Methods 0.000 claims abstract description 137
- 238000004458 analytical method Methods 0.000 claims description 368
- 238000001514 detection method Methods 0.000 claims description 235
- 230000033001 locomotion Effects 0.000 claims description 75
- 238000012545 processing Methods 0.000 description 203
- 210000003491 skin Anatomy 0.000 description 156
- 238000010586 diagram Methods 0.000 description 79
- 230000007613 environmental effect Effects 0.000 description 60
- 239000011148 porous material Substances 0.000 description 50
- 230000008569 process Effects 0.000 description 50
- 230000015654 memory Effects 0.000 description 30
- 230000006870 function Effects 0.000 description 29
- 230000004048 modification Effects 0.000 description 27
- 238000012986 modification Methods 0.000 description 27
- 230000037303 wrinkles Effects 0.000 description 22
- 238000005516 engineering process Methods 0.000 description 19
- 238000003863 fast low-angle shot imaging Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 14
- 230000008859 change Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 11
- 238000011156 evaluation Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 210000002615 epidermis Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/02—Illuminating scene
- G03B15/03—Combinations of cameras with lighting apparatus; Flash units
- G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Dentistry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Studio Devices (AREA)
Abstract
攝像裝置(1)係具備:判定部(61)、和提示部(62)。判定部,係判定攝像部執行測定對象之攝像的狀況。提示部,係基於判定部所致之判定結果而進行催促狀況之更新的指示之提示。提示部,係在操作者把將攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的攝像部之鏡頭所存在的面朝向操作者自己而進行攝像的狀態下,以操作者所能辨識的方式進行前記提示。
Description
本發明係有關於攝像裝置、攝像控制方法及攝像控制程式。
智慧型手機(多功能型行動電話終端)這類搭載有相機的攜帶型終端,已經普及。例如在智慧型手機中,一般而言,會在設置有顯示器的面(稱作正面)、和其相反側的面(稱作背面),分別設置相機。以下,將被設在正面的相機稱作前置相機,將被設在背面的相機稱作後置相機。前置相機,係主要為了讓使用者拍攝自身所使用,相較於後置相機,一般而言解析度是較低。
[先前技術文獻]
[專利文獻]
[專利文獻1]日本特開2018-067787號公報
[專利文獻2]日本特開2017-054179號公報
[專利文獻3]日本特開2013-110714號公報
[專利文獻4]日本專利第5733570號公報
[專利文獻5]日本專利第6299594號公報
[非專利文獻]
[非專利文獻1]Vahid Kazemi et al.,"One Millisecond Face Alignment with an Ensemble of Regression Trees",KTH, Royal Institute of Technology Computer Vision and Active Perception Lab Teknikringen 14, Stockholm, Sweden,[2019年5月12日檢索],網際網路<URL:http:// www.nada.kth.se/~sullivan/Papers/Kazemi_cvpr14.pdf>
[發明所欲解決之課題]
近年來,使用搭載相機的攜帶型終端來拍攝自己的臉部,基於攝像影像來解析臉部的肌膚之狀態的技術,已被提出。在該解析中,由於要求高解析度之攝像影像,所以使用後置相機來拍攝臉部,較為理想。此情況下,使用者必須把後置相機朝向自己的方向,而無法直接確認被設在後置相機之相反側之面上的顯示器中所被顯示的後置相機所致之預視畫面,因此難以進行適合於肌膚之解析的攝像。
本揭露的目的在於,提供一種,可容易取得適合於臉部的肌膚之解析的攝像影像的攝像裝置、攝像控制方法及攝像控制程式。
[用以解決課題之手段]
本揭露所述之攝像裝置,係具備:判定部,係判定攝像部執行測定對象之攝像的狀況;和提示部,係基於判定部所致之判定結果而進行催促狀況之更新的指示之提示;提示部,係在操作者把將攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的攝像部之鏡頭所存在的面朝向操作者自己而進行攝像的狀態下,以操作者所能辨識的方式進行提示。
以下,針對本揭露的實施形態,根據圖式而詳細地說明。此外,於以下的實施形態中,相同的部位係標示相同的符號而省略重複的說明。
以下,針對本揭露的實施形態,依照以下的順序來做說明。
1.可適用於實施形態的攝像裝置之構成例
2.攝像裝置之動作的概略
2-1.既存技術所致之動作例
2-2.實施形態所述之動作例
3.實施形態所述之攝像裝置的概略
3-1.機能的說明
3-2.處理的概略
4.實施形態所述之攝像裝置的細節
4-1.處理的具體例
4-2.各部的細節
4-2-1.測定處理部
4-2-1-1.測定部
4-2-1-2.測定狀況判定部
4-2-1-3.測定指示部
4-2-1-3-1.指示表例
4-2-1-3-2.測定指示之提示的具體例
4-2-2.解析處理部
4-2-2-1.解析部
4-2-2-2.結果顯示部
5.實施形態的第1變形例
6.實施形態的第2變形例
7.實施形態的第3變形例
8.實施形態的第4變形例
9.本揭露的技術所致之效果
10.其他構成
1.可適用於實施形態的攝像裝置之構成例
在實施形態的說明之前,先來說明可適用於實施形態的攝像裝置之構成例。圖1係為可適用於實施形態的攝像裝置的外觀之例子的概略性圖示。在圖1中,攝像裝置1係假設為多功能型行動電話終端(以下簡稱為智慧型手機)而被圖示。於圖1中,右側係圖示了攝像裝置1的正面側10,左側係圖示了攝像裝置1的背面側11。
在圖1的例子中,攝像裝置1,係在正面側10配置有顯示器2、受話用揚聲器3、通用揚聲器6、前置相機9。顯示器2,係將攝像裝置1內所被生成的各種影像,加以顯示。又,顯示器2係被構成為,進行影像之顯示的顯示裝置、與隨應於使用者之手指等所致之觸碰操作而生成控制資訊的輸入裝置,是呈一體而被形成的觸控面板。受話用揚聲器3係例如,於攝像裝置1中將利用電話機能之際的受話語音予以再生。通用揚聲器6係例如,將攝像裝置1內所被生成的聲音予以再生。
前置相機9,係拍攝攝像裝置1之正面側10的被攝體。又,前置相機9,係具有變焦機能、自動對焦機能、光圈機能等,可基於使用者操作或裝置內部之影像處理等而進行各機能的控制。
又,在圖1的例子中,在攝像裝置1之下端的側面,設有麥克風4,從正面側10來看在右端的側面,設有操作件5。麥克風4,係將攝像裝置1之周圍所發生的聲音,予以收音。麥克風4係例如,於攝像裝置1中將利用電話機能之際的送話語音予以收音。操作件5,係隨應於使用者操作而控制攝像裝置1中的主要機能(睡眠狀態下的繼續動作等)。
於圖1中,攝像裝置1,係在背面側11,設有後置相機7、和閃光燈8。後置相機7,係拍攝攝像裝置1之背面側11的被攝體。後置相機7,係採用相對於前置相機9具有較高性能的相機。例如,後置相機7,其攝像影像之解析度係相較於前置相機9而為較高解析度。又,後置相機7,也是和上述的前置相機9同樣地,具有變焦機能、自動對焦機能、光圈機能等,可基於使用者操作或裝置內部之影像處理等而進行各機能的控制。
閃光燈8係例如,隨應於指示,而同步於後置相機7之攝像而發出閃光。不限於此,閃光燈8係亦可相對於後置相機7之攝像為非同步且持續地發光。
圖2係為可適用於實施形態的攝像裝置1的硬體構成之一例的概略性圖示的區塊圖。於圖2中,攝像裝置1係具備:可相互通訊地被連接至匯流排40的CPU(Central Processing Unit)20、ROM(Read Only Memory) 21、RAM(Random Access Memory)22、顯示控制部23、輸入裝置25、儲存體26、資料I/F(介面)27、通訊I/F28。又,對顯示控制部23,係被連接有顯示裝置24。
儲存體26,係為非揮發性的記憶媒體,可適用快閃記憶體。不限於此,作為儲存體26亦可適用硬碟機。儲存體26,係可將CPU20進行動作所需之各種程式或資料,加以記憶。又,儲存體26,係亦可為了保存其他資料而被使用。
CPU20,係依照儲存體26及ROM21中所被記憶之程式,把RAM22當成工作記憶體而使用而作動,控制該攝像裝置1之全體的動作。例如,CPU20,係依照程式而生成控制訊號,將已生成之控制訊號,透過匯流排40而供給至身為該當控制訊號之控制對象的部位。
顯示控制部23,係依照CPU20依照程式所生成之顯示控制訊號,而生成可讓顯示裝置24做顯示的顯示訊號。顯示裝置24係為例如LCD(Liquid Crystal Display)或有機EL(Electro-Luminescence),藉由未圖示的驅動電路而被驅動,隨應於從顯示控制部23所被供給之顯示訊號而令畫面被顯示。
輸入裝置25,係將所被觸碰之位置所相應之控制訊號,予以輸出。輸入裝置25、與顯示裝置24係被一體形成,被構成作為觸控面板的顯示器2。作為觸控面板的顯示器2係例如,可隨應於對顯示裝置24所致之顯示所相應之位置的,使用者之手指等所致之對輸入裝置25的觸碰,而將該當位置所對應之控制訊號予以輸出。
此外,使用圖1所說明的操作件5,雖然未被包含在作為觸控面板的顯示器2內,但其機能視為是被包含在輸入裝置25之機能的一部分中。
資料I/F27,係為用來與外部機器之間進行資料之收送訊所需之介面。作為資料I/F27,係可使用例如USB(Universal Serial Bus)。不限於此,作為資料I/F27亦可適用,藉由以比較近的距離為對象的無線通訊來進行資料之收送訊的Bluetooth(註冊商標)。甚至,亦可使資料I/F27支援USB或Bluetooth(註冊商標)等複數種通訊方式。
通訊I/F28,係為用來進行透過無線LAN(Local Area Network)所致之無線通訊、或公眾電話線路的無線通訊所需之介面。
於攝像裝置1中,對匯流排40係還被連接有:驅動器30、31、32及34、和相機控制部35、感測器I/F36。
驅動器30,係將透過匯流排40而被供給的數位方式之聲音訊號轉換成類比方式之聲音訊號,並且加以增幅而供給至通用揚聲器6。通用揚聲器6,係將所被供給之聲音訊號所相應之聲音,予以輸出。驅動器31,係將透過匯流排40而被供給的數位方式之聲音訊號轉換成類比方式之聲音訊號,並且加以增幅而供給至受話用揚聲器3。又,驅動器31,係將已被麥克風4所收音的聲音所相應之類比方式之聲音訊號,轉換成數位方式之聲音訊號而供給至匯流排40。
驅動器32,係依照透過匯流排40所被供給之控制訊號,以所定之振動模態來驅動振動器33。藉由振動器33被驅動,就可使攝像裝置1的框體之全體做振動。驅動器34,係依照透過匯流排40所被供給之控制訊號,而驅動閃光燈8以使閃光燈8發光。
相機控制部35,係依照透過匯流排40所被供給之控制訊號,而分別控制後置相機7及前置相機9。例如,相機控制部35,係依照控制訊號,來控制後置相機7或前置相機9的快門動作。又,相機控制部35,係依照控制訊號,來控制後置相機7或前置相機9的光圈機能或變焦機能。甚至,相機控制部35,係例如基於以攝像影像為基礎的CPU20所致之影像處理,來控制後置相機7或前置相機9的自動對焦機能。
作為一例,相機控制部35,係將藉由後置相機7及前置相機9而被拍攝的攝像影像,透過匯流排40而交付給CPU20。CPU20,係將所被供給的攝像影像,記憶在例如RAM22中。
此外,相機控制部35,係可將後置相機7及前置相機9之每一者,以所定之畫格週期(例如60[fps (frame per second)])進行快門控制,而拍攝動態影像。以下,將拍攝該動態影像的動作模式稱作動畫模式,在快門指示所相應之時序上拍攝例如1張攝像影像的動作模式稱作靜止影像模式。
於圖2中,感測器I/F36,係為針對距離感測器37、照度感測器38及角速度感測器39的介面。距離感測器37,係為用來計測從攝像裝置1到例如被攝體為止之距離的感測器。作為距離感測器37係可採用例如:具備紅外光的光源及受光部,利用紅外光的反射來計測距離的距離感測器。距離感測器37,係為可省略。照度感測器38,係具備例如受光部,可偵測攝像裝置1所存在的環境中的照度。角速度感測器39,係為用來偵測攝像裝置1之運動(姿勢的變化等)所相應之角速度的感測器。作為角速度感測器39,係可適用振動式陀螺儀感測器。角速度感測器39,係可針對例如X軸、Y軸及Z軸之3軸,而偵測角速度。
感測器I/F36,係將從距離感測器37所被輸出之表示距離的資訊(距離資訊)、和從照度感測器38所被輸出之表示照度的資訊(照度資訊)、和從角速度感測器39所被輸出之表示角速度的資訊(角速度資訊)予以接收,並將所接收到的各資訊,透過匯流排40而交付給CPU20。
此處,關於攝像裝置1中的攝像動作之例子,以後置相機7為例來概略地說明。
相機控制部35,係一旦後置相機7之啟動是從例如CPU20而被指示,就將後置相機7以動畫模式加以驅動,將每畫格週期地所拍攝到的攝像影像交付給CPU20。CPU20,係基於該每畫格週期之攝像影像而生成顯示控制訊號,並交付給顯示控制部23。顯示控制部23,係將該顯示控制訊號,轉換成每畫格週期地更新顯示影像的顯示訊號,而供給至顯示裝置24。藉此,顯示裝置24中就會大略即時地顯示出,藉由後置相機7而每畫格週期地所被拍攝到的各攝像影像。使用者,係基於該毎畫格週期之攝像影像所致之動態影像之顯示,而可對攝像裝置1指定快門時序、或視角。
相機控制部35,係一旦在該動態影像之顯示中被指示了快門動作,就將動作模式從動畫模式切換成靜止影像模式,隨應於指示了快門動作的時序而進行攝像。於靜止影像模式下所拍攝到的攝像影像,係如上述,例如被記憶在RAM22中。CPU20,係將RAM22中所記憶的攝像影像保存至儲存體26,並且生成以該當攝像影像為基礎的顯示控制訊號,交付給顯示控制部23。藉此,對顯示器2,於靜止影像模式下所被拍攝到的攝像影像為基礎的畫面,就會被顯示。該畫面係稱為預視畫面,預視畫面中所被顯示之影像係稱為預視影像。使用者,係藉由觀看該預視畫面,就可確認被攝體的拍攝情形。
2.攝像裝置之動作的概略
2-1.既存技術所致之動作例
接著,針對實施形態所述之攝像裝置動作,概略地說明。實施形態所述之攝像裝置1係具備:基於拍攝臉部的攝像影像而將該當臉部的肌膚之狀態予以解析的肌膚解析機能。
肌膚解析,係使用較高解析度之攝像影像,較為理想。因此,進行肌膚解析所需之臉部的攝像,是使用被設在背面側11的後置相機7而進行。更具體而言,欲進行肌膚解析的使用者,係將攝像裝置1,使背面側11朝向自己的臉部的方向並加以拿持而進行攝像。此情況下,攝像裝置1的正面側10是朝向該當使用者的視線所看不到的方向,因此該當使用者係無法直接觀看被設在正面側10的顯示器2中所被顯示的攝像之預視畫面,難以將自己的臉部以對肌膚解析而言為適切的狀態來進行攝像。
例如,作為既存技術的例子,專利文獻1中係揭露,隨應於對焦程度之相關資訊,對焦程度低的焦點偵測領域所對應之對焦導引,係比對焦程度高的焦點偵測領域所對應之對焦導引還要簡略化、或是較小地顯示的技術。若依據該技術,則攝影者係可使用預視畫面來確認攝影狀況是否適切。然而,此情況下,是以攝影者能夠觀看預視畫面為前提,並沒有想定身兼攝影者且為被攝體的使用者使用智慧型手機的後置相機來進行攝影,如此的情況係難以進行適切的攝影。
作為既存技術的另一例,專利文獻2中係揭露,基於所被拍攝到的眼的影像而進行虹膜認證的構成。在該構成中,是將照射紅外光所拍攝到的使用者的眼之影像與眼睛位置對合用之影像顯示在顯示部,隨應於生物認證裝置的使用狀況,而將顯示部中的所被拍攝的眼之影像的顯示,控制成非顯示狀態。眼之影像的顯示設成非顯示狀態時,可將眼之鏡像進行反射而顯示的面板中,會形成眼之鏡像。
若依據該技術,則可使用智慧型手機的副相機(自拍相機),使用者係可一面確認被顯示在顯示器上的導引,一面使被攝體(此情況下係為用於虹膜認證的眼)能夠適切地進入導引內而進行攝影。其雖然為能夠適切拍攝臉部的部位之影像的技術,但未想定身兼攝影者且為被攝體的使用者無法確認顯示器的狀況。
作為既存技術的再另一例,專利文獻3中係揭露,自拍團體中所屬的所有使用者都包含在內,把預先記憶的中心使用者是被配置在中心的影像資料,從使用連續攝影手段所被拍攝到的影像資料中予以選擇出來的技術。若依據該技術,則可從被連續拍攝的複數張影像中,選擇出事前登錄的複數名使用者是被收容在畫面內,且應該配置在中心的使用者是被配置在中心的影像。然而,於該技術中,使用者並沒有觀看顯示器,並沒有想定對使用者提示攝像指示。因此,無法得知影像是否被適切地攝影,所以必須要觀看相機的顯示器來確認影像。
順便一提,具備前置相機9與後置相機7的智慧型手機等之攝像裝置1上,為了得到高畫質的攝像影像,一般是使用後置相機7執行攝像。尤其是,欲從攝像影像來解析臉部的肌膚之皺紋、毛孔之狀態等之細微的形狀的情況下,使用比前置相機9可進行較高解析度之攝像的後置相機7所拍攝到的攝像影像,較為理想。然而,使用後置相機7來拍攝使用者本身的情況下,使用者針對適切的攝像位置,一面確認顯示器2的預視畫面而一面做調整,是極為困難的。
2-2.實施形態所述之動作例
實施形態所述之攝像裝置1,係將藉由後置相機7來拍攝測定對象亦即使用者的臉部之際的狀況加以判定,基於判定結果而將用來更新該當狀況所需之指示,對使用者進行提示。因此,可隨著狀況而進行適切的攝像。
又,實施形態所述之攝像裝置1,係將用來更新狀況所需之指示,使用測定對象也就是使用者不必直接觀看顯示器2就能讓使用者做辨識的方法,來對使用者進行提示。作為如此的提示方法係可適用:從攝像裝置1的通用揚聲器6所被輸出之聲音(語音)的方法、或使用攝像裝置1的振動器33所致之振動的方法。甚至,在可使用鏡子的情況下,作為如此的提示方法,可以適用:令顯示器2顯示出指示之影像,令該影像被鏡子反射的提示方法。使用者,係可一面觀看該鏡子中所被映出的影像所代表的指示,而一面更新狀況。又甚至還可適用:使用攝像裝置1的顯示器2的亮度之控制的提示方法。
3.實施形態所述之攝像裝置的概略
3-1.機能的說明
圖3係為用來說明實施形態所述之攝像裝置1之機能所需之一例的機能區塊圖。於圖3中,攝像裝置1係含有:全體控制部51、UI(User Interface)部52、攝像控制部53、運動偵測部54、肌膚解析部55。
這些全體控制部51、UI部52、攝像控制部53、運動偵測部54及肌膚解析部55,係藉由在CPU20上讓所定之程式運作,而被實現。不限於此,這些全體控制部51、UI部52、攝像控制部53、運動偵測部54及肌膚解析部55的部分或全部,亦可藉由相互協調而運作的硬體電路來加以構成。
全體控制部51,係控制攝像裝置1的全體的動作。全體控制部51,係對應於例如攝像裝置1的OS (Operating System)。
UI部52,係提供對使用者的介面。UI部52,係生成令顯示裝置24做顯示的畫面。又,UI部52,係將對輸入裝置25所進行的使用者操作加以受理,並生成已受理之使用者操作所相應之控制資訊。例如,UI部52,係隨應於對輸入裝置25的所定之使用者操作,而將令顯示裝置24做顯示的畫面予以更新,同時,對全體控制部50交付該當使用者操作所相應之控制訊號。
攝像控制部53,係對相機控制部35,發出用來控制後置相機7或是前置相機9所致之攝像所需之指示。又,攝像控制部53,係將已被後置相機7或是前置相機9所拍攝到的攝像影像,記憶在RAM22或儲存體26中。運動偵測部54,係基於角速度感測器39之輸出,而偵測攝像裝置1的運動。
肌膚解析部55,係基於攝像影像而偵測臉部,並進行已被偵測到的臉部的肌膚之偵測。肌膚解析部55係含有:測定處理部550、和解析處理部551。
測定處理部550,係為本揭露之技術的作為主體的部分,會判定測定對象也就是使用者之臉部的攝像所涉及之狀況,基於判定結果而生成用來更新該當狀況所需之指示。此處,所謂攝像所涉及之狀況,係為攝像影像中所含之使用者的臉部(臉部影像)的攝像狀態,亦即,對於該當臉部於攝像影像中是如何被拍攝會帶來影響的狀況。攝像所涉及之狀況係包含例如:攝像時的攝像裝置1的周圍的光線(照度、色溫)、或攝像影像中所含之臉部的狀態,例如攝像影像中的臉部之大小、朝向等。又,測定處理部550,係在判定為攝像所涉及之狀況是適切的情況下,則將含有該當臉部的攝像影像,視為肌膚解析之對象的影像,而交付給解析處理部551。
解析處理部551,係基於從測定處理部550所被交付的攝像影像,而對該當攝像影像中所含之臉部,進行肌膚的解析,將用來顯示解析結果所需之解析結果顯示畫面予以生成。
圖4係為用來更詳細說明肌膚解析部55之機能所需之一例的機能區塊圖。於圖4中,測定處理部550係含有:測定部60、測定狀況判定部61、測定指示部62。又,解析處理部551係含有:解析部70、結果顯示部71。
於測定處理部550中,測定部60係執行被測定物亦即臉部的攝像。測定部60係可執行:一面令閃光燈8點亮而一面進行攝像的有閃光攝像、和在閃光燈8為熄滅狀態下進行攝像的無閃光攝像。測定部60,係將藉由有閃光攝像而被取得之攝像影像(簡稱為有閃光攝像影像)、和藉由無閃光攝像而被取得之攝像影像(簡稱為無閃光攝像影像),交付給測定狀況判定部61。
此外,以下在不需要特別區分有閃光攝像影像和無閃光攝像影像的情況下,則將它們稱為「攝像影像」而進行說明。
測定狀況判定部61,係基於從測定部60所被交付的有閃光攝像影像及無閃光攝像影像,來判定測定對象(臉部)的攝像所涉及之狀況。更具體而言,測定狀況判定部61,係將預先被設定之理想狀況和目前的狀況進行比較,而判定目前的狀況對肌膚解析而言是否適切。測定狀況判定部61,係在判定狀況為適切的情況下,則將攝像影像交付給解析處理部551。
另一方面,測定狀況判定部61,係在判定狀況為不適切的情況下,則對測定指示部62,交付表示該當狀況的資訊。測定指示部62,係基於從測定狀況判定部61所被交付之資訊,而將用來催促把該當狀況更新成適切狀況所需之指示,向使用者進行提示。使用者係可回應於已被提示之指示而將狀況予以更新。隨應於該使用者回應,而藉由測定部60再次執行攝像。
於解析處理部551中,解析部70,係將從測定處理部550所被交付之攝像影像予以解析,將作為測定對象之臉部的肌膚之狀態之相關資訊加以取得。解析部70係例如,關於肌膚之狀態,細紋(肌理)及皺紋(皺摺)、毛孔、肌膚的顏色、皮膚上的斑紋(斑點)之狀態等,針對關於肌膚的各項目進行解析,並將各項目予以數值化。於解析處理部551中,結果顯示部71,係針對例如使用者所指定的項目,將用來顯示解析部70所致之解析結果所需之解析結果顯示畫面,予以生成。
此外,上述的UI部52,可將攝像控制部53及運動偵測部54的部分或全部,包含在攝像裝置1中所被搭載的OS之機能中。又,全體控制部51、UI部52、攝像控制部53及運動偵測部54,係例如對攝像裝置1而被預先搭載。相對於此,肌膚解析部55,係作為用來進行肌膚解析所需之應用程式軟體(稱為肌膚解析應用程式),而對攝像裝置1另行安裝、搭載。不限於此,亦可將肌膚解析部55,對攝像裝置1而預先搭載。
用來執行這些攝像裝置1中的肌膚解析部55所涉及之處理所需之程式,係儲存在被連接於網際網路等之網路的電腦上,透過該當網路而被下載而被提供。又,亦可構成為,將該當程式經由網際網路等之網路而做提供或發布。甚至,亦可將該當程式,以可安裝的形式或可執行的形式之檔案而記錄在CD(Compact Disk)、軟碟片(FD)、DVD(Digital Versatile Disk)等之電腦可讀取之記錄媒體中而做提供。
用來構成攝像裝置1中所含之全體控制部51、UI部52、攝像控制部53、運動偵測部54及肌膚解析部55所需之各程式,係為含有這些全體控制部51、UI部52、攝像控制部53、運動偵測部54及肌膚解析部55的模組構成。作為實際的硬體,係藉由CPU20從ROM21或儲存體26等之記憶媒體將該當各程式予以讀出並執行,上述的各部就被載入至RAM22等之主記憶裝置上,該當各部就會在主記憶裝置上被生成。
3-2.處理的概略
接著,針對實施形態所述之攝像裝置1中的處理之流程,使用圖5及圖6來做概略地說明。圖5係為實施形態所述之攝像裝置1的使用形態的概略性圖示。於圖5中,是依照左側的圖、中央的圖、右側的圖的順序來表示時間的經過。又,圖6係為實施形態所述之攝像裝置1中的處理之流程的概略性圖示之一例的流程圖。
此外,以下係假設,肌膚解析部55是作為含有測定處理部550及解析處理部551的肌膚解析應用程式而被搭載於攝像裝置1中。然後,例如藉由使用者操作而令該當肌膚解析應用程式被啟動,就會藉由肌膚解析部55之機能,執行從臉部的攝像到解析結果之顯示為止的一連串之處理。又,後置相機7,係作為單焦點鏡頭所致之相機而使用,假設不利用變焦機能等。
首先,如圖5的左側的圖所示,使用者15,係於攝像裝置1中啟動肌膚解析應用程式,並且將攝像裝置1,以顯示器2無法從使用者15看到的方式(背面側是朝向使用者15側)而予以拿持。藉由如此拿持攝像裝置1,就可用後置相機7來拍攝使用者15的臉部,且為使用者15難以直接觀看攝像裝置1的顯示器2之畫面的狀態。
該圖5的左側的圖的狀態下,在圖6的步驟S10中,肌膚解析部55,係藉由自動控制,而進行後置相機7所致之攝像。不限於此,肌膚解析部55,係亦可隨應於使用者15所致之所定之操作而進行後置相機7所致之攝像。如圖5的中央的圖所例示,攝像裝置1的顯示器2中係被顯示有,用來確認已被拍攝之攝像影像所需之預視畫面。在此狀態下,使用者15係無法直接觀看顯示器2,因此無法確認預視畫面。因此,在剛攝像後的時點上,使用者15係對攝像影像難以判斷自己的臉部(臉部影像)是否有被適切地包含。
在下個步驟S11中,肌膚解析部55,係將步驟S10中所被拍攝的攝像影像予以解析,並判定臉部的攝像所涉及之狀況。肌膚解析部55做判定的結果,在判定為狀況是對肌膚解析而言不適切的情況下(步驟S11,「NG」),則令處理往步驟S12前進。
細節將於後述,但例如,攝像影像中所含之臉部的位置是往左右任一方偏移、臉部的亮度過低(過高)等之情況下,就有可能難以適切地進行肌膚解析。因此,在步驟S12中,肌膚解析部55,係對使用者15提示測定指示,以使其能適切地拍攝臉部。測定指示,係使用語音或振動等,即使使用者15沒有直接觀看顯示器2,仍可將臉部的攝像所涉及之狀況做更新的方式,來進行提示。
肌膚解析部55,係在步驟S12中提示了測定指示之後,使處理回到步驟S10,再次進行攝像。此時,使用者15,係隨應於步驟S12之測定指示,而可進行對後置相機7之視角的臉部之位置或朝向、進行攝像之環境的光源等之調整。
另一方面,肌膚解析部55,係在步驟S11中判定為攝像所涉及之狀況是對肌膚解析而言為適切的情況下(步驟S11,「OK」),責令處理往步驟S13前進。在步驟S13中,肌膚解析部55,係基於於剛才才執行過的步驟S10中所拍攝到的攝像影像,進行肌膚狀態之解析。在下個步驟S14中,肌膚解析部55,係令肌膚狀態進行解析的解析結果,被顯示器2所顯示。
圖5的右側的圖係圖示,藉由肌膚解析部55而被顯示在顯示器2的解析結果顯示畫面80之例子。在此例中,在解析結果顯示畫面80之中央部顯示有作為樣版的臉部81,對臉部81例如使用者15所指定的各位置上,分別顯示出該位置上的分數82a、82b及82c。又,在解析結果顯示畫面80之上端部係顯示有綜合分數83,在下端部係顯示有項目別分數84及85。此外,綜合分數83、與項目別分數84及85,係分別可使用對臉部81中的肌膚部全體的評價值。又,在此例中,項目別分數84及85係分別被設成,關於肌膚之水分及油分的評價值。
如此,實施形態所述之攝像裝置1,係判定臉部的攝像所涉及之狀況對肌膚解析而言是否適切,在判定為不適切的情況下,則將用來催促狀況之更新所需之測定指示,使用語音或振動等而向使用者15進行提示。因此,使用者15,係可不必直接觀看顯示器2,而可進行對後置相機7之視角的臉部之位置、或進行攝像之環境的光源等之調整。
4.實施形態所述之攝像裝置的細節
4-1.處理的具體例
接著,針對實施形態所述之攝像裝置1中的處理,做較詳細地說明。圖7係為實施形態所述之攝像裝置1中的處理之流程的較具體性圖示之一例的流程圖。圖7的流程圖,係將上述的圖6的流程圖所致之處理,更詳細地加以圖示。
在早於圖7的流程圖所致之處理之前,使用者15,係於攝像裝置1中,令肌膚解析應用程式做啟動。又,使用者15,係如使用圖5的左側的圖所說明,將攝像裝置1,以後置相機7朝向自己的方式而拿持,而成為可以使用後置相機7來拍攝使用者15的臉部的狀態。
於圖7中,在步驟S10’中,肌膚解析部55,係藉由自動控制,而進行後置相機7所致之攝像。不限於此,肌膚解析部55,係亦可隨應於使用者的所定之操作而執行後置相機7所致之攝像。步驟S10’所致之攝像,係藉由不使閃光燈8發光的無閃光攝像而進行。肌膚解析部55,係將藉由攝像所取得的無閃光攝像影像,記憶在例如RAM22中。
在下個步驟S110中,肌膚解析部55,係將步驟S10’中所被拍攝的無閃光攝像影像予以解析,並判定攝像所涉及之狀況。此外,在步驟S110中,係在攝像所涉及之狀況之中,針對攝像影像中所含之臉部的狀況,進行判定。所謂臉部的狀況係包含例如:相對於攝像影像的臉部之大小、攝像影像中的臉部之位置及朝向、攝像之際的環境之明亮度。
肌膚解析部55做判定的結果,在判定為狀況是對肌膚解析而言不適切的情況下(步驟S110,「NG」),則令處理往步驟S12a前進。
在步驟S12a中,肌膚解析部55係對使用者15,提示測定指示。亦即,肌膚解析部55,係與圖6的步驟S12同樣地,為了適切地拍攝臉部,而對使用者15,使用語音或振動等,提示測定指示,以使得使用者15不必直接觀看顯示器2,就可更新攝像影像中的臉部的狀況。肌膚解析部55,係一旦在步驟S12a中進行測定指示之提示,就使處理回到步驟S10’。
另一方面,肌膚解析部55,係在判定為狀況是對肌膚解析而言為適切的情況下(步驟S11,「OK」),則令處理往步驟S20前進。
在步驟S20中,肌膚解析部55,係將後置相機7所致之攝像,藉由使閃光燈8發光的有閃光攝像而予以執行。肌膚解析部55,係將藉由攝像所取得的有閃光攝像影像,記憶在例如RAM22中。肌膚解析部55,係在步驟S20中一旦執行有閃光攝像,就令處理往步驟S21前進。在步驟S21中,肌膚解析部55,係執行後置相機7所致之無閃光攝像。肌膚解析部55,係將藉由攝像所取得的無閃光攝像影像,記憶在例如RAM22中。
此外,於圖7的流程圖中,可以省略步驟S21所致之無閃光攝像。省略了步驟S21之處理的情況下,在後段的處理(步驟S111所致之晃動判定處理、步驟S112所致之光源判定處理)中,取代步驟S21所拍攝的無閃光攝像影像,改為使用步驟S10’所拍攝的的無閃光攝像影像。又,在圖7中,雖然是在步驟S20中執行了有閃光攝像之後,在步驟S21中執行無閃光攝像,但步驟S20的有閃光攝像之處理、和步驟S21的無閃光攝像之處理的順序亦可顛倒。
在步驟S111中,肌膚解析部55,係基於步驟S20中所被取得之有閃光攝像影像、和步驟S21中所被取得之無閃光攝像影像,而偵測晃動,對已被偵測之晃動進行判定。肌膚解析部55,係在判定為偵測到所定以上之晃動的情況下(步驟S111,「NG」),則令處理往步驟S12a前進。
另一方面,肌膚解析部55,係於步驟S111中,判定為所被偵測到的晃動是未達所定的情況下(步驟S111,「OK」),則令處理往步驟S112前進。在步驟S112中,肌膚解析部55,係基於步驟S20中所被取得之有閃光攝像影像、和步驟S21中所被取得之無閃光攝像影像,而進行光源之相關判定。例如,肌膚解析部55,係在步驟S112中,偵測攝像環境的明亮度、或環境光的色溫等,基於偵測結果而判定光源對於肌膚解析而言是否適切。這些攝像環境的明亮度、或環境光的色溫,也可包含在攝像所涉及之狀況中。
肌膚解析部55,係在判定為光源是對肌膚解析而言不適切的情況下(步驟S112,「NG」),則令處理往步驟S12a前進。另一方面,肌膚解析部55,係在判定為光源是對肌膚解析而言為適切的情況下(步驟S112,「OK」),則令處理往步驟S13前進。
在步驟S13中,肌膚解析部55,係基於例如步驟S20中藉由有閃光攝像而被拍攝到的有閃光攝像影像、和步驟S21中藉由無閃光攝像而被拍攝到的有閃光攝像影像,來進行肌膚狀態之解析。在下個步驟S14中,肌膚解析部55,係令表示解析了肌膚狀態之解析結果的解析結果顯示畫面,被顯示器2所顯示。
4-2.各部的細節
接著,針對實施形態所述之攝像裝置1的各部,做較詳細地說明。
4-2-1.測定處理部
首先,針對實施形態所述之測定處理部550(參照圖4)中的處理,做較詳細地說明。
4-2-1-1.測定部
說明測定處理部550中所含之測定部60。圖8係為用來說明實施形態所述之測定部60之機能所需之一例的機能區塊圖。於圖8中,測定部60係含有:閃光控制部600、攝像處理部601、相機運動測定部602。
閃光控制部600,係依照例如來自測定狀況判定部61之指示,而控制閃光燈8的發光(點亮及熄滅)。攝像處理部601,係依照例如來自測定狀況判定部61之指示,而控制後置相機7所致之攝像。
相機運動測定部602,係將角速度感測器39所偵測到的表示角速度之資訊,加以取得。例如,相機運動測定部602,係將從角速度感測器39所被輸出之表示角速度之資訊,以所定之取樣週期而進行取樣。
使用圖9A及圖9B,說明實施形態所述之測定部60所致之攝像處理。
圖9A係為實施形態所述之無閃光攝像時的攝像處理之一例的流程圖。於圖9A中,在步驟S30中,於測定部60中閃光控制部600係令閃光燈8熄滅。在下個步驟S31中,於測定部60中攝像處理部601係進行後置相機7所致之攝像,在步驟S32中將攝像影像(無閃光攝像影像)記憶在例如RAM22中。
圖9B係為實施形態所述之有閃光攝像時的攝像處理之一例的流程圖。此外,圖9B所示的處理,係為在圖7的流程圖中執行步驟S21之無閃光攝像時的例子,對應於步驟S20及步驟S21之處理。
於圖9B中,在步驟S40中,閃光控制部600係令閃光燈8點亮。在下個步驟S41中,於測定部60中相機運動測定部602係開始從角速度感測器39所被輸出之表示角速度之資訊的記錄。表示角速度之資訊,係被累積性地記憶在例如RAM22中。在下個步驟S42中,攝像處理部601,係進行後置相機7所致之攝像,在下個步驟S43中將攝像影像(有閃光攝像影像)記憶在例如RAM22中。此時,攝像處理部601,係將後置相機7所具有的攝像元件中的每一像素之資訊,不進行去馬賽克處理而作為直接使用的RAW資料,而記憶在RAM22中。
在步驟S44中,閃光控制部600係令閃光燈8熄滅。在下個步驟S45中,攝像處理部601,係進行後置相機7所致之攝像,在下個步驟S46中將攝像影像(無閃光攝像影像)記憶在例如RAM22中。這裡也是,和上述的步驟S43同樣地,攝像處理部601係將無閃光攝像影像以RAW資料的方式而記憶在RAM22中。在下個步驟S47中,相機運動測定部602係結束表示角速度之資訊的記錄。
在步驟S43及步驟S46中所被記憶之有閃光攝像影像及無閃光攝像影像,係被交付給測定狀況判定部61。又,藉由相機運動測定部602,步驟S41至步驟S47為止所被記錄的表示角速度之資訊,係被交付給測定狀況判定部61。
4-2-1-2.測定狀況判定部
圖10係為用來說明實施形態所述之測定狀況判定部61之機能所需之一例的機能區塊圖。於圖10中,測定狀況判定部61係含有:被攝體偵測部610、影像晃動偵測部611、環境明亮度偵測部612、環境光源偵測部613、相機運動偵測部614、狀況判定部615、理想狀況記憶部616。
被攝體偵測部610,係從已被後置相機7所拍攝到的攝像影像,偵測出屬於被攝體的臉部,將已被偵測到的臉部的狀況加以取得。更具體而言,被攝體偵測部610,係從攝像影像偵測出臉部,從所偵測到的臉部,抽出特徵點。然後,被攝體偵測部610,係基於已抽出之臉部的特徵點,而特定出臉部的大小及朝向。又,被攝體偵測部610,係求出攝像影像中的臉部之位置。被攝體偵測部610係例如,將這些臉部的大小及朝向、以及臉部之位置,當作臉部的狀況而加以取得。
影像晃動偵測部611,係基於被連續拍攝的2個攝像影像,而偵測要使用於肌膚解析的攝像影像中所包含之晃動的成分。更具體而言,影像晃動偵測部611,係基於從圖7的步驟S20中所被拍攝之有閃光攝像影像所被抽出之臉部的特徵點、與從步驟S21中所被拍攝之無閃光攝像影像所被抽出之臉部的特徵點的位置之差分,來偵測晃動的成分。此外,在步驟S21之處理被省略的情況下,則可使用步驟S10’中所被拍攝之無閃光攝像影像。
環境明亮度偵測部612,係偵測拍攝被測定物時的環境之明亮度。例如,環境明亮度偵測部612,係可基於已被照度感測器38所偵測到的照度,來偵測環境之明亮度。不限於此,環境明亮度偵測部612,係亦可基於無閃光攝像影像和有閃光攝像影像,來偵測環境之明亮度。
環境光源偵測部613,係基於圖7的步驟S20中所被拍攝之有閃光攝像影像、和步驟S21中所被拍攝之無閃光攝像影像,來推測環境光之光源的色溫。此外,在步驟S21之處理被省略的情況下,則可使用步驟S10’中所被拍攝之無閃光攝像影像。又,環境光源偵測部613,係可基於色溫的推測結果,而更進一步推測環境光之光源的種類。
相機運動偵測部614,係偵測攝像裝置1的運動。更具體而言,相機運動偵測部614係求出,被相機運動測定部602所記錄的,於有閃光攝像被進行之時點、與無閃光攝像被進行之時點之間以所定之取樣週期所取得的角速度之積算值。該角速度之積算值,係為表示攝像裝置1之運動的值。
理想狀況記憶部616,其細節將於後述,係預先被記憶有理想狀況資訊,其係含有,表示為了進行肌膚解析而為理想之狀況的各項目之值。
狀況判定部615,係將已被被攝體偵測部610所偵測到的臉部之狀況、和已被環境明亮度偵測部612及環境光源偵測部613所偵測到的周圍環境之狀況加以取得,並將已取得之各狀況、與理想狀況記憶部616中所被記憶之理想狀況資訊,進行比較。狀況判定部615係判定,比較的結果係為,各狀況相對於理想的臉部之狀況是否在所定範圍內。
狀況判定部615,係在已取得的各狀況之中,針對相對於理想狀況資訊而不是在所定範圍內的狀況,偵測其相對於理想狀況資訊的差分。狀況判定部615,係將所偵測到的差分、與表示偵測到該當差分之狀況的資訊,交付給測定指示部62。另一方面,狀況判定部615,係在判定為已取得之各狀況相對於理想的臉部之狀況之各項目是位於所定範圍內的情況下,則將攝像影像(例如有閃光攝像影像)、被攝體資訊例如臉部的特徵點之資訊,交付給解析處理部551。
(測定狀況判定部之各部)
接著,針對實施形態所述之測定狀況判定部61之各部(被攝體偵測部610、影像晃動偵測部611、環境明亮度偵測部612、環境光源偵測部613、相機運動偵測部614、狀況判定部615及理想狀況記憶部616),做更詳細說明。
(被攝體偵測部)
首先說明,實施形態所述之被攝體偵測部610之處理。被攝體偵測部610,係對攝像影像進行臉部偵測處理,將已被偵測到的臉部的特徵點予以抽出。又,被攝體偵測部610,係亦基於已被抽出之特徵點而進行臉部的朝向之偵測。此外,被攝體偵測部610,係對無閃光攝像影像及有閃光攝像影像之任一者,都可實施它們的臉部偵測及特徵點抽出等之處理。
圖11係為實施形態所述之被攝體偵測部610之處理之一例的流程圖。在步驟S50中,對被攝體偵測部610係被輸入攝像影像。此時,該當攝像影像,係以RAW影像的方式而被輸入至被攝體偵測部610。
在下個步驟S51中,被攝體偵測部610,係對步驟S50中作為RAW影像而被輸入的攝像影像執行去馬賽克處理,而將RAW影像之各像素,轉換成例如含有R(紅)色、G(綠)色及B(青)色之各成分之值的像素。在下個步驟S52中,對步驟S51中已被去馬賽克處理過的影像,執行灰階化處理。在下個步驟S53中,將步驟S52中已被灰階化處理過的影像之解析度,轉換成適合於臉部偵測的解析度。
在下個步驟S54中,被攝體偵測部610,係基於步驟S53中已被解析度轉換過的影像,執行臉部偵測處理。在臉部偵測處理中,例如,表示從攝像影像是否偵測到臉部的臉部偵測結果,係被取得。被攝體偵測部610,係在臉部有被偵測到的情況下,則更進一步將已被偵測到的臉部之特徵點、或臉部的朝向,予以偵測。
接著,針對步驟S51的去馬賽克處理,使用圖12A及圖12B來加以說明。
圖12A係為對被攝體偵測部610所被輸入之RAW影像之例子的圖示。後置相機7所具備的攝像元件中,像素100係被配置成矩陣狀,對各像素100,分別有R色、G色、B色之彩色濾光片被1對1設置。因此,各像素100之像素值,係為像素100中所被設置的彩色濾光片所對應之波長頻帶之光所相應之值。以下,將R色之彩色濾光片所被設置之像素100稱為R色之像素100,將G色之彩色濾光片所被設置之像素100稱為G色之像素100,將B色之彩色濾光片所被設置之像素100稱為B色之像素100。
在圖12A的例子中,R、G及B各色之像素100,是依照作為彩色濾光片之排列而一般使用的拜爾排列,而被配置。拜爾(Bayer)排列係含有:2個G色之像素100、1個R色之像素100、1個B色之像素100。於拜爾排列中,係這些4個像素100,是以使得2個G色之像素100不會相鄰的方式,而被排列成2像素×2像素之矩陣狀而被構成。
在圖12A的例子中,將R色之像素100之像素值表示為「R」,將R色之像素100之右鄰所被配置的G色之像素100之像素值表示為「GR
」,將B色之像素100之像素值表示為「B」,將B色之像素100之左鄰所被配置的G色之像素100之像素值表示為「GB
」。
去馬賽克處理,一般而言,是使用注目之像素(稱作注目像素)之像素值、與注目像素之附近之各像素之像素值,而對1個注目像素賦予R色、G色及B色各自之像素值的處理。
實施形態所述之去馬賽克處理,係如圖12A中被框101圍繞所示,以構成拜爾排列的4個像素100為單位,針對R色之像素100及B色之像素100,將各像素100之像素值「R」及「B」直接予以抽出。另一方面,針對2個G色之像素100,係將像素值「GR
」與像素值「GB
」之平均值「(GR
+GB
)/2」,當作2個G色之像素100所致之像素值而予以抽出。
圖12B係為實施形態所述之去馬賽克處理所致之像素之例子的圖示。對含有構成拜爾排列之4個像素100的區塊102之每一者,賦予像素值「R」、像素值「(GR
+GB
)/2」、像素值「B」。此外,於圖12B中,像素值「(GR
+GB
)/2」,係被表示為「G(GR+GB)/2
」。若依據此去馬賽克處理,則R、G及B各色的解析度,係變成相對於原始的的RAW影像,行列分別變成1/2。換言之,藉由實施形態所述之去馬賽克處理,含有構成拜爾排列之4個像素100的區塊102,係被視為具有R、G及B各色之像素值(R, G(GR+GB)/2
, B)的1個像素。
針對圖11的流程圖中的步驟S52之灰階化處理進行說明。在步驟S52中,被攝體偵測部610,係針對步驟S51中已被去馬賽克處理過的每一像素,亦即每一區塊102,依照下記的式(1)而求出R、G及B各色之像素值之平均值PAVG
,將所求出的平均值PAVG
,視為該當區塊102的已被灰階化之像素值。
針對圖11的流程圖中的步驟S53之解析度轉換處理進行說明。被攝體偵測部610,係將步驟S52中已被灰階化之影像之解析度,轉換成適合於步驟S54之臉部偵測處理的解析度。此外,轉換後的解析度,係考慮處理時間等攝像裝置1中的處理之負荷而決定,較為理想。作為一例,將後置相機7之解析度(攝像影像之尺寸)設成4000像素×3000像素的情況下,則是使得轉換後的影像之寬度會是1200像素的方式,來進行解析度轉換。又,被攝體偵測部610,係可對已被解析度轉換過的影像,適用雙三次內插處理等一般常用的影像之內插處理。
說明圖11的流程圖中的步驟S54之臉部偵測處理。在步驟S54中,被攝體偵測部610,係將步驟S53中已被解析度轉換過的影像中所包含之臉部,予以偵測。被攝體偵測部610,係在從該當影像未偵測到臉部的情況下,則例如將其意旨交付給狀況判定部615。狀況判定部615,係在從被攝體偵測部610被交付了未偵測到臉部之意旨的情況下,則對測定指示部62發出指示,以使其提示出例如催促再次攝影的測定指示。
被攝體偵測部610,係在判定為從該當影像有偵測到臉部的情況下,則將已被偵測到的臉部中的各特徵點,予以抽出。該被攝體偵測部610中的臉部偵測處理、及已被偵測到的臉部中的特徵點之抽出處理,係可使用既存的技術來執行之。作為可適用於該臉部偵測處理及特徵點抽出處理的既存技術之例子,係可舉出非專利文獻1中所揭露的技術。不限於此,被攝體偵測部610係亦可利用例如,作為開源函式庫而被公開的程式之一的,臉部偵測處理及特徵點抽出處理所需之程式(例如「OpenFace」)。
圖13係為從實施形態所述之被攝體偵測部610所偵測到的臉部所被抽出之特徵點之例子的圖示。在圖13的例子中,於臉部90中,右眼91R的眼尾及眼頭是被當作特徵點RE1
及RE2
而抽出,左眼91L的眼頭及眼尾是被當作特徵點LE1
及LE2
而抽出。又,鼻92的水平方向之兩端是被當作特徵點RN及LN而抽出,口的兩端是被當作特徵點RM及LM而抽出。又,臉部中的,右眼91R的眼尾之特徵點RE1
、與左眼91L的眼尾之特徵點RE2
之間的距離,是被定義為兩眼的寬度(兩眼寬)。該圖13中所示的各特徵點係為一例,亦可把臉部90的其他部位當作特徵點而抽出。
被攝體偵測部610,係更進一步偵測臉部90之朝向。圖14係為實施形態中所被偵測的臉部之朝向的說明圖。於圖14中,將垂直方向定義為Z軸,將對Z軸呈直角相交的XY平面之X軸及Y軸,分別定義成圖14的左上方向及左下方向。作為一例,假定臉部90係為平面,右眼91R的眼尾之特徵點RE1
、與左眼91L的眼尾之特徵點RE2
所連結而成的線是與X軸平行,臉部90的面是與XZ平面平行。
在使XYZ座標之原點與臉部90之中心呈一致的情況下,臉部90之朝向係可使用:以Y軸為中心之旋轉也就是翻滾(roll)、以X軸為中心之旋轉也就是俯仰(pitch)、以Z軸為中心之旋轉也就是偏擺(yaw),來加以表示。此外,翻滾係以使用者15從自己看去頭往左側傾斜的方向為正方向,頭往右側傾斜的方向為負方向,俯仰係以上仰的方向為正方向,下俯的方向為負方向。又,偏擺係以使用者15自己朝向右側的方向為正方向,朝向左側的方向為負方向。
臉部的朝向,係可適用基於從影像抽出之臉部或頭部來推測臉部或頭部之朝向的既存之頭部姿勢推定之技術。被攝體偵測部610係可利用例如,以開源函式庫而被公開的程式之一的,以臉部器官點為基礎的藉由DNN(Deep Neural Network)所學習的臉部朝向推定之程式,來偵測臉部90之朝向。
此外,臉部90之中心,係基於從臉部90所被抽出之各特徵點之座標,藉由計算而推測。圖15係為實施形態所述之臉部90之中心94之推定方法的說明圖。此外,於圖15中,令圖的水平方向為x軸,垂直方向為y軸。
在該圖15的例子中,被攝體偵測部610,係藉由下式(2)及(3)而算出臉部90之中心94之座標(Fc(x), Fc(y))。此外,於式(2)及(3)中,值RE2
(x)及值RE2
(y)係表示右眼91R的眼頭所對應之特徵點RE2
之座標,值LE1
(x)及值LE1
(y)係表示左眼91L的眼頭所對應之特徵點LE1
之座標。又,值RN(x)及RN(y)、與值LN(x), LN(y),係分別表示鼻92的兩端之特徵點RN及LN之座標。
被攝體偵測部610,係將已算出的臉部90之各特徵點RE1
、RE2
、LE1
、LE2
、RN、LN、RM及LM之資訊、和臉部90的中心94之座標(Fc(x), Fc(y))、表示臉部90之朝向的資訊(翻滾、俯仰及偏擺),交付給狀況判定部615。
(環境明亮度偵測部)
接著說明,實施形態所述之環境明亮度偵測部612之處理。環境明亮度偵測部612,係藉由將以下所說明的環境明亮度偵測之第1方法、第2方法及第3方法之其中任一種、或2種以上之方法之組合,來偵測環境之明亮度。
環境明亮度偵測之第1方法係為,基於攝像裝置1所具有的照度感測器38之輸出而偵測環境之明亮度的方法。環境明亮度偵測部612,係將從照度感測器38所被輸出之照度資訊加以取得,基於已取得之照度資訊而偵測環境之明亮度(照度)。環境明亮度偵測部612,係將所偵測到的環境之明亮度,例如作為亮度資訊而予以輸出。
環境明亮度偵測之第2方法係為,基於已被後置相機7所拍攝到的攝像影像而偵測環境之明亮度的方法。圖16係於實施形態所述之環境明亮度偵測部612中基於攝像影像而偵測環境之明亮度的環境明亮度偵測之第2方法所致之處理之一例的流程圖。在步驟S60中,對環境明亮度偵測部612,圖7的步驟S10’中藉由無閃光攝像所被拍攝到的無閃光攝像影像,係以RAW影像的方式而被輸入。
在下個步驟S61中,環境明亮度偵測部612,係對步驟S60中作為RAW影像而被輸入的攝像影像,執行去馬賽克處理。在步驟S61中,係與使用圖11的步驟S51、以及圖12A及圖12B所說明的方法同樣地,對攝像影像執行去馬賽克處理。在下個步驟S62中,對步驟S61中已被去馬賽克處理過的影像,與圖11的步驟S52中說明的方法同樣地,執行灰階化處理。在下個步驟S63中,圖11的步驟S53中所說明的方法同樣地,將已被灰階化處理過的影像之解析度,轉換成適合於臉部偵測的解析度。
此外,該步驟S60~步驟S63之處理,係可和圖11的步驟S50~步驟S53之處理為共通。例如,環境明亮度偵測部612,係亦可省略圖16的流程圖之步驟S60~步驟S63之處理,將藉由圖11的流程圖中的步驟S53之處理而到解析度轉換為止已完成的影像,從被攝體偵測部610加以取得。
在下個步驟S64中,環境明亮度偵測部612,係從步驟S63中解析度已被轉換的影像切出所定領域,在下個步驟S65中,將已切出之所定領域之平均亮度LmAVG
予以算出。
圖17係為實施形態所述之環境之明亮度之偵測的第2方法所致之步驟S64及步驟S65之處理的說明圖。此外,於圖17中,令圖的水平方向為x軸,垂直方向為y軸。
於圖17中,假設圖16的流程圖之步驟S63中已進行解析度轉換的影像之畫框110,係具有高度H(像素)×寬度W(像素)之尺寸。此外,在圖16的例子中,是以畫框110之左上角為原點(0, 0)來圖示。環境明亮度偵測部612,係對該畫框110內,設定高度h(<H)×寬度w(<W)之領域111,令x=(W-w)/2,y=(H-h)/2,定出領域111之左上角的座標(x, y)。環境明亮度偵測部612,係將該領域111中所含之各像素(區塊102)之亮度予以平均,算出平均亮度LmAVG1
,將已算出之平均亮度LmAVG1
,視為環境之明亮度而予以偵測。
環境明亮度偵測之第3方法,係和上述的第2方法同樣地,是基於已被後置相機7所拍攝到的攝像影像而偵測環境之明亮度。此處,在此第3方法中,環境明亮度偵測部612,係注目於進行肌膚解析的解析部位,將該解析部位中所含之各像素(區塊102)之亮度之平均值予以算出,已算出之該平均值,視為環境之明亮度而予以偵測。
環境明亮度偵測部612,係將環境明亮度偵測之第3方法,以和上述的圖16的流程圖共通之處理而加以執行。環境明亮度偵測之第3方法係為,圖16的流程圖中的步驟S64及步驟S65之內容,是與上述的環境明亮度偵測之第2方法不同。
圖18係為實施形態所述之環境之明亮度之偵測的第3方法所致之上述的步驟S64及步驟S65之處理的說明圖。此外,於圖18中,令圖的水平方向為x軸,垂直方向為y軸。如圖18所示,環境明亮度偵測部612,係將臉部90之臉頰之部分之所定領域,指定作為臉頰領域95。環境明亮度偵測部612,係將該臉頰領域95之平均亮度LmAVG2
,視為環境之明亮度而予以偵測。
在該圖18的例子中,環境明亮度偵測部612,係藉由下式(4),而算出臉頰領域95的寬度s及高度t。此外,於式(4)中,值a係為所定之係數,例如a=0.5。值LE1
(x)及值LE2
(x),係分別表示左眼91L的兩端(眼頭、眼尾)之特徵點LE1
及LE2
的x座標。
又,環境明亮度偵測部612,係藉由下式(5)及(6)而算出臉頰領域95之左上角96的座標(Fm(x), Fm(y)),並設定臉頰領域95在臉部90中的位置。此外,於式(6)中,值LN(y)係表示鼻92之左端的y座標。
此外,上述的臉頰領域95的寬度s、高度t及位置係為一例,亦可用其他方法來做設定。
環境明亮度偵測部612,係使用上述的進行環境明亮度偵測的第1、第2及第3之任一方法,來偵測環境之明亮度。不限於此,亦可將進行環境明亮度偵測的第1、第2及第3方法之其中2種以上之方法加以組合來偵測環境之明亮度。
以下,將藉由上述的環境明亮度偵測之第1方法及第2方法所偵測到的環境之明亮度,稱作全體亮度。又,藉由上述的環境明亮度偵測之第3方法所偵測到的環境之明亮度,稱作解析部位亮度。又,環境明亮度偵測部612,係執行環境明亮度偵測之第1或第2方法、和環境明亮度偵測之第3方法,將全體亮度與解析部位亮度,當作表示環境之明亮度的資訊而加以取得。環境明亮度偵測部612,係將表示已被偵測之環境明亮度的資訊(全體亮度、解析部位亮度),交付給狀況判定部615。
(影像晃動偵測部)
接著說明,實施形態所述之影像晃動偵測部611之處理。圖19係為實施形態所述之影像晃動偵測部611所致之影像晃動偵測處理之一例的流程圖。
在步驟S70中,影像晃動偵測部611,係將從被攝體偵測部610基於有閃光攝像影像而被抽出的臉部90之各特徵點,加以取得。在下個步驟S71中,影像晃動偵測部611,係將從被攝體偵測部610基於無閃光攝像影像而被抽出的臉部90之各特徵點,加以取得。
關於步驟S70及步驟S71的各特徵點之取得處理,以上述的圖7的流程圖的步驟S21中執行無閃光攝像的情況為例來做說明。
被攝體偵測部610,係在圖7的步驟S20中執行有閃光攝像,在下個步驟S21中執行無閃光攝像。被攝體偵測部610,係基於步驟S20中所被執行之藉由有閃光攝像而被取得之有閃光攝像影像,藉由使用圖11~圖15所說明的處理來進行臉部90之偵測,將所被偵測到的臉部90之各特徵點予以抽出。同樣地,被攝體偵測部610,係基於步驟S21中所被執行之藉由無閃光攝像而被取得之無閃光攝像影像,藉由使用圖11~圖15所說明的處理來進行臉部90之偵測,將所被偵測到的臉部90之各特徵點予以抽出。
影像晃動偵測部611,係在步驟S70及步驟S71中,將基於藉由被攝體偵測部610而被連續執行的有閃光攝像及無閃光攝像而分別被取得的有閃光攝像影像及無閃光攝像影像而分別被抽出的臉部90之各特徵點,加以取得。
在下個步驟S72中,影像晃動偵測部611,係在步驟S70中所取得之有閃光攝像影像為基礎的各特徵點、與步驟S71中所取得之無閃光攝像影像為基礎的各特徵點中,偵測在臉部90內的位置為對應之特徵點間的各距離。在下個步驟S73中,影像晃動偵測部611,係將步驟S72中所被偵測出來的各距離之平均值也就是平均距離,予以算出。
在下個步驟S74中,影像晃動偵測部611係判定,步驟S73中所算出之平均距離是否未滿事前決定之上限值。影像晃動偵測部611,係在已算出之平均距離是未滿上限值的情況下(步驟S74,「Yes」),則令處理往步驟S75前進,判定為無晃動。另一方面,影像晃動偵測部611,係在已算出之平均距離是上限值以上的情況下(步驟S74,「No」),則令處理往步驟S76前進,判定為有晃動。影像晃動偵測部611,係將晃動之判定結果,交付給狀況判定部615。
圖20係為上述的步驟S72及步驟S73所致之,實施形態所述之特徵點間之距離及平均距離的算出處理的說明圖。於圖20中,左側表示無閃光攝像所致之攝像影像97a,右側表示有閃光攝像所致之攝像影像97b。
在圖20的無閃光攝像所致之攝像影像97a中,將右眼91R之兩端(眼尾、眼頭)之特徵點的座標分別令作座標FP0 NF
及FP1 NF
,將左眼91L之兩端之特徵點的座標分別令作座標FP2 NF
及FP3 NF
。又,將鼻92之兩端的座標令作座標FP4 NF
及FP5 NF
,將口93之兩端的座標令作座標FP6 NF
及FP7 NF
。
同樣地,在圖20的有閃光攝像所致之攝像影像97b中,將右眼91R之兩端(眼尾、眼頭)之特徵點的座標分別令作座標FP0 F
及FP1 F
,將左眼91L之兩端之特徵點的座標分別令作座標FP2 F
及FP3 F
。又,將鼻92之兩端的座標令作座標FP4 F
及FP5 F
,將口93之兩端的座標令作座標FP6 F
及FP7 F
。
無閃光攝像所致之攝像影像97a及有閃光攝像所致之攝像影像97b中的各特徵點之中,座標FP0 NF
及FP0 F
的各特徵點、座標FP1 NF
及FP1 F
的各特徵點、座標FP2 NF
及FP2 F
的各特徵點、座標FP3 NF
及FP3 F
的各特徵點、座標FP4 NF
及FP4 F
的各特徵點、座標FP5 NF
及FP5 F
的各特徵點、座標FP6 NF
及FP6 F
的各特徵點、座標FP7 NF
及FP7 F
的各特徵點的各配對,係分別為在臉部90中位置為對應之特徵點的配對。
如下式(7)所示,在這些特徵點之配對的各者中,算出2個特徵點的座標之差分的絕對值。將所有的特徵點之配對中所算出的差分之絕對值予以合計然後除以特徵點的配對數。藉此就可算出,於有閃光攝像影像及無閃光攝像影像間位置為對應之特徵點間的距離的平均值也就是平均距離。
在圖20的例子中,於無閃光攝像所致之攝像影像97a中,臉部90是位於畫框110的略中央,臉部90之全體是被包含在畫框110中。另一方面,於有閃光攝像所致之攝像影像97b中,可知臉部90的一部分是跑到畫框110之右側外面。影像晃動偵測部611,係在像是圖20的情況下,在無閃光攝像所致之攝像影像97a及有閃光攝像所致之攝像影像97b間位置為對應之各特徵點間的距離為較大,平均距離係為上限值以上。
(環境光源偵測部)
接著說明,實施形態所述之環境光源偵測部613之處理。環境光源偵測部613,係使用有閃光攝像影像與無閃光攝像影像,針對環境光之光源,推定色溫或光源之種類。
圖21係為實施形態所述之環境光源偵測部613中的處理之流程的說明圖。在某色A之下將色Sc之被攝體藉由無閃光攝像所拍攝到的攝像影像120中,被攝體係以該當環境光之色A對被攝體之色Sc產生作用的顏色,而被拍攝。該色A之環境光下的被攝體的顏色,係藉由色Sc與色A之乘算而可表示成為色「A×Sc」。
另一方面,在某色A的環境光之下,將色Sc之被攝體,令色F之閃光燈8點亮而拍攝到的有閃光攝像所致之攝像影像121中,被攝體係以環境光的色A與閃光燈8之光線的色F對被攝體之色Sc產生作用的顏色,而被拍攝。在該色A的環境光下令色F之閃光燈8點亮而拍攝到的被攝體的顏色,係可表示成為色「(A+F)×Sc」。
把有閃光攝像所致之攝像影像121當作被減算值,與無閃光攝像所致之攝像影像120藉由減算器122進行顏色的減算。該減算所得的顏色,係可表示成為「F×Sc」。這表示了,獲得環境光之影響已被排除的閃光影像123。此處,將減算器122所得到的色「F×Sc」、與無閃光攝像所致之攝像影像120的色「A×Sc」,分別取其對數。藉由減算器124,例如從色「A×Sc」之對數減掉色「F×Sc」之對數,就可求出環境光的色A、與閃光燈8之光線的色F之比率A/F。由於閃光燈8的光線的色F係為已知,因此根據該比率A/F,就可求出環境光的色A。環境光源偵測部613,係可基於該色A而求出環境之光線的色溫。環境光源偵測部613,係將表示已求出之環境光之色A的資訊,交付給狀況判定部615。表示色A之資訊,係使用例如以克耳文為單位的色溫。
此外,環境光源偵測部613,係也可基於色溫的偵測結果來推測光源的種類(白熾燈、螢光燈、太陽光等)。
(相機運動偵測部)
接著說明,實施形態所述之相機運動偵測部614之處理。相機運動偵測部614,係基於使用圖9B所說明的有閃光攝像時的步驟S41~步驟S47之處理中所被記錄的表示角速度之資訊,來偵測攝像裝置1的運動之有無。圖22係為實施形態所述之相機運動偵測部614所致之處理之一例的流程圖。
在步驟S80中,相機運動偵測部614,係算出上述之步驟S41~步驟S47中所被記錄之角速度之積算值。在下個步驟S81中,相機運動偵測部614,係判定步驟S80中所算出之角速度之積算值是否未滿事前決定之上限值。相機運動偵測部614,係在角速度之積算值是未滿上限值的情況下(步驟S81,「Yes」),則令處理前進至步驟S82,判定為攝像裝置1沒有運動。另一方面,相機運動偵測部614,係在角速度之積算值是上限值以上的情況下(步驟S81,「No」),則令處理前進至步驟S83,判定為攝像裝置1有運動。相機運動偵測部614,係將該判定結果當作相機運動偵測結果而交付給狀況判定部615。
(狀況判定部、理想狀況記憶部)
接著說明,實施形態所述之狀況判定部615之處理。狀況判定部615,係基於從被攝體偵測部610、影像晃動偵測部611、環境明亮度偵測部612、環境光源偵測部613及相機運動偵測部614所被交付之各偵測結果、和理想狀況記憶部616中所被記憶之表示為了進行肌膚解析而為理想之狀況的理想狀況資訊,來進行狀況判定。
圖23係圖示實施形態所述之理想狀況記憶部616中所被記憶之理想狀況資訊之例子。在圖23的例子中,理想狀況資訊係含有:被攝體偵測部610之偵測結果所相應之項目「臉部的大小」、「臉部的位置」及「臉部的朝向」、和環境明亮度偵測部612之偵測結果所相應之項目「環境的明亮度」及「解析部位亮度」、和環境光源偵測部613之偵測結果所相應之項目「環境的色溫」、和影像晃動偵測部611之偵測結果所相應之「影像晃動」、和相機運動偵測部614之偵測結果所相應之「相機運動」之各項目。理想狀況資訊,係針對這些各項目而有「上限值」及「下限值」被建立關連。
這些之中,項目「臉部的朝向」係含有:偏擺(yaw)、翻滾(roll)及俯仰(pitch)之各朝向之項目。項目「臉部的大小」係表示兩眼寬亦即右眼91R及左眼91L之間的距離。項目「相機運動」係含有角速度感測器39所能偵測的各軸之資訊。
於理想狀況資訊中,對於一部分以外的各項目,係設有下限值及上限值。在此例中,對項目「環境的明亮度」係有下限值「50[lux(勒克斯)]」、上限值「100[lux]」被建立關連。對項目「環境的色溫」,係有下限值「3000[K(克耳文)]」、上限值「6500[K]」被建立關連。又,對項目「臉部的大小」,係有下限值「1000[pix(像素、畫素)]」、上限值「2500[pix]」、被建立關連。
狀況判定部615,係在這些各項目所對應之偵測結果之值,係為與該當項目建立關連的上限值及下限值之範圍外之值的情況下,則判定為攝像所涉及之狀況對肌膚解析而言並非適切的狀況。
在圖23的例子中,關於項目「臉部的位置」,作為其上限值及下限值係有:攝像影像中是否照到臉部90之全部特徵點,被建立關連。狀況判定部615係例如,針對攝像影像,使用圖13所說明之臉部90中的各特徵點RE1
、RE2
、LE1
、LE2
、RN、LN、RM及LM之中至少1者未被包含的情況下,則判定為攝像所涉及之狀況對肌膚解析而言為不適切的狀況。
於圖23中,項目「臉部的朝向」,係針對偏擺、翻滾及俯仰之每一者,分別有下限值「-10[deg (度)]」、上限值「+10[deg]」,被建立關連。針對項目「解析部位亮度」,係針對藉由環境明亮度偵測部612,以上述的偵測環境之明亮度的第3方法所偵測到的,表示解析部位之明亮度的亮度資訊,而有上限值及下限值被建立關連。在圖23的例子中,像素值具有10位元之位元深度的情況下,下限值「200」及上限值「900」,係對項目「解析部位亮度」而分別被建立關連。
於圖23中,項目「影像晃動」,係有上限值「1.0[pix]」被建立關連,下限值係未被設定。又,項目「相機運動」,係針對例如角速度感測器39所能偵測的各軸,係有上限值「1.6[deg]」被建立關連,下限值係未被設定。
此外,項目「相機運動」的上限值「1.6[deg]」,係考慮基於肌膚解析中所被想定之例如毛孔的尺寸、和肌膚解析所需之攝像時的被攝體(臉部)與後置相機7之間的距離,來做設定。
例如,假設毛孔的尺寸為直徑「0.02[cm]」的情況下,肌膚解析所需之影像,係至少要有毛孔尺寸之1/2的0.01[cm]的解析度,較為理想。如圖24所示,假設被攝體與後置相機7之距離為20[cm]的情況下,在從後置相機7遠離20[cm]之距離的地點要實現0.01[cm]之解析度的角度,係為1.64[deg]。因此,若從有閃光攝像(例如圖7的步驟S20)到緊接其後的無閃光攝像(例如圖7的步驟S21)之間的攝像裝置1的運動是小於該1.64[deg],則於攝像影像中,就可實現肌膚解析所必須之解析度。
狀況判定部615,係基於從被攝體偵測部610、影像晃動偵測部611、環境明亮度偵測部612、環境光源偵測部613及相機運動偵測部614所被交付之各偵測結果、和理想狀況記憶部616中所被記憶之理想狀況資訊所表示的,各個對應之各項目中的上限值及下限值,來判定滿足進行肌膚解析所需之條件的攝像是否已被執行。
圖25係為實施形態所述之狀況判定部615所致之狀況判定處理之一例的流程圖。該圖25的流程圖所致之處理,係對應於圖7的步驟S110之處理。
在步驟S90中,狀況判定部615,係從被攝體偵測部610取得臉部偵測之結果。更具體而言,狀況判定部615,係將已被被攝體偵測部610所偵測到的臉部90的各特徵點之資訊、臉部之朝向之資訊,加以取得。在下個步驟S91中,狀況判定部615,係從環境明亮度偵測部612取得環境之明亮度之偵測結果。更具體而言,狀況判定部615,係從環境明亮度偵測部612,取得全體亮度及解析部位亮度,作為表示環境之明亮度的資訊。
在下個步驟S92中,狀況判定部615,係基於從被攝體偵測部610所取得的各特徵點之資訊來進行臉部之位置之判定。更具體而言,狀況判定部615,係依照理想狀況記憶部616中所被記憶之環境狀況資訊中的項目「臉部的位置」所被建立關連的上限值及下限值,而判定是否已經從被攝體偵測部610取得了對臉部90所被設定之所有的特徵點RE1
、RE2
、LE1
、LE2
、RN、LN、RM及LM。
狀況判定部615,係在判定為已經從被攝體偵測部610取得了對臉部90所被設定之所有的特徵點的情況下,則認定攝像影像中的臉部之位置係為理想的位置,將差分設成「0」。另一方面,狀況判定部615,係判定為對臉部90所被設定之所有的特徵點之中例如有1個以上之特徵點未被取得的情況下,則認定攝像影像中的臉部之位置是不理想的位置,將差分設成「0」以外之所定值。
在下個步驟S93中,狀況判定部615,係基於從環境明亮度偵測部612所取得之全體亮度來進行環境明亮度之判定。
圖26係為實施形態所述之狀況判定部615中的環境明亮度之判定處理之一例的流程圖。在步驟S930中,狀況判定部615,係從理想狀況記憶部616,讀出環境狀況資訊中的項目「環境的明亮度」所被建立關連的上限值及下限值之各項目。在下個步驟S931中,狀況判定部615,係將已讀出之項目「環境的明亮度」所被建立關連的下限值、與從環境明亮度偵測部612所取得之全體亮度,進行比較。狀況判定部615,係在判定為已取得之全體亮度是小於該當下限值的值的情況下(步驟S931,「Yes」),則令處理往步驟S932前進,將從已取得之全體亮度減去下限值而得的值,當作差分而予以算出,在下個步驟S933中,取得已算出之差分(負的值)。
狀況判定部615,係在步驟S931中,判定為已取得之全體亮度是該當下限值以上的值的情況下(步驟S931,「No」),則令處理往步驟S934前進。在步驟S934中,狀況判定部615,係將已取得之全體亮度與從理想狀況記憶部616所讀出之理想狀況資訊中的項目「環境的明亮度」所被建立關連的上限值,進行比較。狀況判定部615,係在判定為已取得之全體亮度是該當上限值以下的值的情況下(步驟S934,「Yes」),則令處理往步驟S937前進。在步驟S937中,狀況判定部615係取得「0」來作為差分。
另一方面,狀況判定部615,係在判定為已取得之全體亮度是超過該當上限值的值的情況下(步驟S934,「Yes」),則令處理往步驟S935前進。在步驟S935中,狀況判定部615,係將從已取得之全體亮度減去該當上限值而得的值,當作差分而予以算出,在下個步驟S936中,取得已算出之差分(正的值)。
說明係回到圖25,在下個步驟S94中,狀況判定部615,係基於從被攝體偵測部610所取得之各特徵點,來進行攝像影像中的臉部90之大小的判定。該判定,係和上述的圖26的流程圖所致之處理同樣地,是藉由將以從被攝體偵測部610所取得之各特徵點為基礎的臉部的大小(兩眼寬)、與從理想狀況記憶部616所讀出之理想狀況資訊中的項目「臉部的大小(兩眼寬)」所被建立關連的上限值與下限值做比較,而被進行。
更具體而言,在步驟S94中,狀況判定部615,係從理想狀況記憶部616讀出理想狀況資訊,從已讀出之理想狀況資訊,取得項目「臉部的大小(兩眼寬)」所被建立關連的上限值與下限值。又,狀況判定部615,係如使用圖13所說明,基於臉部90中的特徵點RE1
的座標、與特徵點LE2
的座標,而求出兩眼寬。狀況判定部615,係將從理想狀況資訊所取得之項目「臉部的大小(兩眼寬)」所被建立關連的下限值、與從特徵點所求出的兩眼寬,進行比較,若所求出的兩眼寬是小於該當下限值的值,則將從兩眼寬減去該當下限值而得的值,當作差分(負的值)而予以算出。
然後,狀況判定部615,係在所求出的兩眼寬是該當下限值以上的值的情況下,將所求出的兩眼寬、與從理想狀況記憶部616所讀出之理想狀況資訊中所含之項目「臉部的大小(兩眼寬)」所被建立關連的上限值,進行比較,若所求出的兩眼寬是該當上限值以下的值,則將差分設成「0」。另一方面,狀況判定部615,係若所求出的兩眼寬是超過該當上限值的值,則將從所求出的兩眼寬減去該當上限值所得的值,當作差分(正的值)而予以算出。
在下個步驟S95中,狀況判定部615,係基於從被攝體偵測部610所取得之臉部的朝向(偏擺、翻滾及俯仰)之資訊,來進行攝像影像中的臉部90之朝向之判定。該判定,係和上述的圖26的流程圖所致之處理同樣地,是藉由將從被攝體偵測部610所取得之臉部的朝向(偏擺、翻滾及俯仰)之每一者、與從理想狀況記憶部616所讀出之理想狀況資訊中所含之項目「臉部的朝向(yaw)」、「臉部的朝向(roll)」及「臉部的朝向(pitch)」之各者所被建立關連的各上限值與下限值做比較,而被進行。
更具體而言,在步驟S95中,狀況判定部615,係從理想狀況記憶部616讀出理想狀況資訊,從已讀出之理想狀況資訊,取得項目「臉部的朝向(yaw)」、「臉部的朝向(roll)」及「臉部的朝向(pitch)」各者所被建立關連的各上限值與下限值。狀況判定部615,係將已取得之例如項目「臉部的朝向(yaw)」所被建立關連的下限值、與從被攝體偵測部610所取得之臉部的朝向(偏擺)進行比較,若臉部的朝向(偏擺)是小於該當下限值的值,則將從已取得之臉部的朝向(偏擺)減去該當下限值而得的值,當作差分(負的值)而予以算出。
然後,狀況判定部615,係在臉部的朝向(偏擺)是該當下限值以上的值的情況下,將臉部的朝向(偏擺)與從環境狀況資訊所取得之項目「臉部的朝向(yaw)」所被建立關連的上限值進行比較,若臉部的朝向(偏擺)是該當上限值以下的值,則將差分設成「0」。另一方面,狀況判定部615,係若臉部的朝向(偏擺)是超過該當上限值的值,則將從臉部的朝向(偏擺)減去該當上限值所得的值,當作差分(正的值)而予以算出。
狀況判定部615,係針對從被攝體偵測部610所取得之臉部的朝向(翻滾及俯仰),也執行與臉部的朝向(偏擺)相同之處理,分別算出差分。
在下個步驟S96中,狀況判定部615,係對從環境明亮度偵測部612所取得之解析部位亮度進行判定。該判定,係和上述的圖26的流程圖所致之處理同樣地,藉由將從環境明亮度偵測部612所取得之解析部位亮度、與從理想狀況記憶部616所讀出之理想狀況資訊中所含之項目「解析部位亮度」所被建立關連的上限值與下限值做比較,而被進行。
更具體而言,在步驟S96中,狀況判定部615,係從理想狀況記憶部616,讀出項目「解析部位亮度」所被建立關連的上限值與下限值。狀況判定部615,係將所讀出之項目「解析部位亮度」所被建立關連的下限值、與從環境明亮度偵測部612所取得之解析部位亮度進行比較,若解析部位亮度是小於該當下限值的值,則將從解析部位亮度減去該當下限值而得的值,當作差分(負的值)而予以算出。
然後,狀況判定部615,係在解析部位亮度是該當下限值以上的值的情況下,將解析部位亮度、與從理想狀況記憶部616所讀出之理想狀況資訊中所含之項目「解析部位亮度」所被建立關連的上限值,進行比較,若解析部位亮度是該當上限值以下的值,則將差分設成「0」。另一方面,狀況判定部615,係若解析部位亮度是超過該當上限值的值,則將從解析部位亮度減去該當上限值所得的值,當作差分(正的值)而予以算出。
在下個步驟S97中,狀況判定部615係判定,在上述的步驟S92~步驟S96之所有的判定中差分是否為「0」。狀況判定部615,係在判定為步驟S92~步驟S96之所有的判定中差分都是「0」的情況下(步驟S97,「Yes」),則認為攝像所涉及之狀況是滿足進行肌膚解析所需之條件,令圖25的流程圖所致之一連串之處理結束,前進至下個判定處理。
例如,狀況判定部615,係在令圖25的流程圖所致之一連串之處理結束後,前進至圖7的步驟S20之處理,執行有閃光攝像及無閃光攝像(步驟S21)。然後,狀況判定部615,係使用有閃光攝像影像及無閃光攝像影像,來執行步驟S111之晃動判定、和步驟S112之光源判定。
另一方面,狀況判定部615,係在步驟S97中判定為,上述的步驟S92~步驟S96之各判定之中至少1個判定中差分是「0」以外之值的情況下(步驟S97,「No」),則令處理往步驟S98前進。在步驟S98中,狀況判定部615,係對測定指示部62,要求將適切地拍攝臉部的測定指示,提示給使用者15。此時,狀況判定部615,係在該要求之際,將差分為「0」以外之值的判定之項目、與在該當項目中所被算出的差分,交付給測定指示部62。
此外,該步驟S98所致之處理,係為與圖7的步驟S12a相對應的處理。在圖25的例子中,對步驟S98的處理之前進目標係被省略。
(晃動判定處理)
接著說明,實施形態所述之圖7的步驟S111中所被執行的晃動判定。圖27係為實施形態所述之晃動判定之處理之一例的流程圖。在圖27的流程圖所致之處理中,係使用影像晃動偵測部611所致之偵測結果、與相機運動偵測部614所致之偵測結果,來進行晃動判定。
在步驟S120中,狀況判定部615,係從影像晃動偵測部611,將藉由使用圖19之流程圖所說明之處理而被取得之晃動之判定結果,加以取得。與此同時,狀況判定部615,係從相機運動偵測部614,將藉由使用圖22之流程圖所說明之處理而被取得之相機運動偵測結果,加以取得。
在下個步驟S121中,狀況判定部615係判定,步驟S120中所取得之晃動判定結果是否表示有晃動。狀況判定部615,係在晃動判定結果並非表示有晃動,亦即,表示無晃動的情況下(步驟S121,「No」),則令處理往步驟S122前進。
在步驟S122中,狀況判定部615係判定,步驟S120中所取得之相機運動偵測結果是否表示相機(攝像裝置1)有運動。狀況判定部615,係在相機運動偵測結果是表示相機無運動的情況下(步驟S122,「No」),則最終判定為無晃動,令圖27的流程圖所致之一連串之處理結束。然後,狀況判定部615,係對解析處理部551,指示肌膚解析之執行。
另一方面,狀況判定部615,係在上述的步驟S121中晃動判定結果是表示有晃動的情況下(步驟S121,「Yes」),則令處理往步驟S123前進。又,狀況判定部615,係在上述的步驟S122中相機運動偵測結果是表示相機有運動的情況下(步驟S122,「Yes」),則令處理往步驟S123前進。
在步驟S123中,狀況判定部615,係對測定指示部62,要求將適切地拍攝臉部的測定指示,提示給使用者15。此時,狀況判定部615,係在該要求之際,在晃動判定結果及相機運動偵測結果之中,把步驟S123成為處理前進之因素的資訊,交付給測定指示部62。此外,在圖27的例子中,對步驟S123的處理之前進目標係被省略。
(光源判定處理)
接著說明,實施形態所述之圖7的步驟S112中所被執行的光源判定。光源判定,係對已被環境光源偵測部613所偵測到的環境光(色A)之色溫,進行判定。該光源判定,係和上述的圖26的流程圖所致之處理同樣地,藉由將從環境光源偵測部613所取得之環境光的色溫、與從理想狀況記憶部616所讀出之理想狀況資訊中所含之項目「環境的色溫」所被建立關連的上限值及下限值做比較,而被進行。
更具體而言,狀況判定部615,係從理想狀況記憶部616讀出理想狀況資訊,從已讀出之理想狀況資訊,取得項目「環境的色溫」所被建立關連的上限值及下限值。又,狀況判定部615,係從環境光源偵測部613,取得環境光的色溫。狀況判定部615,係從理想狀況記憶部616讀出理想狀況資訊,從已讀出之理想狀況資訊,將項目「環境的色溫」所被建立關連的下限值、與從環境光源偵測部613所取得之色溫,進行比較,若已取得之色溫是小於該當下限值的值,則將從該當色溫減去該當下限值而得的值,當作差分(負的值)而予以算出。
然後,狀況判定部615,係在已取得之色溫是該當下限值以上的值的情況下,將色溫、與從理想狀況記憶部616讀出理想狀況資訊,從已讀出之理想狀況資訊而將項目「環境的色溫」所被建立關連的上限值,進行比較,若色溫是該當上限值以下的值,則將差分設成「0」。另一方面,狀況判定部615,係若色溫是超過該當上限值的值,則將從色溫減去該當上限值所得的值,當作差分(正的值)而予以算出。
4-2-1-3.測定指示部
接著,針對實施形態所述之測定指示部62之構成及動作,做更詳細說明。圖28係為用來說明實施形態所述之測定指示部62之機能所需之一例的機能區塊圖。於圖28中,測定指示部62係含有:指示生成部620、指示表記憶部621、指示提示部622。
指示生成部620,係隨應於從狀況判定部615所被交付之判定項目、與判定項目中的判定結果、與所被指定之指示方法,而將指示表記憶部621中所被記憶之指示表加以選擇,基於已選擇之指示表而生成指示。此時,指示生成部620,係基於判定結果,而生成使得攝像之狀況會接近於理想之狀況的這類指示。指示生成部620,係將表示已生成之指示的資訊,交付給指示提示部622。指示提示部622,係依照從指示生成部620所被交付之指示資訊,使用語音、振動、光等,向使用者15提示測定指示。
4-2-1-3-1.指示表例
圖29A~圖29E係為實施形態所述之指示表記憶部621中所被記憶之指示表之例子的圖示。於圖29A~圖29E中,各指示表6210a~6213,係對使用圖23所說明的,理想狀況記憶部616中所被記憶之環境狀況資訊中的項目「環境的明亮度」、「環境的色溫」、「臉部的大小」、「臉部的位置」、「臉部的朝向」、「解析部位亮度」、「影像晃動」及「相機運動」之每一者,將「指示方法」、「差分=0」、「差分<0」及「差分>0」,建立關連。
「指示方法」係表示,對於所被建立關連的項目,對使用者15的測定指示之提示方法。圖29A及圖29B係為「指示方法」是「語音」的指示表6210a及6210b之例子的圖示。圖29C係為「指示方法」是「光」的指示表6211之例子的圖示。圖29D係為「指示方法」是「鏡面」的指示表6212之例子的圖示。又,圖29E係為「指示方法」是「振動」的指示表6213之例子的圖示。
「差分=0」、「差分<0」及「差分>0」係分別表示,對於有被定義差分的判定結果,「差分=0」、「差分<0」及「差分>0」之各情況的指示內容。例如,圖25的流程圖中的步驟S93~步驟S96的,環境明亮度、臉部的大小、臉部的朝向及解析部位亮度的各判定結果,係被定義有差分。又,針對已被環境光源偵測部613所偵測到之色溫的狀況判定部615所致之判定也是,被定義有差分。
另一方面,對於未被定義差分的判定結果,係可例如不定義指示內容。此外,使用圖27所說明的晃動判定中,於步驟S121中判定為有晃動的情況下(步驟S121,「Yes」)、及於步驟S122中判定為相機有運動的情況下(步驟S122,「Yes」),則可認定各個差分並非「0」。
針對圖29A及圖29B中所示的指示表6210a及6210b加以說明。指示表6210a及6210b,係分別對各項目,作為「指示方法」係有「語音」被建立關連。亦即,若依據指示表6210a及6210b,則對使用者15的測定指示,是使用語音而被提示。
更具體而言,於指示表6210a及6210b中,對於「差分<0」及「差分>0」之各者,作為指示內容是分別被設定有,所被建立關連的項目所對應之差分之值所相應之本文資訊。亦即,對於「差分<0」及「差分>0」之各者,隨應於所被建立關連的項目而被設定有,用來進行使得差分之值接近於「0」的這類指示的本文資訊。
參照圖29A及圖29B,針對指示表6210a及6210b之各項目中的,「差分<0」及「差分>0」間的各指示內容的本文資訊的具體的例子,加以說明。於項目「環境明亮度」中,在「差分<0」中是將指示內容設成「請在明亮的房間中進行攝影」,在「差分>0」中是將指示內容設成「房間太亮了」。
亦即,於項目「環境的明亮度」中,例如「差分<0」的狀態,其差分係為負的值,是相當於,環境明亮度相對於理想狀況為較暗的情況。因此,將用來催促使環境明亮度變亮的指示內容「請在明亮的房間中進行攝影」,作為「差分<0」之項目「環境的明亮度」所對應之指示內容而建立關連。
同樣地,於項目「臉部的大小(兩眼寬)」中,在「差分<0」中是將指示內容設成「請把相機稍微靠近臉部」,在「差分>0」中是將指示內容設成「請把相機稍微遠離臉部」,以催促使得攝像影像中的臉部90變成適切的大小。
於項目「臉部的朝向(yaw)」中,在「差分<0」中是將指示內容設成「請稍微朝左」,在「差分>0」中是將指示內容設成「請稍微朝右」。於項目「臉部的朝向(roll)」中,在「差分<0」中是將指示內容設成「臉部往右傾斜了」,在「差分>0」中是將指示內容設成「臉部往左傾斜了」。又,於項目「臉部的朝向(pitch)」中,在「差分<0」中是將指示內容設成「請把臉部稍微朝上」,在「差分>0」中是將指示內容設成「請把臉部稍微朝下」。如此,在項目「臉部的朝向(yaw)」、「臉部的朝向(roll)」及「臉部的朝向(pitch)」中,可催促使得攝像影像中的臉部90之朝向變成適切。
於項目「解析部位亮度」中,在「差分<0」中是將指示內容設成「臉頰太暗了」,在「差分>0」中是將指示內容設成「臉頰太亮了」,以催促使得攝像影像中的解析部位之亮度變成適切。
此外,在指示表6210a及6210b的例子中,對於項目「影像晃動」,係將用來催促使得影像晃動減少的指示內容「攝影中請保持靜止」,在「差分<0」及「差分>0」間共通地,作為指示內容而建立關連。
又,圖29A所示的指示表6210a,對於各項目所分別被建立關連的「差分=0」,作為指示內容,係被設定了不需特別進行指示的項目「-」。另一方面,圖29B所示的指示表6210b,對於各項目所分別被建立關連的「差分=0」,作為指示內容係被設定了,表示攝像狀況為適切的本文資訊。例如,對於項目「環境明亮度」,係有指示內容「周圍的明亮度係為適切」,是被當作「差分=0」的指示內容而被建立關連。
此外,於圖29A及圖29B的指示表6210a及6210b中,對項目「環境的色溫」及「臉部的位置」係未指定指示內容。不限於此,對於這些項目「環境的色溫」及「臉部的位置」亦可指定,使用語音來進行提示所需之指示內容。
若依據指示表6210a,則在各項目之中,攝像狀況為適切之項目所對應之指示的提示係被省略,因此相較於使用指示表6210b的情況,可使攝像較快完成。另一方面,若依據指示表6210b,則因為針對所有的項目都有指示會被提示,因此使用者15係可較詳細地掌握攝像的狀況。
說明圖29C所示的指示表6211。指示表6211,係對各項目,作為「指示方法」係有「光」被建立關連。亦即,若依據指示表6211,則對使用者15的測定指示,是使用光而被提示。更具體而言,指示生成部620,係生成控制顯示器2之畫面之亮度的亮度控制資訊。指示提示部622,係依照該亮度控制方法而控制顯示器2的畫面之亮度(以下稱為畫面亮度),藉此而對使用者15提示測定指示。
更具體而言,於指示表6211中,對於各項目所被建立關連的「差分<0」及「差分>0」之各者,作為指示內容是分別被設定有,該項目所對應之差分之值所相應之亮度控制資訊。亦即,對於「差分<0」及「差分>0」,隨應於各自所被建立關連的項目而被設定有,用來進行使得差分之值接近於「0」的這類指示的亮度控制資訊。在圖29C的例子中,為了說明,而把亮度控制資訊,以表示控制內容的文章來加以表示。
參照圖29C,針對指示表6211之各項目中的,「差分<0」及「差分>0」中的各控制內容之具體例,加以說明。於項目「環境明亮度」中,在「差分<0」中是將畫面亮度緩緩變高(變亮)之控制當作指示內容,在「差分>0」中是將畫面亮度緩緩變低(變暗)之控制當作指示內容。對項目「環境的色溫」的「差分<0」中是將畫面的色溫緩緩變高之控制當作指示內容,在「差分>0」中是將畫面的色溫緩緩變低之控制當作指示內容。
對項目「臉部的朝向(yaw)」的「差分<0」中是將令畫面的從使用者15觀看的左側做閃爍之控制當作指示內容,在「差分>0」中是將令畫面的從使用者15觀看的右側做閃爍之控制當作指示內容。此外,所謂「從使用者15觀看的左側」,係使用者15把攝像裝置1以後置相機7朝向自己的方式而拿持的情況下的背面側11之左側,係為面朝顯示器2時的顯示器2之右側。
對項目「臉部的朝向(roll)」的「差分<0」中,是將畫面的,從使用者15觀看的右側(例如右下角)往上側(例如左上角)而使亮點或是亮線做移動之控制當作指示內容。又,在「差分>0」中,是將畫面的,從使用者15觀看的左側(例如左下角)往上側(例如右上角)而使亮點或是亮線做移動之控制當作指示內容。亮線係可考慮採用例如:相對於移動方向而往直角之方向延伸的亮線。
對項目「臉部的朝向(pitch)」的「差分<0」中,是將畫面的,從使用者15觀看的下側往上側而使亮點或是亮線做移動之控制當作指示內容。又,在「差分>0」中,是將畫面的,從使用者15觀看的上側往下側而使亮點或是亮線做移動之控制當作指示內容。
項目「解析部位亮度」,係和上述的項目「環境明亮度」同樣地,在「差分<0」中是將畫面亮度緩緩變高(變亮)之控制當作指示內容,在「差分>0」中是將畫面亮度緩緩變低(變暗)之控制當作指示內容。
此外,於圖29C的指示表6211中,在項目「臉部的大小(兩眼寬)」及「臉部的位置」中,「差分<0」及「差分>0」之情況的亮度控制資訊之指示內容係未被指定。不限於此,對於這些項目「臉部的大小(兩眼寬)」及「臉部的位置」,亦可指定「差分<0」及「差分>0」之情況的亮度控制資訊之指示內容。又,在圖29C的例子中,於指示表6211中,對各項目所被建立關連的「差分=0」,分別設定了不特別進行指示的「-」。
說明圖29D所示的指示表6212。指示表6212,係對各項目,作為項目「指示方法」係有「鏡面」被建立關連。具體而言,若依據指示表6212,則對使用者15的測定指示,是使用鏡像文字而被提示。此處是考慮例如:在洗臉台等使用者15的前方設有鏡子的環境。在如此環境下,令顯示器2之畫面顯示鏡像文字而將顯示器2朝向鏡子。如此一來,鏡子中,顯示器2之畫面中所被顯示之鏡像文字就會被再次反轉,成為通常的文字而被映出。因此,使用者15,係可將顯示器2之畫面中使用鏡像文字而被顯示的指示內容,透過鏡子而容易地加以辨識。
此外,鏡像文字的生成方法係可多樣地考慮,但是例如,指示提示部622,係將基於指示內容之本文資訊的文字列影像,例如在RAM22中進行描繪。指示提示部622,係令含有已被描繪之文列字影像的領域做左右反轉。藉此,在RAM22上就會生成,表示指示內容之本文資訊的文字列影像所被反轉的鏡像文字之影像。
再者,於指示表6212中,對於「差分<0」及「差分>0」中的指示內容,亦可包含有使用圖29C所說明的光所致之測定指示之提示。
參照圖29D,針對指示表6212之各項目中的,「差分<0」及「差分>0」中的各指示內容的本文資訊及光所致之測定指示之具體例,加以說明。項目「環境明亮度」中,在「差分<0」中,係把基於本文資訊「請在明亮的房間中進行攝影」的鏡像文字之顯示、與將畫面亮度緩緩變高(變亮)之控制,當作指示內容。又,在「差分>0」中,係把基於本文資訊「房間太亮了」的鏡像文字之顯示、與將畫面亮度緩緩變低(變暗)之控制,當作指示內容。
對項目「環境的色溫」的「差分<0」中,作為指示內容是進行將畫面的色溫緩緩變高之控制,在「差分>0」中,作為指示內容是進行將畫面的色溫緩緩變低之控制。在圖29D的例子中,於項目「環境的色溫」中,作為指示內容係不進行鏡像文字之顯示。
於項目「臉部的大小(兩眼寬)」中,在「差分<0」中,是將基於本文資訊「請將臉部靠近」的鏡像文字之顯示當作指示內容。又,在「差分>0」中,是將基於本文資訊「請將臉部遠離」的鏡像文字之顯示當作指示內容。在圖29D的例子中,於項目「臉部的大小(兩眼寬)」中,係不進行作為指示內容的畫面亮度之控制。
於項目「臉部的朝向(yaw)」中,在「差分<0」中是將基於本文資訊「請稍微朝左」的鏡像文字之顯示當作指示內容,在「差分>0」中是將基於本文資訊「請稍微朝右」的鏡像文字之顯示當作指示內容。於項目「臉部的朝向(roll)」中,在「差分<0」中是將基於本文資訊「臉部往右傾斜了」的鏡像文字之顯示當作指示內容,在「差分>0」中是將基於本文資訊「臉部往左傾斜了」的鏡像文字之顯示當作指示內容。又,於項目「臉部的朝向(pitch)」中,在「差分<0」中是將基於本文資訊「請把臉部稍微朝上」的鏡像文字之顯示當作指示內容,在「差分>0」中是將基於本文資訊「請把臉部稍微朝下」的鏡像文字之顯示當作指示內容。在圖29D的例子中,係在項目「臉部的朝向(yaw)」、「臉部的朝向(roll)」及「臉部的朝向(pitch)」中,不進行作為指示內容的畫面亮度之控制。
於項目「解析部位亮度」中,在「差分<0」中是將基於本文資訊「臉頰太暗了」的鏡像文字之顯示當作指示內容,在「差分>0」中是將基於本文資訊「臉頰太亮了」的鏡像文字之顯示當作指示內容。在圖29D的例子中,在項目「解析部位亮度」中,係不進行作為指示內容的畫面亮度之控制。
此外,在圖29D的例子中,於指示表6212中,作為各項目所被建立關連的「差分=0」中的指示內容,係被設定了表示不需特別進行指示的項目「-」。不限於此,如使用圖29B所說明,對於各項目所被建立關連的「差分=0」,作為指示內容亦可設定表示攝像狀況為適切的指示內容。
又,於圖29D之指示表6212中,在項目「臉部的位置」中,「差分<0」及「差分>0」之情況的指示內容係未被指定。不限於此,對於項目「臉部的位置」,亦可指定在「差分<0」及「差分>0」之情況下的,使用語音進行提示所需之指示內容。
說明圖29E所示的指示表6213。指示表6213,係對各項目,作為「指示方法」係有「振動」被建立關連。又,於指示表6213中,對於各項目所被建立關連的「差分=0」,作為指示內容是被設定「進行振動」。另一方面,對於各項目所被建立關連的「差分<0」及「差分>0」,作為指示內容,係被設定了表示不需特別進行指示的項目「-」。
指示生成部620,係於指示表6213中,例如,在各項目之中,身為對象的項目所對應之判定結果是「差分=0」的情況下,則隨應於指示內容「進行振動」,而對指示提示部622指示產生振動。指示提示部622,係隨應於該指示,而對驅動器32,指示令其驅動振動器33而產生振動。藉此,使用者15,係在該當身為對象之項目中攝像之狀況為適切的這件事情,是可不必觀看顯示器2就可得知。
不限於此,指示生成部620,係於指示表6213的所有項目中,在對應之判定結果為「差分=0」的情況下,亦可對指示提示部622指示產生振動。又,指示生成部620,係在指示表6213的各項目之中,在預先所被指定之項目所對應之判定結果為「差分=0」的情況下,亦可對指示提示部622指示產生振動。
然後,在圖29E所示的指示表6213中,作為「差分=0」的各項目,雖然是被設定了指示內容「進行振動」,但其並非限定於此例。例如,亦可為,對於「差分<0」及「差分>0」,設定指示內容「進行振動」,對於「差分=0」,則不設定指示內容。
此情況下,甚至,在各項目之中,針對會因為使用者15的臉部90運動而導致判定結果會產生變化的項目,而對於「差分<0」及「差分>0」,亦可設定指示內容「進行振動」。作為會因為臉部90運動而導致判定結果會產生變化的項目,在圖29E的例子中係可舉出:項目「臉部的位置」、以及「臉部的朝向(yaw)」、「臉部的朝向(roll)」及「臉部的朝向(pitch)」。
作為一例,對於項目「臉部的朝向(yaw)」,作為「差分<0」及「差分>0」之各項目而設定了指示內容「進行振動」的情況下,使用者15係可將臉部90往右旋轉方向或左旋轉方向之偏差,不必觀看顯示器2,藉由攝像裝置1的振動就可得知。甚至,此情況下,藉由使得「差分<0」與「差分>0」間的振動模態不同,使用者15係可將臉部90是對右旋轉方向及左旋轉方向之哪一方向有偏差,不必觀看顯示器2就能得知。
4-2-1-3-2.測定指示之提示的具體例
接著,針對上述的指示表6210a、6210b、6211及6212所致之測定指示之提示,做更具體的說明。
首先,針對項目「環境明亮度」中判定結果為「差分<0」時的測定指示之提示方法,使用圖30、圖31A及圖31B、以及圖32來做說明。
圖30係對應於上述的指示表6210a及6210b,而為實施形態所述之指示方法為「語音」時的指示內容之提示方法之例子的模式性圖示。指示生成部620,係將項目「環境明亮度」所被建立關連的,「差分<0」中的指示內容之本文資訊「請在明亮的房間中進行攝影」予以讀出,將已讀出之本文資訊連同指示內容之提示指示一起交付給指示提示部622。指示提示部622,係依照從指示生成部620所收取到的提示指示,而生成用來發音該當本文資訊所需之語音資料。
該語音資料,係從指示提示部622(CPU20)被交付給驅動器30。驅動器30,係基於從指示提示部622所被交付之語音資料而驅動通用揚聲器6。如圖30中模式性所示,通用揚聲器6,係隨應於該當語音資料,而將指示內容之本文資訊「請在明亮的房間中進行攝影」予以發音的聲音6220a予以輸出。使用者15,係基於從該通用揚聲器6所被輸出之聲音6220a,不必觀看顯示器2,就可得知攝像之狀況是否適合於肌膚解析。
此外,在上述的圖29A及圖29B中,指示表6210a及6210b,雖然是將必須以語音來做提示之指示內容作為本文資訊而予以包含來做說明,但其並非限定於此例。例如,亦可將表示指示內容的本文資訊儲存在儲存體26內的所定之位置,於指示表6210a及6210b中將指定該位置的位置資訊,作為「差分=0」、「差分<0」及「差分>0」之各指示內容而予以包含。
又,亦可將依照指示內容之本文資訊的語音資料事前錄音而作為語音資料檔案而儲存在儲存體26中。此情況下,指示表6210a及6210b中,亦可將表示該當語音資料檔案之路徑的資訊,作為「差分=0」、「差分<0」及「差分>0」之各指示內容而予以包含。
圖31A及圖31B係對應於上述的指示表6211,而為實施形態所述之指示方法為「光」時的指示內容之提示方法之第1例的模式性圖示。使用者15,係如圖31A的左側圖所示,將攝像裝置1,以後置相機7朝向自己的方式而拿持。因此,於攝像裝置1中,顯示器2,係從使用者15來看是無法看見(參照圖31A的右側圖)。
指示生成部620,係從於指示表6211中項目「環境明亮度」所被建立關連的「差分<0」的指示內容,讀出進行「將畫面亮度緩緩變亮」亮度控制的指示內容,將已讀出之指示內容連同指示內容之提示指示一起交付給指示提示部622。指示提示部622,係依照該提示指示,而生成用來使顯示器2的畫面亮度從最低亮度變化至最大亮度所需之顯示控制訊號。該顯示控制訊號,係例如如圖31B所示,是用來進行使顯示器2之畫面之亮度從最低亮度(熄滅狀態)到最大亮度(例如亮度「100%」)為止在時間方向上以所定之斜率進行增加之顯示控制的訊號。又,該顯示控制訊號,係令從最低亮度到最高亮度緩緩增加的動作,被重複執行。
此外,亮度變化的幅度,係不限定於「0%」~「100%」之範圍。亦即,在亮度變化中,在亮度最低的狀態、與亮度最高的狀態間,只要使得顯示器2之畫面之明亮度會明確地產生差異的範圍即可。又,發光色雖然想定是白色,但亦可為黄色、紅色、綠色等其他顏色。
顯示控制訊號,係從指示提示部622(CPU20)被交付給顯示控制部23。顯示控制部23,係依照從指示提示部622所被交付之顯示控制訊號而生成顯示訊號,並供給至顯示器2(顯示裝置24)。顯示器2,係依照該顯示訊號而被驅動,隨應於指示內容而使畫面亮度從最低亮度到最高亮度緩緩變化而進行發光。
於如此的畫面亮度之控制中,由於攝像裝置1是以顯示器2是從使用者15看不到的方式而被拿持,因此使用者15係難以直接觀看顯示器2的畫面亮度之變化。此處,考量顯示器2的光,係會照射到使用者15拿持攝像裝置1的手的手掌、或顯示器2的周圍。使用者15,係藉由觀察被照射至該手掌或顯示器2之周圍的光的變化,即使沒有直接觀看顯示器2,仍可使攝像所涉及之狀況被更新。
圖32係對應於上述的指示表6212,而為實施形態所述之指示方法為「鏡面」時的指示內容之提示方法之例子的模式性圖示。如上述,使用者15,係將攝像裝置1,以後置相機7朝向自己的方式而拿持。又,假設使用者15係面對著鏡子6232。此情況下,於攝像裝置1中,包含顯示器2之畫面的正面側10,係以被鏡子6232左右反轉的鏡像6233的方式而被映出。
指示生成部620,作為於指示表6212中與項目「環境明亮度」所被建立關連的「差分<0」的指示內容而將本文資訊「請在明亮的房間中進行攝影」予以讀出,將已讀出之指示內容連同指示內容之提示指示一起交付給指示提示部622。指示提示部622,係依照該提示指示,生成指示內容之本文資訊所致之文字列做了左右反轉的鏡像文字所致之文字列,令已生成之鏡像文字所致之文字列之文字列影像6230a被顯示於顯示器2之畫面。
此外,鏡像文字所致之文字列的生成方法係可多樣地考慮,但是例如,指示提示部622,係將基於指示內容之本文資訊的文字列影像,例如在畫格記憶體中進行描繪。指示提示部622,係令含有已被描繪之文列字影像的領域做左右反轉。藉此,在畫格記憶體上就會生成,表示指示內容之本文資訊的文字列影像所被反轉的鏡像文字所致之文字列。
在顯示器2之畫面中被顯示有鏡像文字所致之文字列之文字列影像6230a的狀態下,將顯示器2朝向鏡子6232。如此一來,鏡子6232中,顯示器2之畫面中所被顯示之鏡像文字所致之文字列之文字列影像6230a會被再次反轉,成為通常之文字所致之文字列影像6231a而被映出。因此,使用者15,係可將顯示器2之畫面中使用鏡像文字所致之文字列之文字列影像6230a而被顯示的指示內容,不必直接觀看顯示器2,透過鏡子6232就可容易地加以辨識。
接著,針對項目「臉部的朝向(yaw)」中判定結果為「差分<0」時的測定指示之提示方法,使用圖33、圖34A及圖34B、以及圖35來做說明。
圖33係對應於上述的指示表6210a及6210b,而為實施形態所述之指示方法為「語音」時的指示內容之提示方法之例子的模式性圖示。指示生成部620,係作為項目「臉部的朝向(yaw)」所被建立關連的,「差分<0」的指示內容而將本文資訊「請稍微朝左」予以讀出,將已讀出之本文資訊連同指示內容之提示指示一起交付給指示提示部622。指示提示部622,係依照從指示生成部620所收取到的提示指示,而生成用來發音該當本文資訊所需之語音資料,並將所生成的語音資料交付給驅動器30。驅動器30,係基於從指示提示部622所被交付之語音資料而驅動通用揚聲器6。
藉此,從通用揚聲器6,將該當語音資料所相應之指示內容之本文資訊「請在明亮的房間中進行攝影」予以發音的語音6220b,會被輸出。使用者15,係基於從該通用揚聲器6所被輸出之聲音6220b,不必觀看顯示器2,就可得知攝像之狀況是否適合於肌膚解析。
圖34A及圖34B係對應於上述的指示表6211,而為實施形態所述之指示方法為「光」時的指示內容之提示方法之第2例的模式性圖示。
指示生成部620,係從指示表6211中項目「臉部的朝向(yaw)」所被建立關連的「差分<0」的指示內容,讀出伴隨亮度控制的指示內容。於項目「臉部的朝向(yaw)」中,「差分<0」的情況下,由於是表示臉部90之朝向往左方向偏移,因此將指示內容設成表示,使臉部90往右方向做旋轉的這類指示。此處,為了說明,假設指示內容為,對於顯示器2之畫面進行,在畫面中垂直地顯示出亮線6240,並使該亮線6240,往畫面之左方向做移動的亮度控制。
指示生成部620,係將該當指示內容予以讀出,將已讀出之指示內容連同指示內容之提示指示一起交付給指示提示部622。指示提示部622,係依照該提示指示,而在顯示器2之畫面之右端顯示出垂直的亮線6240。亮線6240係為,於顯示器2之畫面中,亮度比周圍之領域而高的領域。再者,指示提示部622,係依照指示內容,而生成令該亮線6240,如圖34A之左側圖中以箭頭A所表示,進行從顯示器2之畫面之右端往左端移動的亮度控制所需之顯示控制訊號。
該顯示控制訊號,係例如如圖34B所示,含有令亮線6240從顯示器2之畫面之右端往左端以所定之速度做移動的控制資訊。又,該指示提示部622,係藉由該顯示控制訊號,而使令亮線6240從畫面之右端往左端做移動的動作,被重複執行。
於如此的亮線6240之控制中,由於攝像裝置1是以顯示器2是從使用者15看不到的方式而被拿持,因此使用者15係難以直接觀看顯示器2中的亮線6240之位置的變化。此處,考量顯示器2的光,係如圖34A之右側圖所示,對使用者15拿持攝像裝置1的手的手掌6241,以亮線6242的方式而進行照射。
顯示器2之畫面中所被顯示之亮線6240的從右往左之移動,係在手掌6241中,如圖34A之右側圖中以箭頭A’所示,以亮線6242從左往右之移動的方式,而被照射至手掌6241。使用者15,係藉由觀察對該手掌6241所被照射之亮線6242的從左往右之移動,就可將使臉部90往右方向做旋轉的動作,不必直接觀看顯示器2,就能直覺地加以掌握,藉此就可使攝像所涉及之狀況被更新。
圖35係對應於上述的指示表6212,而為實施形態所述之指示方法為「鏡面」時的指示內容之提示方法之例子的模式性圖示。如上述,使用者15,係將攝像裝置1,以後置相機7朝向自己的方式而拿持,並且面朝鏡子6232。此情況下,於攝像裝置1中,包含顯示器2之畫面的正面側10,係以被鏡子6232左右反轉的鏡像6233的方式而被映出。
指示生成部620,係作為指示表6212中項目「臉部的朝向(yaw)」所被建立關連的「差分<0」的指示內容而將本文資訊「請稍微朝左」予以讀出,將已讀出之指示內容連同指示內容之提示指示一起交付給指示提示部622。指示提示部622,係依照該提示指示,生成指示內容之本文資訊所致之文字列做了左右反轉的鏡像文字所致之文字列,令已生成之鏡像文字所致之文字列之文字列影像6230b被顯示於顯示器2之畫面。
在顯示器2之畫面中被顯示有鏡像文字所致之文字列之文字列影像6230b的狀態下,將顯示器2朝向鏡子6232。如此一來,鏡子6232中,顯示器2之畫面中所被顯示之鏡像文字所致之文字列之文字列影像6230b會被再次反轉,成為通常之文字所致之文字列影像6231b而被映出。因此,使用者15,係可將顯示器2之畫面中使用鏡像文字所致之文字列之文字列影像6230b而被顯示的指示內容,不必直接觀看顯示器2,透過鏡子6232就可容易地加以辨識。
此外,實施形態所述之測定指示部62,係可對顯示器2之畫面令其顯示出導引影像。圖36係為實施形態所述之顯示器2之畫面中所被顯示之導引影像之例子的圖示。測定指示部62,係對顯示器2之畫面,令其顯示出使得臉部90會以適切的大小及位置而被拍攝的這類導引影像6250。使用者15,係將攝像裝置1,以後置相機7朝向自己,顯示器2朝向鏡子6232的方式而拿持。藉此,對鏡子6232係有導引影像6250之鏡像6250’會被映出。
以後置相機7的攝像時,在顯示器2之畫面中,可令後置相機7所拍攝的攝像影像之預視影像被顯示。對顯示器2之畫面,使該預視影像、與導引影像6250被重疊顯示而在鏡子6232中映出。使用者15,係藉由觀察鏡子6232中所被映出的,導引影像6250上重疊了預視影像的鏡像,就可不必直接觀看顯示器2之畫面,而容易地進行調整,以使得臉部90是以適切的位置及大小而被拍攝。
4-2-2.解析處理部
4-2-2-1.解析部
著,針對實施形態所述之解析處理部551(參照圖4)中的處理,做較詳細地說明。首先說明,解析處理部551中所含之解析部70。圖37係為用來說明實施形態所述之解析部70之機能所需之一例的機能區塊圖。於圖37中,解析部70係含有:細紋解析部700、皺紋解析部701、毛孔解析部702、膚色解析部703、斑紋解析部704、解析結果記憶部705。
在圖37的例子中,細紋解析部700及皺紋解析部701,係分別基於圖7的步驟S20中藉由有閃光攝像而被取得之有閃光攝像影像,而進行該有閃光攝像影像中所含之臉部90中的肌膚之細紋及皺紋之解析。又,毛孔解析部702,係基於該當有閃光攝像影像,而進行該有閃光攝像影像中所含之臉部90中的毛孔之解析。
不限於此,細紋解析部700、皺紋解析部701及毛孔解析部702,係亦可基於圖7的步驟S21或步驟S10’中所被取得之無閃光攝像影像,而進行該無閃光攝像影像中所含之臉部90中的肌膚之細紋、皺紋及毛孔之解析。在以下的說明中是假設,細紋解析部700、皺紋解析部701及毛孔解析部702,係基於圖7的步驟S20中所被取得之有閃光攝像影像而進行各個解析。
細紋解析部700,係可對臉部90中的肌膚之細紋之解析處理,適用例如專利文獻4中所揭露的,基於藉由有閃光攝像於臉部90拍攝肌膚之表皮而成的表皮影像中的表皮圖案來評價肌膚之細紋之狀態的技術。皺紋解析部701,也可基於該專利文獻4之方法,來評價臉部90中的肌膚之皺紋之狀態。
毛孔解析部702,係對臉部90中的毛孔之解析處理,可適用例如專利文獻5中所揭露的,對肌膚影像中的注目像素之像素值,表示圍繞注目像素的週邊像素之像素值之變化的極性、和表示與週邊不同的類似之像素值之像素領域的尺度,當作特徵量而予以算出,基於已算出之特徵量而抽出肌膚影像中的毛孔等的技術。
膚色解析部703,係使用圖7中的步驟S20中所取得之有閃光攝像影像、和步驟S21(或步驟S10’)中所取得之無閃光攝像影像,藉由後述的處理,來進行臉部90之肌膚之膚色解析。又,斑紋解析部704,係基於膚色解析部703之膚色解析之結果,而對臉部90進行斑紋之解析。
解析結果記憶部705係含有例如:RAM22或儲存體26之所定之記憶領域、和進行對該當記憶領域的資料之記憶、及已記憶之資料之讀出的讀寫控制部。以下係將對解析結果記憶部705交付資料,解析結果記憶部705將像素之資料記憶在記憶領域中的這件事情,以令解析結果記憶部705記憶資料的方式來做描述。同樣地,將解析結果記憶部705從該當記憶領域讀出資料的這件事情,以從解析結果記憶部705讀出資料的方式來做描述。
圖38係為實施形態所述之解析部70中的肌膚解析處理之一例的流程圖。在步驟S130中,解析部70,係將有閃光攝像影像以RAW影像的方式加以取得,對已取得之有閃光攝像影像執行去馬賽克處理。此處,解析部70,係使用所注目之像素(稱作注目像素)之像素值、和注目像素之附近的各像素之像素值,而對注目像素給予R色、G色及B色各者之像素值,執行一般的去馬賽克處理。因此,去馬賽克處理後的解析度,係和原始的RAW影像的解析度相等。
在步驟S130的去馬賽克處理之後,處理係為,從步驟S131所被開始的處理、與從步驟S140所被開始的處理,是例如被平行地執行。不限於此,步驟S131~步驟S135之處理、與步驟S140~步驟S145之處理,亦可依序地執行。
首先說明,從步驟S131所被開始的處理。在步驟S131中,解析部70,係對步驟S130中已被去馬賽克處理過的有閃光攝像影像,執行灰階化處理。此處的灰階化處理,係和圖11的步驟S52中所說明的灰階化處理同樣地,對已被去馬賽克處理過的每一像素,求出R、G及B各色之像素值之平均值,將所求出的平均值,當作該像素之像素值,藉此而執行之。解析部70,係將實施過灰階化處理的有閃光攝像影像,例如記憶在RAM22中。
在下個步驟S132中,細紋解析部700,係基於步驟S131中已被灰階化處理過的有閃光攝像影像,而使用例如上述的專利文獻4中揭露之技術,來執行該當有閃光攝像影像中所含之臉部90之細紋之解析。細紋解析部700,作為一例,係偵測肌膚的表皮圖案,將基於所偵測到的表皮圖案所被算出的評價值,當作細紋之解析結果而加以取得。細紋解析部700,係將細紋之解析結果,交付給解析結果記憶部705。
在下個步驟S133中,皺紋解析部701,係基於步驟S131中已被灰階化處理過的有閃光攝像影像,而使用例如上述的專利文獻4中揭露之技術,來解析該當有閃光攝像影像中所含之臉部90之皺紋。皺紋解析部701,作為一例,係偵測肌膚中每單位面積中所含之直線形狀的數量、長度、端度等,將基於偵測結果的評價值、和該當直線形狀之位置,當作皺紋之解析結果而加以取得。皺紋解析部133,係將皺紋之解析結果,交付給解析結果記憶部705。
在下個步驟S134中,毛孔解析部702,係基於步驟S131中已被灰階化處理過的有閃光攝像影像,而使用例如上述的專利文獻5中揭露之技術,來進行該當有閃光攝像影像中所含之臉部90的毛孔之解析。毛孔解析部702係例如,偵測肌膚中每單位面積中所含之黑點形狀的數量、大小等,將基於偵測結果的評價值、和該當黑點形狀之位置,當作毛孔之解析結果而加以取得。毛孔解析部702,係將毛孔之解析結果,交付給解析結果記憶部705。
在下個步驟S135中,解析結果記憶部705,係將步驟S132中從細紋解析部700所被交付之細紋之解析結果、和步驟S133中從皺紋解析部701所被交付之皺紋之解析結果、和步驟S134的從毛孔解析部702所被交付之毛孔之解析結果,加以記憶。
接著說明,從步驟S140所被開始的處理。在步驟S140中,解析部70,係將無閃光攝像影像以RAW影像的方式加以取得,對已取得之無閃光攝像影像執行去馬賽克處理。此處,解析部70,係和步驟S130中所說明之去馬賽克處理同樣地,使用所注目之像素(稱作注目像素)之像素值、和注目像素之附近的各像素之像素值,而對注目像素給予R色、G色及B色各者之像素值,執行一般的去馬賽克處理。因此,去馬賽克處理後的解析度,係和原始的RAW影像的解析度相等。
在下個步驟S141中,膚色解析部703,係基於步驟S130中已被去馬賽克處理過的有閃光攝像影像、和步驟S140中已被去馬賽克處理過的無閃光攝像影像,來執行將有閃光攝像影像中所含之臉部90中的肌膚的色彩加以解析的色彩解析處理。在下個步驟S141中,膚色解析部703,係將藉由步驟S141之色彩解析處理而已被解析之色彩的色彩空間,轉換成適合於解析膚色的色彩空間。
例如,膚色解析部703,係藉由步驟S141之色彩解析處理,而使用RGB色彩空間來取得色彩之解析結果。膚色解析部703,係將該使用RGB色彩空間所被表現的色彩之解析結果,轉換成例如使用HSV色彩空間的表現。HSV色彩空間係為,由:色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)之3個成分(稱作成分H、S及V)所成之色彩空間。
圖39係為可適用於實施形態的色彩解析處理及色彩空間轉換處理的說明圖。和上述的圖21同樣地,在某色A之下將色Sc之被攝體藉由無閃光攝像所拍攝到的無閃光攝像所致之攝像影像7030(參照圖38的步驟S140)中,被攝體係以該當環境光之色A對被攝體之色Sc產生作用的顏色,而被拍攝。該色A之環境光下的被攝體的顏色,係可表示成為「A×Sc」。
另一方面,在某色A的環境光之下,將色Sc之被攝體,令色F之閃光燈8點亮而拍攝到的有閃光攝像所致之攝像影像7031(參照圖38的步驟S130)中,被攝體係以環境光的色A與閃光燈8之光線的色F對被攝體之色Sc產生作用的顏色,而被拍攝。在該色A的環境光下令色F之閃光燈8點亮而拍攝到的被攝體的顏色,係可表示成為「(A+F)×Sc」。
把有閃光攝像所致之攝像影像7031當作被減算值,與無閃光攝像所致之攝像影像7030藉由減算器7032進行顏色的減算。該減算所得的顏色,係可表示成為「F×Sc」。這是表示,獲得了從被攝體之顏色排除了環境光之影響的閃光影像7033。由於閃光燈8的光線的色F係為已知,因此可基於該閃光影像7033而進行肌膚之色彩之解析。
對該閃光影像7033,執行將RGB色彩空間轉換成HSV色彩空間的色彩轉換處理7034。藉此可以取得,閃光影像7033的色彩是在HSV色彩空間中被表現的HSV影像7035。HSV色彩空間(HSV模型),係和人類對顏色的知覺方法類似,因此適合使用於膚色之評價。不限於此,亦可直接使用RGB色彩空間所致之色彩表現,來進行膚色之評價。
在下個步驟S143中,膚色解析部703,係基於步驟S142中所被取得之HSV影像7035,針對有閃光攝像所致之攝像影像7031中所含之臉部90,進行膚色之解析。膚色解析部703,係將膚色之解析結果,交付給解析結果記憶部705。
在下個步驟S144中,斑紋解析部704,係基於有閃光攝像影像,針對該當有閃光攝像影像中所含之臉部90,執行斑紋之解析。例如,斑紋解析部704,係基於步驟S143中所被解析之膚色之解析結果,而偵測臉部90中所含之斑紋之領域。作為一例,可考慮斑紋解析部704係求出臉部90之肌膚之色彩之平均值,將顏色比平均值還濃的領域,視為斑紋之領域而予以偵測。斑紋解析部704,係將針對所偵測到的斑紋之領域的評價、和該當領域之位置,當作斑紋之解析結果而交付給解析結果記憶部705。
在下個步驟S145中,解析結果記憶部705,係將步驟S143中從膚色解析部703所被交付之膚色之解析結果、和步驟S44中從斑紋解析部704所被交付之斑紋之解析結果,加以記憶。
4-2-2-2.結果顯示部
接著說明,實施形態所述之解析處理部551(參照圖4)中所含之結果顯示部71。圖40係為用來說明實施形態所述之結果顯示部71之機能所需之一例的機能區塊圖。於圖40中,結果顯示部71係含有:部位指定部710、項目指定部711、解析結果加工部712、顯示資訊生成部713。
此外,此處係想定,令攝像裝置1的顯示器2之畫面顯示出例如臉部90之影像,使用者15係一面觀看該當畫面,一面指定想要顯示解析結果的部位,將已被指定之部位中的解析結果使用圖形等而加以顯示的情況。
部位指定部710,係對顯示器2,令用來於臉部90中指定欲抽出解析結果之部位也就是抽出部位所需之畫面被顯示。部位指定部710,係隨應於基於該當畫面而對作為觸控面板之顯示器2所進行的使用者操作,而決定抽出部位。
圖41係為實施形態所述之部位指定部710所致之抽出部位之決定處理之一例的流程圖。在步驟S150中,部位指定部710,係令用來指定解析顯示部位所需之指示輸入用之UI(User Interface)畫面,被顯示在顯示器2。
圖42A係為可適用於實施形態的指示輸入用UI畫面之例子的圖示。於圖42A中,指示輸入用UI畫面7100係被配置有例如:人的臉部簡略化而成的導引影像7101、「OK」鈕7102。又,於導引影像7101內,抽出部位7103是以初期位置及初期之尺寸而被顯示。在圖42A的例子中,抽出部位7103的初期位置是被配置在導引影像7101內的目視右側之臉頰部。
在下個步驟S151中,部位指定部710係偵測對輸入裝置25的使用者操作,亦即,對觸控面板的例如使用者15之手指所致之觸碰。一旦偵測到觸碰,則在下個步驟S152中,部位指定部710係判定在觸控面板上觸碰所被偵測到之位置是否為「OK」鈕7102之位置。部位指定部710,係在判定為觸碰所被偵測到之位置並非「OK」鈕7102之位置的情況下(步驟S152,「No」),則令處理往步驟S153前進。
圖42B係為觸碰所被偵測到之位置不是「OK」鈕7102之位置時的例子的圖示。於圖42B中係圖示,藉由使用者15的手指而按壓導引影像7101內的目視左側之臉頰部,抽出部位7103係被按壓,而被移動至目視左側之臉頰部的例子。
在步驟S153中,部位指定部710,係於步驟S152中所被按壓的位置中,偵測用來指定範圍所需之指示。例如,部位指定部710,係將表示對觸控面板的按壓之程度的壓力資訊,從輸入裝置25加以取得,隨應於已取得之壓力資訊而令抽出部位7103的尺寸做變化。此情況下,部位指定部710,係在壓力資訊是表示較強按壓之程度的情況下,則將抽出部位7103予以放大,在表示較小按壓之程度的情況下,則將抽出部位7103予以縮小。不限於此,部位指定部710,係亦可隨應於對觸控面板同時按壓的2點間之距離而使抽出部位7103的尺寸做變化(pinch操作)。
在下個步驟S154中,部位指定部710,係將步驟S153中所被指定之抽出部位7103的座標予以算出。圖42C係為可適用於實施形態的抽出部位7103之座標之算出方法之例子的圖示。於圖42C中,將藉由手指7104所被觸碰的位置的座標,令作座標(xt
, yt
)。在圖42C的例子中,將抽出部位7103的尺寸設成高度v×寬度u的情況下,將抽出部位7103之左上角的座標(xr
, yr
),藉由下式(8)而算出。
此外,如上述,部位指定部710,係在壓力資訊是表示較強按壓之程度的情況下,則將高度v及寬度u之各值變更成較大的值,在壓力資訊是表示較小按壓之程度的情況下,則將高度v及寬度u之各值變更成較小的值。又,該抽出部位7103的座標之算出方法係為一例,並非限定於此例。
部位指定部710,係一旦在步驟S154中算出抽出部位7103的座標,就使處理回到步驟S151。
另一方面,位指定部710,係在判定為上述的步驟S152中觸碰所被偵測到之位置是「OK」鈕7102之位置的情況下(步驟S152,「Yes」),則令處理往步驟S155前進。在步驟S155中,部位指定部710,係基於抽出部位7103的位置及尺寸,而決定解析結果的抽出部位。部位指定部710,係將表示已決定之抽出部位的資訊(例如座標資訊),透過項目指定部711而交付給解析結果加工部712。
說明係回到圖40,於結果顯示部71中項目指定部711係對顯示器2,令已被部位指定部710所決定之抽出部位中用來指定作為顯示對象之解析結果之項目的指定畫面被顯示。項目指定部711,係隨著基於該當畫面而對輸入裝置25所進行的使用者操作,而決定作為顯示對象之解析結果之項目。
圖43係為可適用於實施形態的藉由項目指定部711而被顯示的指定畫面之例子的圖示。於圖43中,指定畫面7110係被配置有項目顯示部7111、和「OK」鈕7112。項目顯示部7111,係顯示出欲使解析結果被顯示的解析項目之一覽。在圖43的例子中,各個毛孔之解析結果(「毛孔」)、與細紋之解析結果(「細紋」)、與膚色之解析結果(「色」),係作為可指定的解析項目而被顯示。
項目指定部711,係一旦對項目顯示部7111中所被顯示的解析項目之一覽偵測到觸碰,就將觸碰所被偵測到之位置所對應之項目,指定作為顯示對象之解析項目。在圖43的例子中,係在毛孔之解析結果(「毛孔」)、及膚色之解析結果(「色」)的各項目之開頭標示勾選標記,表示它們已被指定成為顯示對象之解析項目的樣子。
項目指定部711,係在觸碰所被偵測到之位置是「OK」鈕7112之位置的情況下,將項目顯示部7111中已被標示勾選標記的解析項目所對應之解析結果,決定成為顯示對象之解析結果。項目指定部711,係將已被決定之解析項目,交付給解析結果加工部712。
說明係回到圖40,解析結果加工部712,係從解析結果記憶部705取得各解析結果,並進行加工。此時,解析結果加工部712,係從解析結果記憶部705,基於從部位指定部710所被交付之表示抽出部位的資訊、和從項目指定部711所被交付之項目,而取得解析結果。顯示資訊生成部713,係將用來使已被解析結果加工部712所加工之解析結果被顯示於顯示器2之畫面所需之顯示資訊,予以生成。
圖44係為實施形態所述之解析結果加工部712所致之解析結果之加工處理之一例的流程圖。在步驟S160中,解析結果加工部712,係關於抽出部位,針對各解析項目而抽出解析結果。更詳言之,解析結果加工部712,係針對從項目指定部711所被交付之解析項目之每一者,將從部位指定部710所被交付之抽出部位所示的範圍中所含之解析結果,從解析結果記憶部705加以取得。
在下個步驟S161中,解析結果加工部712,係針對步驟S160中已抽出之解析項目之解析結果之每一者而分別算出代表值。在下個步驟S162中,解析結果加工部712,係將用來顯示步驟S161中所算出之各代表值所需之圖形資料,予以生成。
將圖44中所說明的解析結果加工部712所致之解析結果之加工處理,使用圖45A~圖45C、及圖46A~圖46C來做更具體的說明。此外,此處係如使用圖43所說明,假設膚色之解析結果及毛孔之解析結果是被指定作為顯示對象之解析項目。
首先,使用圖45A~圖45C,說明膚色之解析結果之加工處理之例子。圖45A係為對應於上述的圖42B的圖,係為可適用於實施形態的,於指定畫面7110中對導引影像7101所被指定之抽出部位7103之例子的圖示。在圖45A的例子中,係在導引影像7101內的目視左側之臉頰部,被指定有抽出部位7103。
圖45B係為可適用於實施形態的顯示對象之各解析項目之中,基於膚色之解析結果的代表值之算出方法的說明圖。解析結果加工部712,係針對抽出部位7103中所含之各像素,分別抽出HSV空間中的成分H、S及V。具體而言,解析結果加工部712,係如圖45B所示,針對抽出部位7103中所含之n個之像素1000
、1001
、…、100n-1
之每一者,將HSV色彩空間中的各成分H、S及V之組(H0
, S0
, V0
)、(H1
, S1
, V1
)、…、(Hn-1
, Sn-1
, Vn-1
)予以抽出(步驟S160)。解析結果加工部712係例如藉由式(9)、(10)及(11),而將成分H、S及V之每一者的代表值Hbar
、Sbar
及Vbar
予以算出(步驟S161)。
此外,Hbar
、Sbar
及Vbar
係分別表示,於式(9)、(10)及(11)中在「H」、「S」及「V」的上方被標示有橫槓的值。又,式(9)、(10)及(11)係分別針對各成分H、S及V,算出像素1000
、1001
、…、100n-1
之平均值。解析結果加工部712,係將藉由式(9)、(10)及(11)而被算出之各成分H、S及V之各平均值,當作各成分H、S及V之代表值Hbar
、Sbar
及Vbar
來使用。
此外,在上述中,解析結果加工部712,雖然作為各成分H、S及V之代表值Hbar
、Sbar
及Vbar
,是使用像素1000
、1001
、…、100n-1
之各成分H、S及V之平均值,但其並非限定於此例。亦即,作為各成分H、S及V之代表值Hbar
、Sbar
及Vbar
,亦可使用像素1000
、1001
、…、100n-1
之各成分H、S及V之中央值或最頻繁值。
解析結果加工部712,係將用來顯示藉由式(9)、(10)及(11)而被算出之各成分H、S及V之代表值Hbar
、Sbar
及Vbar
所需之圖形,予以生成。圖45C係為實施形態所述之解析結果加工部712所生成的膚色之解析結果之圖形之例子的圖示。在圖45C的例子中,圖形7120,係在各成分H、S及V之中把成分H當作縱軸,把成分V當作橫軸,而將成分H之代表值Hbar
、成分V之代表值Vbar
予以作圖。
接著,使用圖46A~圖46C,說明毛孔之解析結果之加工處理之例子。圖46A係於圖45A所示的抽出部位7103中所被偵測到的毛孔之例子的圖示。解析結果加工部712,係將抽出部位7103中所被偵測到的毛孔,隨應於其尺寸(例如直徑),而分類成尺寸「大」、尺寸「中」及尺寸「小」之3階段。圖46A的例子中,係模式性圖示了,於抽出部位7103中,已被分類成尺寸「大」的毛孔7121L、已被分類成尺寸「中」的毛孔7121M、已被分類成尺寸「小」的毛孔7121S被偵測到的樣子。
解析結果加工部712,係將抽出部位7103中所被偵測到的毛孔之數量,在圖46B作為統計結果7122而表示,按照已被分類成3階段的毛孔之大小「大」、「中」及「小」之每一者而做統計。在圖46B的例子中係圖示了,大小已被分類成「大」的5個毛孔7121L、和大小已被分類成「中」的3個毛孔7121M、和大小已被分類成「小」的3個毛孔7121S,是在抽出部位7103中被偵測出來。在此例中,這些統計結果7122所示的,對於毛孔之各大小的個數之每一者,是作為毛孔之解析結果之代表值而使用。
解析結果加工部712,係將如圖46B所示般地用來顯示已被分類及統計之各尺寸「大」、「中」及「小」之毛孔7121L、7121M及7121S所需之圖形,予以生成。圖46C係為實施形態所述之解析結果加工部712所生成的毛孔之解析結果之圖形之例子的圖示。圖46C所示的圖形7123,係將圖46B中所被統計之各尺寸「大」、「中」及「小」之毛孔7121L、7121M及7121S之個數,以柱狀圖加以表示的例子。
解析結果加工部712,係將圖44之步驟S162中已生成之各圖形資料,交付給顯示資訊生成部713。
顯示資訊生成部713,係基於從解析結果加工部712所被交付之各圖形資料而將用來令解析結果顯示畫面被顯示於顯示器2之畫面所需之顯示資訊,予以生成。圖47係為可適用於實施形態的基於已被顯示資訊生成部713所生成之顯示資訊而被顯示在顯示器2的解析結果顯示畫面之例子的圖示。
在圖47的例子中,解析結果顯示畫面7130係被配置有:基於圖45C所示之圖形7120的影像7132、和基於圖46C所示之圖形7123的影像7131。使用者15,係藉由觀看該解析結果顯示畫面7130,就可客觀地得知肌膚之狀態之解析結果。
圖47所示的解析結果顯示畫面7130,係為將解析結果表現於畫面之情況的一例,並非限定於此例。亦即,圖45C所示之圖形7120、或圖46C所示之圖形7123,係用來表現膚色之解析結果或毛孔之解析結果所需的例子,並非限定於這些例子。例如,如圖5的右側的圖所示,可藉由將各解析結果之評價值所求出的數值當作圖形資料來使用的解析結果顯示畫面,來表現解析結果。又例如,亦可藉由將各解析結果之評價值所相應之影像(小圖示等)當作圖形資料來使用的解析結果顯示畫面,來表現解析結果。又甚至,顯示資訊生成部713,係亦可對使用者15,藉由聲音來提示解析結果。
5.實施形態的第1變形例
接著說明實施形態的第1變形例。在上述的實施形態中,雖然假設後置相機7是單焦點鏡頭所致之相機來做說明,但其並非限定於此例。實施形態的第1變形例,係將後置相機7設成使用了1個變焦鏡頭的相機的例子。
在實施形態的第1變形例中,例如,在藉由測定狀況判定部61,而被認為臉部的大小並非適切的情況下(參照圖25、步驟S94),則利用後置相機7之變焦機能來調整攝像影像中的臉部之大小,例如藉由圖7的步驟S10’而進行無閃光攝像,再度針對臉部的大小進行判定。藉由該判定,若臉部的大小被認為是適切的情況,則將變焦倍率固定成該倍率,而執行例如步驟S20的有閃光攝像。另一方面,即使進行變焦而臉部的大小仍被認為不適切的情況下,則測定狀況判定部61係例如,對測定指示部62發出指示,使其將用來催促使臉部從後置相機7遠離、或者靠近後置相機7的測定指示予以提示。
若依據實施形態的第1變形例,則在後置相機7與被攝體之間的較廣距離範圍中,可取得對肌膚解析而言為適切的攝像影像。
6.實施形態的第2變形例
接著說明實施形態的第2變形例。在上述的實施形態中,是使用1個後置相機7,來進行肌膚解析所需之攝像,但其並非限定於此例。在實施形態的第2變形例中,是在攝像裝置1的背面側11,設置使用單焦點鏡頭或是變焦鏡頭的後置相機7,並且設置相對於該後置相機7而更為廣角的鏡頭所致之相機(稱作廣角相機)的例子。
在實施形態的第2變形例中,例如,早於後置相機7所致之例如圖7的步驟S10’所致之無閃光攝像之前,先進行廣角相機所致之攝像,基於該攝像影像而特定出周圍環境的狀況、與後置相機7之視角中的被攝體之位置。後置相機7,係亦可為單焦點鏡頭之相機,也可為使用變焦鏡頭的相機。測定狀況判定部61,係基於藉由廣角相機所拍攝到的攝像影像,來推測使用後置相機7所拍攝到的攝像影像中的被攝體之位置。測定狀況判定部61,係在判定為所被推測之被攝體之位置並非適切的情況下,則向測定指示部62發出指示,以使其提示出催促後置相機7之視角之變更的測定指示。
若依據實施形態的第2變形例,則可隨著基於廣角相機之攝像影像而被推測的藉由後置相機7所拍攝時的攝像影像中的被攝體之位置,來變更後置相機7所致之視角,因此可較容易執行肌膚解析所需之攝像。
7.實施形態的第3變形例
接著說明實施形態的第3變形例。實施形態的第3變形例,係取代上述的實施形態的第2變形例中的廣角相機,改為適用具有略360°之視角的360°相機的例子。360°相機係例如,將使用了分別具有略180°之視角的魚眼鏡頭的2個相機,使攝像方向錯開180°而加以組合就可構成。
在該實施形態的第3變形例中也是,和上述的實施形態的第2變形例同樣地,例如,早於後置相機7所致之例如圖7的步驟S10’所致之無閃光攝像之前,先進行360°相機所致之攝像,基於該攝像影像而特定出周圍環境的狀況、與後置相機7之視角中的被攝體之位置。後置相機7,係亦可為單焦點鏡頭之相機,也可為使用變焦鏡頭的相機。測定狀況判定部61,係基於藉由360°相機而被拍攝到的攝像影像而判定為被攝體之位置並非適切的情況下,則向測定指示部62發出指示,以使其提示出催促後置相機7之視角之變更的測定指示。
若依據實施形態的第3變形例,則和上述的實施形態的第2變形例同樣地,可隨著基於360°相機之攝像影像而被推測的藉由後置相機7所拍攝時的攝像影像中的被攝體之位置,來變更後置相機7所致之視角,因此可較容易執行肌膚解析所需之攝像。
8.實施形態的第4變形例
接著說明實施形態的第4變形例。在實施形態的第4變形例中,係測定到被攝體為止的距離,基於所測定到的距離而進行測定指示部62所致之測定指示之提示的例子。
例如,早於後置相機7所致之例如圖7的步驟S10’所致之無閃光攝像之前,例如測定狀況判定部61,係先藉由距離感測器37來測定到被攝體的距離。不限於此,測定狀況判定部61,係亦可例如基於以攝像影像為基礎的自動對焦控制而測定距離。測定狀況判定部61,係基於所被測定到的距離來推測,使用後置相機7進行攝像時的攝像影像中的被攝體之大小及位置。測定狀況判定部61,係在判定為所推測出來的大小及位置並非適切的情況下,則向測定指示部62發出指示,以使其提示出催促把被攝體在攝像影像中的大小及位置變成適切的測定指示。
若依據實施形態的第4變形例,則是基於到被攝體為止的距離之測定結果來推測以後置相機7進行攝像時的攝像影像中的被攝體之大小及位置,隨應於推測結果而提示出催促將被攝體之攝像影像中的大小及位置變成適切的測定指示。因此,可較容易執行肌膚解析所需之攝像。
9.本揭露之技術所致之效果
在基於以智慧型手機等之機器拍攝自己所得之攝像影像來解析自己的臉部的肌膚之狀態的情況下,想定會因為相機性能的限制而不得不使用後置相機(主相機)的情況。此情況下,使用者係難以用顯示器來確認攝像之狀況,難以執行對肌膚解析而言為適切的攝像或測定。
實施形態及實施形態之各變形例所述之攝像裝置1,係將基於攝像影像所偵測到的被攝體之狀況、或周圍環境之狀況加以偵測,基於偵測結果而判定是否進行了對肌膚解析而言為適切的攝像,隨應於判定結果,對使用者提示出用來催促適切之攝像的指示。使用者係依照已被攝像裝置1所提示的指示來進行攝像,藉此就可容易地執行對肌膚解析而言為適切的攝像。
再者,實施形態及實施形態之各變形例所述之攝像裝置1,係使用從攝像裝置1所被輸出的語音、振動或是光、或鏡像文字等,來對使用者提示出用來催促適切之攝像的指示。因此,藉由使用實施形態及實施形態之各變形例所述之攝像裝置1,就可不必觀看顯示器,而執行對肌膚解析而言為適切的攝像。
10.其他構成
此外,本技術係亦可採取如以下之構成。
(1)
一種攝像裝置,係
具備:
判定部,係判定攝像部執行測定對象之攝像的狀況;和
提示部,係基於前記判定部所致之判定結果而進行催促前記狀況之更新的指示之提示;
前記提示部,係
在操作者把將前記攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的前記攝像部之鏡頭所存在的面朝向該操作者自己而進行攝像的狀態下,以該操作者所能辨識的方式進行前記提示。
(2)
如前記(1)所記載之攝像裝置,其中,
前記提示部,係
使用語音來進行前記提示。
(3)
如前記(1)或(2)所記載之攝像裝置,其中,
前記提示部,係
藉由控制前記顯示器之亮度,以進行前記提示。
(4)
如前記(3)所記載之攝像裝置,其中,
前記提示部,係
藉由隨應於前記判定部之判定結果而令前記亮度在時間方向上做變化,以進行前記提示。
(5)
如前記(3)所記載之攝像裝置,其中,
前記提示部,係
藉由令前記顯示器顯示出比周圍之領域的亮度還高的領域,隨應於前記判定部之判定結果而令該領域在該顯示器內的位置在時間方向上做變化,以進行前記提示。
(6)
如前記(1)或(2)所記載之攝像裝置,其中,
前記提示部,係
藉由令前記顯示器顯示出前記判定部所致之判定結果所相應之本文的鏡像文字,以進行前記提示。
(7)
如前記(1)乃至(6)之任一項所記載之攝像裝置,其中,
前記提示部,係
使用振動來進行前記提示。
(8)
如前記(1)乃至(7)之任一項所記載之攝像裝置,其中,
還具備:臉部偵測部,係從已被前記攝像部所拍攝的攝像影像中,偵測出作為前記測定對象的臉部;
前記判定部,係
基於已被前記臉部偵測部所偵測到的前記臉部來判定前記狀況。
(9)
如前記(8)所記載之攝像裝置,其中,
前記判定部,係
基於已被前記臉部偵測部所偵測到的前記臉部在前記攝像影像上的大小、位置及朝向之其中至少1者,來判定前記狀況。
(10)
如前記(1)乃至(9)之任一項所記載之攝像裝置,其中,
前記判定部,係
基於前記攝像部之周圍的環境中的光來判定前記狀況。
(11)
如前記(10)所記載之攝像裝置,其中,
還具備:明亮度偵測部,係偵測前記環境之明亮度;
前記判定部,係
基於已被前記明亮度偵測部所偵測到的前記環境之明亮度來判定前記狀況。
(12)
如前記(10)所記載之攝像裝置,其中,
還具備:臉部偵測部,係從已被前記攝像部所拍攝的攝像影像中,偵測出作為前記測定對象的臉部;
前記判定部,係
基於已被前記臉部偵測部所偵測到的前記臉部中的所定領域之明亮度來判定前記狀況。
(13)
如前記(10)所記載之攝像裝置,其中,
還具備:光源偵測部,係偵測前記環境中的光源之種類;
前記判定部,係
基於已被前記光源偵測部所偵測到的前記光源之種類來判定前記狀況。
(14)
如前記(1)乃至(13)之任一項所記載之攝像裝置,其中,
還具備:晃動偵測部,係偵測藉由前記攝像部不使用閃光而拍攝前記測定對象所得的第1攝像影像中所含之前記測定對象的位置、與藉由前記攝像部使用閃光而拍攝前記測定對象所得的第2攝像影像中所含之前記測定對象的位置的差分;
前記判定部,係
基於已被前記晃動偵測部所偵測到的前記差分來判定前記測定對象之狀況。
(15)
如前記(1)乃至(14)之任一項所記載之攝像裝置,其中,
還具備:運動偵測部,係偵測前記攝像部之運動;
前記判定部,係
基於已被前記運動偵測部所偵測到的前記攝像部之前記運動來判定前記測定對象之狀況。
(16)
如前記(1)乃至(15)之任一項所記載之攝像裝置,其中,
還具備:解析部,係基於藉由前記攝像部拍攝前記測定對象而得的攝像影像以對該測定對象進行解析;
前記解析部,係
在藉由前記判定部而判定為前記狀況已滿足所定之條件的情況下,進行前記解析。
(17)
一種攝像控制方法,係由處理器,
判定藉由攝像部所執行的測定對象之攝像的狀況;
基於前記判定之結果而將催促前記狀況之更新的指示之提示,在操作者把將前記攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的前記攝像部之鏡頭所存在的面朝向該操作者自己而進行攝像的狀態下,以該操作者所能辨識的方式而進行之。
(18)
一種攝像控制程式,係令電腦執行:
判定步驟,係判定由攝像部所執行的測定對象之攝像的狀況;和
提示步驟,係基於前記判定步驟所致之前記判定之結果而進行催促前記狀況之更新的指示之提示;
前記提示步驟,係
在操作者把將前記攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的前記攝像部之鏡頭所被設置的面朝向該操作者自己而進行攝像的狀態下,以該操作者所能辨識的方式進行前記提示。
1:攝像裝置
2:顯示器
3:受話用揚聲器
4:麥克風
5:操作件
6:通用揚聲器
7:後置相機
8:閃光燈
9:前置相機
10:正面側
11:背面側
15:使用者
20:CPU
21:ROM
22:RAM
23:顯示控制部
24:顯示裝置
25:輸入裝置
26:儲存體
27:資料I/F
28:通訊I/F
30:驅動器
31:驅動器
32:驅動器
33:振動器
34:驅動器
35:相機控制部
36:感測器I/F
37:距離感測器
38:照度感測器
39:角速度感測器
40:匯流排
51:全體控制部
52:UI部
53:攝像控制部
54:運動偵測部
55:肌膚解析部
60:測定部
61:測定狀況判定部
62:測定指示部
70:解析部
71:結果顯示部
80:解析結果顯示畫面
81:臉部
82a,82b,82c:分數
83:綜合分數
84,85:項目別分數
90:臉部
91L:左眼
91R:右眼
92:鼻
93:口
94:中心
95:臉頰領域
96:左上角
97a,97b:攝像影像
100,1000
,1001
,100n-1
:像素
101:框
102:區塊
110:畫框
111:領域
120:攝像影像(無閃光)
121:攝像影像(有閃光)
122:減算器
123:閃光影像
124:減算器
550:測定處理部
551:解析處理部
600:閃光控制部
601:攝像處理部
602:相機運動測定部
610:被攝體偵測部
611:影像晃動偵測部
612:環境明亮度偵測部
613:環境光源偵測部
614:相機運動偵測部
615:狀況判定部
616:理想狀況記憶部
620:指示生成部
621:指示表記憶部
622:指示提示部
700:細紋解析部
701:皺紋解析部
702:毛孔解析部
703:膚色解析部
704:斑紋解析部
705:解析結果記憶部
710:部位指定部
711:項目指定部
712:解析結果加工部
713:顯示資訊生成部
6210a,6210b,6211,6212,6213:指示表
6220a,6220b:語音
6230a,6230b,6231a,6231b:文字列影像
6232:鏡子
6233:鏡像
6240,6242:亮線
6241:手掌
6250,7101:導引影像
7030:攝像影像(無閃光)
7031:攝像影像(有閃光)
7032:減算器
7033:閃光影像
7034:色彩轉換處理
7035:HSV影像
7100:指示輸入用UI畫面
7102,7112:「OK」鈕
7103:抽出部位
7104:手指
7110:指定畫面
7111:項目顯示部
7120,7123:圖形
7121L,7121M,7121S:毛孔
7122:統計結果
7130:解析結果顯示畫面
7131,7132:影像
[圖1]可適用於實施形態的攝像裝置的外觀之例子的概略性圖示。
[圖2]可適用於實施形態的攝像裝置的硬體構成之一例的概略性圖示的區塊圖。
[圖3]用來說明實施形態所述之攝像裝置之機能所需之一例的機能區塊圖。
[圖4]用來更詳細說明肌膚解析部之機能所需之一例的機能區塊圖。
[圖5]實施形態所述之攝像裝置的使用形態的概略性圖示。
[圖6]實施形態所述之攝像裝置中的處理之流程的概略性圖示之一例的流程圖。
[圖7]實施形態所述之攝像裝置中的處理之流程的較具體性圖示之一例的流程圖。
[圖8]用來說明實施形態所述之測定部之機能所需之一例的機能區塊圖。
[圖9A]實施形態所述之無閃光攝像時的攝像處理之一例的流程圖。
[圖9B]實施形態所述之無閃光攝像時的攝像處理之一例的流程圖。
[圖10]用來說明實施形態所述之測定狀況判定部之機能所需之一例的機能區塊圖。
[圖11]實施形態所述之被攝體偵測部之處理之一例的流程圖。
[圖12A]對被攝體偵測部所被輸入之RAW影像之例子的圖示。
[圖12B]實施形態所述之去馬賽克處理所致之像素之例子的圖示。
[圖13]從實施形態所述之被攝體偵測部所偵測到的臉部所被抽出之特徵點之例子的圖示。
[圖14]實施形態中所被偵測的臉部之朝向的說明圖。
[圖15]實施形態所述之臉部的中心之推定方法的說明圖。
[圖16]實施形態所述之環境明亮度偵測部中的環境明亮度偵測之第2方法所致之處理之一例的流程圖。
[圖17]實施形態所述之環境之明亮度之偵測的第2方法所致之處理的說明圖。
[圖18]實施形態所述之環境之明亮度之偵測的第3方法所致之處理的說明圖。
[圖19]實施形態所述之影像晃動偵測部所致之影像晃動偵測處理之一例的流程圖。
[圖20]實施形態所述之特徵點間之距離及平均距離的算出處理的說明圖。
[圖21]實施形態所述之環境光源偵測部中的處理之流程的說明圖。
[圖22]實施形態所述之相機運動偵測部所致之處理之一例的流程圖。
[圖23]實施形態所述之理想狀況記憶部中所被記憶之各項目及各項目之值之例子的圖示。
[圖24]相機之運動之上限值的決定方法的說明圖。
[圖25]實施形態所述之狀況判定部所致之狀況判定處理之一例的流程圖。
[圖26]實施形態所述之狀況判定部中的環境明亮度之判定處理之一例的流程圖。
[圖27]實施形態所述之晃動判定之處理之一例的流程圖。
[圖28]用來說明實施形態所述之測定指示部之機能所需之一例的機能區塊圖。
[圖29A]實施形態所述之指示表之例子的圖示。
[圖29B]實施形態所述之指示表之例子的圖示。
[圖29C]實施形態所述之指示表之例子的圖示。
[圖29D]實施形態所述之指示表之例子的圖示。
[圖29E]實施形態所述之指示表之例子的圖示。
[圖30]實施形態所述之指示方法為「語音」時的指示內容之提示方法之例子的模式性圖示。
[圖31A]實施形態所述之指示方法為「光」時的指示內容之提示方法之例子的模式性圖示。
[圖31B]實施形態所述之指示方法為「光」時的指示內容之提示方法之例子的模式性圖示。
[圖32]實施形態所述之指示方法為「鏡面」時的指示內容之提示方法之例子的模式性圖示。
[圖33]實施形態所述之指示方法為「語音」時的指示內容之提示方法之例子的模式性圖示。
[圖34A]實施形態所述之指示方法為「光」時的指示內容之提示方法之例子的模式性圖示。
[圖34B]實施形態所述之指示方法為「光」時的指示內容之提示方法之例子的模式性圖示。
[圖35]實施形態所述之指示方法為「鏡面」時的指示內容之提示方法之例子的模式性圖示。
[圖36]實施形態所述之顯示器之畫面中所被顯示之導引影像之例子的圖示。
[圖37]實施形態所述之解析部之機能的說明用之一例的機能區塊圖。
[圖38]實施形態所述之解析部中的肌膚解析處理之一例的流程圖。
[圖39]可適用於實施形態的色彩解析處理及色彩空間轉換處理的說明圖。
[圖40]用來說明實施形態所述之結果顯示部之機能所需之一例的機能區塊圖。
[圖41]實施形態所述之部位指定部所致之抽出部位之決定處理之一例的流程圖。
[圖42A]可適用於實施形態的指示輸入用UI畫面之例子的圖示。
[圖42B]觸碰所被偵測到之位置不是「OK」鈕之位置時的例子的圖示。
[圖42C]可適用於實施形態的抽出部位之座標之算出方法之例子的圖示。
[圖43]可適用於實施形態的藉由項目指定部而被顯示的指定畫面之例子的圖示。
[圖44]實施形態所述之解析結果加工部所致之解析結果之加工處理之一例的流程圖。
[圖45A]可適用於實施形態的於指定畫面中對導引影像所被指定的抽出部位之例子的圖示。
[圖45B]可適用於實施形態的顯示對象之各解析項目之中,基於膚色之解析結果的代表值之算出方法的說明圖。
[圖45C]實施形態所述之解析結果加工部所生成的膚色之解析結果之圖形之例子的圖示。
[圖46A]於抽出部位中所被偵測到的毛孔之例子的圖示。
[圖46B]可適用於實施形態的於抽出部位中所被偵測到的毛孔之數量分類成3階段來加以統計之例子的圖示。
[圖46C]實施形態所述之解析結果加工部所生成的毛孔之解析結果之圖形之例子的圖示。
[圖47]可適用於實施形態的基於已被顯示資訊生成部所生成之顯示資訊而被顯示在顯示器的解析結果顯示畫面之例子的圖示。
1:攝像裝置
2:顯示器
15:使用者
80:解析結果顯示畫面
81:臉部
82a:分數
82b:分數
82c:分數
83:綜合分數
84,85:項目別分數
Claims (18)
- 一種攝像裝置,係 具備: 判定部,係判定攝像部執行測定對象之攝像的狀況;和 提示部,係基於前記判定部所致之判定結果而進行催促前記狀況之更新的指示之提示; 前記提示部,係 在操作者把將前記攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的前記攝像部之鏡頭所存在的面朝向該操作者自己而進行攝像的狀態下,以該操作者所能辨識的方式進行前記提示。
- 如請求項1所記載之攝像裝置,其中, 前記提示部,係 使用語音來進行前記提示。
- 如請求項1所記載之攝像裝置,其中, 前記提示部,係 藉由控制前記顯示器之亮度,以進行前記提示。
- 如請求項3所記載之攝像裝置,其中, 前記提示部,係 藉由隨應於前記判定部之判定結果而令前記亮度在時間方向上做變化,以進行前記提示。
- 如請求項3所記載之攝像裝置,其中, 前記提示部,係 藉由令前記顯示器顯示出比周圍之領域的亮度還高的領域,隨應於前記判定部之判定結果而令該領域在該顯示器內的位置在時間方向上做變化,以進行前記提示。
- 如請求項1所記載之攝像裝置,其中, 前記提示部,係 藉由令前記顯示器顯示出前記判定部所致之判定結果所相應之本文的鏡像文字,以進行前記提示。
- 如請求項1所記載之攝像裝置,其中, 前記提示部,係 使用振動來進行前記提示。
- 如請求項1所記載之攝像裝置,其中, 還具備:臉部偵測部,係從已被前記攝像部所拍攝的攝像影像中,偵測出作為前記測定對象的臉部; 前記判定部,係 基於已被前記臉部偵測部所偵測到的前記臉部來判定前記狀況。
- 如請求項8所記載之攝像裝置,其中, 前記判定部,係 基於已被前記臉部偵測部所偵測到的前記臉部在前記攝像影像上的大小、位置及朝向之其中至少1者,來判定前記狀況。
- 如請求項1所記載之攝像裝置,其中, 前記判定部,係 基於前記攝像部之周圍的環境中的光來判定前記狀況。
- 如請求項10所記載之攝像裝置,其中, 還具備:明亮度偵測部,係偵測前記環境之明亮度; 前記判定部,係 基於已被前記明亮度偵測部所偵測到的前記環境之明亮度來判定前記狀況。
- 如請求項10所記載之攝像裝置,其中, 還具備:臉部偵測部,係從已被前記攝像部所拍攝的攝像影像中,偵測出作為前記測定對象的臉部; 前記判定部,係 基於已被前記臉部偵測部所偵測到的前記臉部中的所定領域之明亮度來判定前記狀況。
- 如請求項10所記載之攝像裝置,其中, 還具備:光源偵測部,係偵測前記環境中的光的色溫; 前記判定部,係 基於已被前記光源偵測部所偵測到的前記色溫來判定前記狀況。
- 如請求項1所記載之攝像裝置,其中, 還具備:晃動偵測部,係偵測藉由前記攝像部不使用閃光而拍攝前記測定對象所得的第1攝像影像中所含之前記測定對象的位置、與藉由前記攝像部使用閃光而拍攝前記測定對象所得的第2攝像影像中所含之前記測定對象的位置的差分; 前記判定部,係 基於已被前記晃動偵測部所偵測到的前記差分來判定前記狀況。
- 如請求項1所記載之攝像裝置,其中, 還具備:運動偵測部,係偵測前記攝像部之運動; 前記判定部,係 基於已被前記運動偵測部所偵測到的前記攝像部之前記運動來判定前記狀況。
- 如請求項1所記載之攝像裝置,其中, 還具備:解析部,係基於藉由前記攝像部拍攝前記測定對象而得的攝像影像以對該測定對象進行解析; 前記解析部,係 在藉由前記判定部而判定為前記狀況已滿足所定之條件的情況下,進行前記解析。
- 一種攝像控制方法,係由處理器, 判定藉由攝像部所執行的測定對象之攝像的狀況; 基於前記判定之結果而將催促前記狀況之更新的指示之提示,在操作者把將前記攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的前記攝像部之鏡頭所存在的面朝向該操作者自己而進行攝像的狀態下,以該操作者所能辨識的方式而進行之。
- 一種攝像控制程式,係令電腦執行: 判定步驟,係判定由攝像部所執行的測定對象之攝像的狀況;和 提示步驟,係基於前記判定步驟所致之前記判定之結果而進行催促前記狀況之更新的指示之提示; 前記提示步驟,係 在操作者把將前記攝像部所致之攝像時的預視影像予以顯示的顯示器所存在的面的相反側的前記攝像部之鏡頭所存在的面朝向該操作者自己而進行攝像的狀態下,以該操作者所能辨識的方式進行前記提示。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019100660 | 2019-05-29 | ||
JP2019-100660 | 2019-05-29 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202114396A true TW202114396A (zh) | 2021-04-01 |
Family
ID=73552310
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109116501A TW202114396A (zh) | 2019-05-29 | 2020-05-19 | 攝像裝置、攝像控制方法及攝像控制程式 |
Country Status (2)
Country | Link |
---|---|
TW (1) | TW202114396A (zh) |
WO (1) | WO2020240989A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114245015A (zh) * | 2021-12-21 | 2022-03-25 | 维沃移动通信有限公司 | 一种拍摄提示方法、装置、电子设备及介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4389671B2 (ja) * | 2004-06-01 | 2009-12-24 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
JP2008118276A (ja) * | 2006-11-01 | 2008-05-22 | Sony Ericsson Mobilecommunications Japan Inc | カメラ付き移動機器およびその撮影支援方法 |
JP2011041133A (ja) * | 2009-08-17 | 2011-02-24 | Nec Saitama Ltd | 撮影装置及び撮影方法 |
-
2020
- 2020-03-13 WO PCT/JP2020/011020 patent/WO2020240989A1/ja active Application Filing
- 2020-05-19 TW TW109116501A patent/TW202114396A/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114245015A (zh) * | 2021-12-21 | 2022-03-25 | 维沃移动通信有限公司 | 一种拍摄提示方法、装置、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020240989A1 (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11568517B2 (en) | Electronic apparatus, control method, and non- transitory computer readable medium | |
KR102598109B1 (ko) | 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법 | |
TWI343208B (zh) | ||
KR101231469B1 (ko) | 이미지 처리 지원 방법, 장치, 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체 | |
EP3420721B1 (en) | Electronic device and operating method thereof | |
US20120275648A1 (en) | Imaging device and imaging method and program | |
JP5854280B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
US9838616B2 (en) | Image processing method and electronic apparatus | |
US10015374B2 (en) | Image capturing apparatus and photo composition method thereof | |
US8582891B2 (en) | Method and apparatus for guiding user with suitable composition, and digital photographing apparatus | |
US20120020568A1 (en) | Image processor and image processing method | |
US8830374B2 (en) | Image capture device with first and second detecting sections for detecting features | |
US9779290B2 (en) | Detecting apparatus, detecting method and computer readable recording medium recording program for detecting state in predetermined area within images | |
JP2006319534A (ja) | 撮影装置および方法並びにプログラム | |
US10270977B2 (en) | Imaging apparatus and a method of tracking a subject in the imaging apparatus | |
EP4072121A1 (en) | Photographing method and apparatus, storage medium, and electronic device | |
JP2011095985A (ja) | 画像表示装置 | |
JP2013162436A (ja) | 画像処理装置、画像処理方法、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体 | |
KR20100091844A (ko) | 촬상 장치 및 촬상 방법 | |
TW202114396A (zh) | 攝像裝置、攝像控制方法及攝像控制程式 | |
JP5229928B1 (ja) | 注視位置特定装置、および注視位置特定プログラム | |
JP5109779B2 (ja) | 撮影装置 | |
US8260083B2 (en) | Image processing method and apparatus, and digital photographing apparatus using the same | |
JP4632417B2 (ja) | 撮像装置、及びその制御方法 | |
JP5451364B2 (ja) | 被写体追跡装置及びその制御方法 |