[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TW202110184A - 發送裝置、接收裝置、及通訊系統 - Google Patents

發送裝置、接收裝置、及通訊系統 Download PDF

Info

Publication number
TW202110184A
TW202110184A TW109123519A TW109123519A TW202110184A TW 202110184 A TW202110184 A TW 202110184A TW 109123519 A TW109123519 A TW 109123519A TW 109123519 A TW109123519 A TW 109123519A TW 202110184 A TW202110184 A TW 202110184A
Authority
TW
Taiwan
Prior art keywords
image data
roi
data
information
processing unit
Prior art date
Application number
TW109123519A
Other languages
English (en)
Inventor
吉持直樹
Original Assignee
日商索尼半導體解決方案公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商索尼半導體解決方案公司 filed Critical 日商索尼半導體解決方案公司
Publication of TW202110184A publication Critical patent/TW202110184A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本揭示之一實施形態之發送裝置具備切出部、導出部、第1處理部及第2處理部。切出部自藉由拍攝而獲得之圖像資料，切出圖像資料所含之1個或複數個ROI圖像資料。導出部導出圖像資料中之ROI位置資訊。第1處理部基於1個或複數個ROI圖像資料、與圖像資料中之1個或複數個ROI位置資訊，產生對應於第1傳送方式之第1傳送資料。第2處理部基於1個或複數個ROI圖像資料、與圖像資料中之1個或複數個ROI位置資訊，產生對應於第2傳送方式之第2傳送資料。

Description

發送裝置、接收裝置、及通訊系統
本揭示係關於一種發送裝置、接收裝置、及通訊系統。
近年來，大量發送資料量較大之資料之用途不斷增加。容易對傳送系統施加較大之負載，最壞之情形時，有傳送系統宕機，而無法進行資料傳送之虞。
先前以來，為避免傳送系統宕機，進行例如特定攝影對象之物體，僅發送切出特定之物體之一部分圖像，而不發送所有拍攝之圖像。另，針對自拍攝之圖像切出一部分圖像之情況，記載於例如下文之專利文獻。 [先前技術文獻] [專利文獻]
[專利文獻1]日本專利特開2016-201756號公報 [專利文獻2]日本專利特開2014-39219號公報 [專利文獻3]日本專利特開2013-164834號公報 [專利文獻4]日本專利特開2012-209831號公報
然而，作為自影像感測器向應用程式處理器之傳送所用之方式，有時使用MIPI(Mobile Industry Processor Interface：行動產業處理器介面) CSI(Camera Serial Interface：相機串列介面)-2、MIPI CSI-3等。又，作為自應用程式處理器向顯示器之傳送所用之方式，有時使用SLVS-EC(Scalable Low Voltage Signaling Embedded Clock：可擴展性低電壓信號嵌入時脈)等。期望提供一種可對應複數種傳送方式之發送裝置、接收裝置、及通訊系統。
本揭示之一實施形態之發送裝置具備切出部、導出部、第1處理部及第2處理部。切出部自藉由拍攝而獲得之圖像資料，切出圖像資料所含之1個或複數個ROI圖像資料。導出部導出圖像資料中之ROI位置資訊。第1處理部基於1個或複數個ROI圖像資料、與圖像資料中之1個或複數個ROI位置資訊，產生對應於第1傳送方式之第1傳送資料。第2處理部基於1個或複數個ROI圖像資料、與圖像資料中之1個或複數個ROI位置資訊，產生對應於第2傳送方式之第2傳送資料。
於本揭示之一實施形態之發送裝置中，使自藉由攝像獲得之圖像資料切出圖像資料所含之1個或複數個ROI圖像資料、或導出圖像資料中之ROI位置資訊的處理區塊於第1傳送方式及第2傳送方式中共通化。
本揭示之一實施形態之接收裝置具備第1處理部、第2處理部及產生部。第1處理部自對應於第1傳送方式之第1傳送資料中，擷取1個或複數個圖像資料、與1個或複數個位置資訊。第2處理部自對應於第2傳送方式之第2傳送資料中，擷取1個或複數個圖像資料、與1個或複數個位置資訊。產生部基於由第1處理部或第2處理部擷取出之1個或複數個圖像資料、及1個或複數個位置資訊，產生藉由拍攝而獲得之攝像圖像資料所含之1個或複數個ROI圖像資料。
於本揭示之一實施形態之接收裝置中，使進行產生1個或複數個ROI圖像資料之處理的處理區塊於第1傳送方式及第2傳送方式中共通化。
本揭示之一實施形態之通訊系統具備發送裝置、與接收裝置。發送裝置具有與上述發送裝置共通之構成。接收裝置具有與上述接收裝置共通之構成。
於本揭示之一實施形態之通訊系統中，使自藉由拍攝而獲得之圖像資料切出圖像資料所含之1個或複數個ROI圖像資料、或導出圖像資料中之ROI位置資訊的處理區塊於第1傳送方式及第2傳送方式中共通化。再者，使進行產生1個或複數個ROI圖像資料之處理的處理區塊於第1傳送方式及第2傳送方式中共通化。
以下，參照圖式對用於實施本揭示之形態詳細地進行說明。以下之說明為本揭示之一具體例，本揭示並非限定於以下之態樣者。
＜1.實施形態＞ [構成] 近年來，於智慧型手機等行動設備或相機設備等，所處理之圖像資料之大容量化不斷發展，而對設備內或不同之設備間之資料傳送要求高速化且低消耗電力化。因響應此種要求，故作為面向行動設備或相機設備之連接介面，MIPI聯盟制定之C-PHY規格或D-PHY規格等所謂高速介面規格之標準化得到發展。C-PHY規格或D-PHY規格係通訊協定之實體層(physical layer：PHY)之介面規格。又，作為C-PHY規格或D-PHY規格之上階協定層，存在面向相機設備之CSI。又，作為面向相機設備之CSI，存在獨立規格之SLVS-EC。
本揭示之一實施形態之通訊系統1000係以MIPI CSI-2規格或MIPI CSI-3規格、及SLVS-EC規格之任一者收發信號之系統。通訊系統1000可應用於例如智慧型手機等通訊裝置、無人機(可進行遠距離操作之動作、或自控性之動作之機器)、汽車等移動體、PC(Personal Computer：個人電腦)等電腦、平板型裝置、遊戲機等各種電子機器。
圖1係顯示本實施形態之通訊系統1000之概略構成例者。通訊系統1000係應用於資料信號、時脈信號及控制信號之傳送者，具備圖像感測器100(發送裝置)及處理器200(接收裝置)。
圖像感測器100與處理器200藉由資料匯流排B1電性連接。資料匯流排B1係連接圖像感測器100與處理器200之一信號傳送路徑。表示自圖像感測器100發送之圖像之資料(以下，稱為「圖像資料」)經由資料匯流排B1自圖像感測器100向處理器200傳送。圖像感測器100與處理器200亦可藉由匯流排(控制匯流排B2)電性連接。控制匯流排B2係連接圖像感測器100與處理器200之另一信號傳送路徑，且與資料匯流排B1不同之傳送路徑。自處理器200發送之控制資料經由控制匯流排B2自處理器200向圖像感測器100傳送。
圖像感測器100具有攝像功能與發送功能，且發送藉由攝像產生之圖像資料。圖像感測器100於通訊系統1000中發揮發送裝置之作用。圖像感測器100包含例如“數位靜態相機或數位攝影機、立體照相機等攝像設備”、或“紅外線感測器”、“距離圖像感測器”等可產生圖像之任意方式之圖像感測器設備，並具有發送產生之圖像之功能。圖像感測器100中產生之圖像相當於表示圖像感測器100之感測結果之資料。稍後使用圖2對圖像感測器100之構成之一例進行詳細敘述。
圖像感測器100藉由稍後敘述之發送方法，發送與對圖像資料設定之區域對應之資料(以下，亦稱為「區域之圖像資料」)。發送區域之圖像資料之控制由例如圖像感測器100中作為圖像處理部發揮功能之構成要件(稍後敘述)進行。將對圖像設定之區域稱為ROI(Region Of Interest：關注區域)。於以下，將對圖像設定之區域稱為「ROI」。又，將區域之圖像資料稱為「ROI之圖像資料」。
作為對圖像設定區域之處理，列舉例如「自圖像檢測物體，設定包含檢測出之物體之區域之處理」、「設定藉由針對任意之操作設備之操作等指定之區域之處理」等可特定圖像之一部分區域的任意處理(或可自圖像切出一部分區域之任意處理)。
圖像感測器100藉由發送ROI之圖像資料，即圖像資料之一部分，較傳送圖像資料全體，縮小傳送之資料量。因此，藉由圖像感測器100發送ROI之圖像資料，發揮例如縮短傳送時間、減少通訊系統1000之傳送之負載等因資料量減小而取得之各種效果。另，圖像感測器100亦可發送圖像資料全體。
處理器200接收自圖像感測器100發送之資料，並處理接收到之資料。處理器200於通訊系統1000中發揮接收裝置之作用。稍後使用圖3對處理自圖像感測器100發送之資料之構成(用於發揮接收裝置之作用之構成)之一例進行詳細敘述。
處理器200由例如以MPU(Micro Processing Unit：微處理單元)等運算電路構成之1個或2個以上之處理器、或各種處理電路等構成。處理器200進行例如控制向記錄媒體記錄圖像資料之處理、控制向顯示設備之顯示畫面顯示圖像之處理、執行任意之應用軟體之處理等各種處理。作為記錄控制之處理，列舉例如“將包含記錄命令之控制資料與要記錄於記錄媒體之資料傳遞至記錄媒體之處理”。又，作為顯示控制之處理，列舉例如“將包含顯示命令之控制資料與要顯示於顯示畫面之資料傳遞至顯示設備之處理”。處理器200亦可藉由例如對圖像感測器100發送控制資訊，而控制圖像感測器100之功能。處理器200亦可藉由例如對圖像感測器100發送區域指定資訊，而控制自圖像感測器100發送之資料。
(封包之構造) 其次，對通訊系統1000中，自圖像感測器100向處理器200發送圖像所用之封包之構造之一例進行說明。於通訊系統1000中，將藉由圖像感測器100拍攝之圖像資料分割為列單位之部分圖像資料，並利用1個以上之封包發送每列之部分圖像資料。此係關於ROI之圖像資料亦同樣。
圖4係顯示通訊系統1000中發送圖像資料所用之封包(Packet)之構造之一例者。圖4中顯示以MIPI CSI-2規格或MIPI CSI-3規格發送圖像資料時所用之封包之構造之一例。圖5、圖6係顯示通訊系統1000中自圖像感測器100發送至處理器200之傳送資料137A之一例者。圖5、6中顯示以MIPI CSI-2規格或MIPI CSI-3規格發送圖像資料時所用之傳送資料137A之一例。
如圖4所示，發送圖像資料所用之封包規定為，於資料流中，以低功率模式LP開始，以低功率模式LP結束之一連串資料。又，於該封包中，依序排列包含有封包標頭PH、有效負載資料(Payload Data)、及封包註腳PF。於有效負載資料(以下，亦簡稱為「有效負載」)，包含有列單位之部分圖像之像素資料。
封包標頭PH係例如LongPacket之PayloadData之封包標頭。LongPacket意指配置於封包標頭PH與封包註腳PF之間之封包。LongPacket之PayloadData意指裝置間傳送之主要資料。於封包標頭PH，包含有例如DI、WC及ECC(Error-Correcting Code：錯誤校正碼)。DI係儲存資料識別碼之區域。於DI，包含有VC(虛擬通道)編號及DataType(資料類型)(各ROI之資料類型)。VC係為控制封包之流程而導入之概念，即用於支持共用同一鏈路之複數個獨立之資料流之機制。WC係用於對處理器200以字元數表示封包結束之區域。於WC，包含有例如Payload長度。Payload長度係例如LongPacket之Payload所包含之位元組數，例如各ROI之位元組數。ECC係包含用於對PayloadData進行錯誤檢測或更正之值之PayloadDataECC資訊。於ECC，包含有錯誤更正碼。
傳送資料137A由例如如圖5、圖6所示之圖像資料訊框構成。圖像資料訊框通常具有標頭區域、封包區域、及註腳區域。圖5、圖6中，為方便起見，省略註腳區域之記載。圖像資料訊框中，於標頭區域R1包含含有EmbeddedData(嵌入資料)、與用於對標頭資訊進行錯誤檢測或更正之標頭ECC資訊。EmbeddedData意指可嵌入於圖像資料訊框之標頭或註腳之追加資訊。此時，於EmbeddedData，包含有訊框編號、ROI數、及ROI資訊。標頭ECC資訊包含用於對標頭資訊進行錯誤檢測或更正之值。於標頭ECC資訊，包含有錯誤更正碼。
訊框編號係傳送資料137A之識別碼。ROI數係傳送資料137A所含之ROI之總數。ROI資訊係按傳送資料137A所含之各ROI設置之ROI相關之資訊。
ROI資訊包含例如圖像資料所含之1個或複數個ROI之區域編號(或優先度)、與圖像資料中之1個或複數個ROI之位置資訊。ROI之區域編號係按各ROI賦予之識別碼。ROI之優先度係按各ROI賦予之識別碼，即可判別對圖像資料中之複數個ROI之哪一者捨棄了重疊區域的判別資訊。
ROI之位置資訊包含例如ROI之左上端座標(Xa, Ya)、ROI之X軸方向之長度、及ROI之Y軸方向之長度。ROI之X軸方向之長度係例如ROI之X軸方向之實體區域長度XLa。ROI之Y軸方向之長度係例如ROI之Y軸方向之實體區域長度YLa。實體區域長度意指ROI之實體長度(資料長度)。於ROI之位置資訊中，亦可包含有與ROI之左上端不同之位置之座標。ROI之位置資訊進而包含例如ROI之X軸方向之輸出區域長度XLc、或ROI之Y軸方向之輸出區域長度YLc。輸出區域長度係例如對ROI進行拉開間距處理或像素加算等變更解析度後之ROI之實體長度(資料長度)。
ROI資訊除位置資訊以外，亦可按各ROI包含例如感測訊息、曝光資訊、增益資訊、AD(Analog-Digital：類比-數位)字長、及圖像格式等。感測訊息意指關於ROI所含之物體之運算內容、或針對ROI之圖像資料之後段信號處理用之補充資訊等。曝光資訊意指ROI之曝光時間。增益資訊意指ROI之增益資訊。AD字長意指ROI內經AD轉換之每1像素之資料之字長。圖像格式意指ROI之圖像格式。
又，如圖5、圖6所示，資料訊框中，於封包區域R2，按每1排包含有LongPacket之PayloadData，進而於隔開LongPacket之PayloadData之位置包含有封包標頭PH及封包註腳PF。再者，於隔開封包標頭PH與封包註腳PF之位置包含有低功率模式LP。
又，於封包區域R2，包含有壓縮圖像資料137B。壓縮圖像資料137B由1個壓縮圖像資料、或複數個壓縮圖像資料構成。此處，圖5中，於靠近封包標頭PH之封包群，包含有例如某ROI之壓縮圖像資料135C(135C1)，並於自封包標頭PH分離之封包群，包含有例如其他ROI之壓縮圖像資料135C(135C2)。由該等2個壓縮圖像資料135C1、135C2構成壓縮圖像資料137B。於各排之LongPacket之PayloadData，包含有壓縮圖像資料137B之1排量之像素資料。
圖7係顯示通訊系統1000中發送圖像資料所用之封包(Packet)之構造之一例者。於圖7，顯示以SLVS-EC規格發送圖像資料時所用之封包之構造之一例。圖8係顯示於通訊系統1000中自圖像感測器100發送至處理器200之傳送資料147A之一例者。
如圖7所示，發送圖像資料所用之封包規定為，於資料流中，以起始碼(Start code)開始，以結束碼(End Code)結束之一連串資料。又，於該封包，依序排列包含有標頭(Header)與有效負載資料(Payload Data)。又，亦可於有效負載資料之後，附加註腳(Footer)。於有效負載資料，包含有列單位之部分圖像之像素資料。於標頭，包含有與有效負載所含之部分圖像對應之列相關之各種資訊。於註腳，包含有附加之資訊(選項)。
封包之註腳亦可具有CRC選項或有效負載資料ECC選項。封包亦可具有以下(1)、(2)、(3)之任一要素。 (1)封包標頭＋有效負載資料 (2)封包標頭＋有效負載資料＋封包註腳 (3)封包標頭＋附ECC之有效負載資料
封包註腳具有用於以選項對有效負載資料進行錯誤檢測之有效負載資料ECC資訊。封包以TX LINK層合成，為了擷取有效負載資料或其他輔助資訊而以RX LINK層分解。對封包註腳中之選項(註腳選項)進行說明。內置時脈之高速串列資料傳送中，於作為有效負載資料傳送之像素資料之一部分，可能因PHY層之位元錯誤特性而產生隨機資料錯誤。因此，需考慮到像素資料被破壞之情況。有效負載資料錯誤檢測、更正之功能檢測此種像素資料之破損，並更正遭破壞之部位，使得介面全體之實效位元錯誤性能提高。
封包註腳進而具有用於以選項對有效負載資料進行錯誤更正之有效負載資料ECC資訊。錯誤更正電路之性能及成本可藉由該功能而最佳化，以補償錯誤容許度之系統級要件與PHY層中之位元錯誤特性間之差異。該功能亦為選項，可藉由配置暫存器(ECC選項)設定。
此處，對標頭所含之資訊進行說明。如圖7所示，於標頭依序包含有「Frame Start(訊框開始)」、「Frame End(訊框結束)」、「Line Valid(有效排)」、「Line Number(排號)」、「EBD Line(EBD 排)」、「Data ID(資料 ID)」、「Reserved(保留)」、及「Header ECC(標頭 ECC)」。
Frame Start係表示訊框之開端之1位元之資訊。例如，於傳送發送對象之圖像之資料中第1列之像素資料所用之封包之標頭之Frame Start設定1之值，於傳送其他列之像素資料所用之封包之標頭之Frame Start設定0之值。另，Frame Start相當於「表示訊框開始之資訊」之一例。
Frame End係表示訊框之終端之1位元之資訊。例如發送對象之圖像資料中將有效像素區域之終端排之像素資料包含於有效負載之封包之標頭之Frame End設定1之值，於傳送其他排之像素資料所用之封包之標頭之Frame End設定0之值。另，Frame End相當於「表示訊框結束之資訊」之一例。
Frame Start與Frame End相當於訊框相關之資訊即訊框資訊(Frame Information)之一例。
Line Valid係表示儲存於有效負載之像素資料之排是否為有效像素排之1位元之資訊。於傳送有效像素區域內之列之像素資料所用之封包之標頭之Line Valid設定1之值，於傳送其他排之像素資料所用之封包之標頭之Line Valid設定0之值。另，Line Valid相當於「表示對應之列是否有效之資訊」之一例。
Line Number(排號)係表示由儲存於有效負載之像素資料構成之列之列編號之13位元之資訊。
EBD Line係表示是否為具有嵌入之資料之列之1位元的資訊。即，EBD Line相當於「表示是否為具有嵌入之資料之列之資訊」之一例。
Data ID係於分為複數串傳送資料之情形時，用於識別各資料(即有效負載所含之資料)之4位元之資訊。另，Data ID相當於「有效負載所含之資料之識別資訊」之一例。
Line Valid、Line Number、EBD Line、及Data ID為關於列之資訊即列資訊(Line Information)。
Reserved係擴展用之27位元之區域。另，之後亦將作為Reserved顯示之該區域稱為「擴展區域」。又，標頭資訊全體之資料量成6位元組。
如圖7所示，緊接於標頭資訊配置之Header ECC中包含有基於6位元組之標頭資訊計算之2位元組之錯誤檢測碼即CRC(Cyclic Redundancy Check：循環冗餘檢查)碼。即，Header ECC相當於「用於對標頭資訊進行錯誤檢測或更正之資訊」之一例。又，Header ECC中，緊接著CRC碼，包含有2個與標頭資訊及CRC碼之組合即8位元組之資訊相同之資訊。
標頭配置於封包之開端，用於儲存在有效負載資料之前傳送之像素資料以外之附加資訊。標頭包含標頭資訊與標頭ECC，且附加資訊儲存於標頭資訊。標頭ECC儲存用於檢測標頭資訊之錯誤之CRC、以及重複2次之標頭資訊與CRC之組合。於標頭資訊之傳送中發生錯誤之情形時，其錯誤可藉由CRC檢測出，並使用重複傳送之其他(未檢測出錯誤)標頭資訊於RX側再生正確之標頭資訊。
訊框資訊主要為了於系統內確立訊框同步而傳送。同樣地，排資訊為了確立排同步而使用，假設該資訊係為了使用複數個SLVS-EC介面同時傳送複數個影像流時，再現RX側之各影像流間之同步關係而使用。如上所述，使用標頭ECC作為針對標頭資訊之傳送錯誤之對策。又，訊框資訊及排資訊自應用層(CIS)輸入，不於介面內進行處理而直接傳送至接收側應用層(DSP)。關於預約位元亦進行同樣之傳送處理。對此，於介面內產生標頭ECC，並追加至其他資訊而傳送，且假設該資訊由RX側鏈路層使用。
即，於1個封包之標頭，包含有3個相同之標頭資訊與CRC碼之組合。標頭全體之資料量係將第1組標頭資訊與CRC碼之組合之8位元組、第2組標頭資訊與CRC碼之組合之8位元組、及第3組標頭資訊與CRC碼之組合之8位元組合計而為24位元組。
此處，參照圖8，對設置於封包之標頭之擴展區域(Reserved)進行說明。如圖8所示，擴展區域相對於開端之3位元，設定表示與以封包發送之資訊對應之類別之資訊作為標頭資訊之類別(Header Info Type)。根據該標頭資訊之類別，決定設定於擴展區域中除指定該標頭資訊之類別之3位元外的剩餘24位元之區域之資訊之格式(即，設定資訊之類別或該資訊之位置)。藉此，接收側可確認標頭資訊之類別，藉此辨識於擴展區域中指定該標頭資訊之類別之區域以外之其他區域之哪個位置設定有哪種資訊，並讀出該資訊。
例如，圖8係顯示將封包之有效負載長度(換言之為列之長度)設為可變時之設定之一例，作為標頭資訊之類別設定、與對應於該設定之擴展區域之使用方法之一例。具體而言，於圖8所示之例中，對於標頭資訊之類別，設定與將有效負載長度設為可變時之類別對應之值。更具體而言，於圖8所示之例中，對於標頭資訊之類別設定「001」。即，於此情形時，標頭資訊之類別中對應於「001」之類別意指將有效負載長度設為可變時之類別。又，於圖8所示之例中，將擴展區域中之14位元分配為「Line Length(排長度)」。「Line Length」係用於通知有效負載長度之資訊。藉由此種構成，接收側可基於作為標頭資訊之類別而設定之值，辨識出有效負載長度為可變，且讀出擴展區域中作為「Line Length」而設定之值，藉此辨識有效負載長度。
圖9係顯示以SLVS-EC方式規格發送之傳送資料147A之格式之一例者。圖9中，模式性顯示以參照符號A1所示之一連串封包為要發送ROI之圖像資料之封包。又，以參照符號A2、A3所示之一連串封包，相當於與用於發送ROI之圖像資料之封包不同之封包。另，於以後之說明中，如要區分以參照符號A1、A2、A3所示之各封包，為方便起見，亦分別稱為「封包A1」、「封包A2」、及「封包A3」。即，於發送1訊框量之資料之期間，在發送一連串封包A1之前，發送一連串封包A2。又，於發送一連串封包之後，發送一連串封包A3。
於圖9所示之例，一連串封包A2中之至少一部分用於Embedded Data之發送。例如，Embedded Data可儲存於封包A2之有效負載並發送。又，作為另一例，Embedded Data亦可儲存於封包A2中之與有效負載不同之區域並發送。
Embedded Data相當於圖像感測器100附加發送之附加資訊(換言之，由圖像感測器100嵌入之資訊)，列舉例如關於圖像之攝像條件之資訊、或關於ROI之資訊等。於Embedded Data，包含有例如「ROI ID」、「左上方座標」、「高度」、「寛度」、「AD字長(AD bit(AD 位元))」、「曝光」、「增益」、及「感測資訊」等資訊。
「ROI ID」、「左上方座標」、「高度」、及「寛度」之資訊相當於關於圖像中設定之區域(ROI)之資訊，例如，於接收側用於復原該區域之圖像。具體而言，「ROI ID」係用於識別各區域之識別資訊。「左上方座標」相當於對圖像設定之區域在該圖像中之位置指標之座標，並顯示設定有該區域之矩形狀範圍中之左上方之頂點座標。又，「高度」及「寛度」表示設定有該區域之該矩形狀範圍之高度(垂直方向之寛度)及寛度(水平方向之寛度)。另，Embedded Data中之如尤其關於上述之「ROI ID」、「左上方座標」、「高度」、及「寛度」之區域(ROI)之資訊相當於第1封包(例如封包A2)所含之「區域資訊」之一例。
「曝光」之資訊表示區域(ROI)之攝像之曝光時間。「增益」之資訊表示該區域之攝像之增益。AD字長(AD bit)表示於該區域內經AD轉換之每1像素之資料之字長。作為感測資訊，列舉例如該區域所含之物體(被攝體)相關之運算內容、或用於補充針對該區域之圖像之後段信號處理之資訊等。
另，於圖9所示之例中，封包A2中之至少一部分被用於Embedded Data之發送，但亦可替代該封包A2，將封包A3之至少一部分用於Embedded Data之發送。又，於之後之說明中，亦將Embedded Data稱為「EBD」。
圖9中，「SC」表示「Start Code(開始碼)」，即表示封包開始之符號群。Start Code附加於封包之前。Start Code以例如3種K Character(字符)之組合即K28.5、K27.7、K28.2、及K27.7之4個符號顯示。
「EC」表示「End Code(結束碼)」，即表示封包結束之符號群。End Code附加於封包之後。End Code以例如3種K Character之組合即K28.5、K27.7、K30.7、及K27.7之4個符號顯示。
「PH」表示「封包標頭(Packet Header)」，相當於例如參照圖7說明之標頭。「FS」表示FS(Frame Start)封包。「FE」表示FE(Frame End)封包。
「DC」表示「Deskew Code(去偏斜碼)」，用於修正訊路間之Deskew Skew(資料偏斜)，即接收側之各訊路中接收到之資料之接收時序之偏差的符號群。Deskew Code以例如K28.5及Any**之4個符號顯示。
「IC」表示「Idle Code(閒置碼)」，於傳送封包資料時以外之期間重複發送之符號群。Idle Code以例如8B10B Code即D Character之D00.0(00000000)表示。
「DATA」表示儲存於有效負載之區域資料(即，與圖像中設定之區域對應之部分之像素資料)。
「XY」相當於顯示與儲存於有效負載之區域資料對應之部分區域之左端位置(圖像中之位置)作為X座標及Y座標之資訊。另，之後，亦將以「XY」所示之表示部分區域之左端位置之X座標及Y座標簡稱為「部分區域之XY座標」。
部分區域之XY座標儲存於封包A1之有效負載之開端。又，於連續發送之封包A1間，各自對應之部分區域之X座標無變更，且Y座標+1之情形時，可於後發送之封包A1中省略部分區域之XY座標。另，關於本控制，列舉具體之例另外予以後敘。
又，SLVS-EC中，針對沿水平方向設定有相互分開之複數個區域之列，發送對應於該等複數個區域各者之部分區域之區域資料之情形時，個別地產生關於該等複數個區域各者之封包A1並發送。即，針對沿水平方向設定有相互分開之2個區域之列，產生及發送2個封包A1。
(圖像感測器100) 圖2係顯示圖像感測器100之構成之一例者。圖2所記載之構成相當於CSI發送機之一具體例。圖像感測器100具備例如攝像部110、共通處理部120、MIPI處理部130、SLVS-EC處理部140及發送部150。圖像感測器100將藉由對以攝像部110獲得之圖像資料111進行特定處理而產生之傳送資料137A及傳送資料147A之任一者，經由資料匯流排B1發送至處理器200。
攝像部110將例如通過光學透鏡等獲得之光學性圖像信號轉換為圖像資料。攝像部110例如包含CCD(Charge Coupled Device：電荷耦合設備)影像感測器或CMOS(Complementary Metal Oxide Semiconductor：互補金屬氧化物半導體)影像感測器而構成。攝像部110具有類比-數位轉換電路，將類比之圖像資料轉換為數位之圖像資料。轉換後之資料格式可為以亮度成分Y及色差成分Cb、Cr表現各像素之顏色之YCbCr格式，亦可為RGB格式等。攝像部110將藉由攝像獲得之圖像資料111(數位之圖像資料)輸出至共通處理部120。
共通處理部120係對自攝像部110輸入之圖像資料111進行特定之處理之電路。共通處理部120於經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，對自攝像部110輸入之圖像資料111進行特定之處理。藉此，共通處理部120產生各種資料(1個或複數個ROI圖像資料112、1個或複數個ROI資訊116、訊框資訊117)，並輸出至MIPI處理部130、SLVS-EC處理部140。共通處理部120於經由控制匯流排B2自處理器200輸入指示輸出通常圖像之控制信號之情形時，對自攝像部110輸入之圖像資料111進行特定之處理。藉此，共通處理部120產生圖像資料119，並輸出至MIPI處理部130、SLVS-EC處理部140。
MIPI處理部130係基於自共通處理部120輸入之各種資料(1個或複數個ROI圖像資料112、1個或複數個ROI資訊116、訊框資訊117)，產生與MIPI CSI-2規格或MIPI CSI-3規格之傳送方式對應之傳送資料137A的電路。SLVS-EC處理部140係基於自共通處理部120輸入之各種資料(1個或複數個ROI圖像資料112、1個或複數個ROI資訊116、訊框資訊117)，產生對應於SLVS-EC規格之傳送方式之傳送資料147A的電路。發送部150將自MIPI處理部130及SLVS-EC處理部140之任一者傳遞之封包(傳送資料137A及傳送資料147A之任一者)按各列經由資料匯流排B1發送至處理器200。
共通處理部120具有例如ROI切出部121、ROI解析部122、重疊檢測部123、優先度設定部124及圖像處理控制部125。
ROI切出部121於經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，特定自攝像部110輸入之圖像資料111所含之攝影對象之1個或複數個物體，並按特定出之各物體設定ROI。ROI係例如包含特定出之物體之方形狀之區域。ROI切出部121自圖像資料111切出1個或複數個ROI圖像資料(1個或複數個ROI圖像資料112)。ROI切出部121自圖像資料111切出圖像資料111所含之1個或複數個ROI圖像資料112。ROI切出部121進而對設定之各ROI，賦予區域編號作為識別碼。ROI切出部121於例如圖像資料111中設定有2個ROI之情形時，對一ROI(ROI1)賦予區域編號1，對另一ROI(ROI2)賦予區域編號2。ROI切出部121將例如賦予之識別碼(區域編號)儲存於記憶部。ROI切出部121將例如自圖像資料111切出之各ROI圖像資料112儲存於記憶部。ROI切出部121進而將例如賦予至各ROI之識別碼(區域編號)與ROI圖像資料112建立關聯，並儲存於記憶部。另，ROI切出部121於經由控制匯流排B2自處理器200輸入指示輸出通常圖像之控制信號之情形時，對自攝像部110輸入之圖像資料111進行特定之處理，藉此，產生圖像資料119。
ROI解析部122按各ROI導出圖像資料111中之ROI之位置資訊113。ROI解析部122將例如導出之位置資訊113儲存於記憶部。ROI解析部122與例如對ROI賦予之識別碼(區域編號)建立關聯，並儲存於記憶部。
重疊檢測部123於圖像資料111中，特定出攝像對象之複數個物體時，基於圖像資料111中之複數個ROI之位置資訊113，檢測2個以上之ROI彼此重合之重疊區域(ROO(Region Of Overlap))。即，重疊檢測部123按各重疊區域ROO，導出圖像資料111中之重疊區域ROO之位置資訊114。重疊檢測部123將例如導出之位置資訊114儲存於記憶部。重疊檢測部123將例如導出之位置資訊114與重疊區域ROO建立對應，並儲存於記憶部。重疊區域ROO係例如相互重合之2個以上之ROI中與最小之ROI相同之大小，或較其更小之方形狀之區域。
優先度設定部124於圖像資料111中，對各ROI賦予優先度115。優先度設定部124將例如賦予之優先度115儲存於記憶部。優先度設定部124將例如賦予之優先度115與ROI建立對應，並儲存於記憶部。優先度設定部124可與按各ROI賦予之區域編號不同，而按各ROI賦予優先度115，亦可使賦予至各ROI之區域編號代替優先度115。優先度設定部124例如可將優先度115與ROI建立關聯而儲存於記憶部，亦可將按各ROI賦予之區域編號與ROI建立關聯，並儲存於記憶部。
優先度115係各ROI之識別碼，即可判別對圖像資料111中之複數個ROI之哪一者捨棄了重疊區域ROO的資訊。優先度設定部124於例如各自包含重疊區域ROO之2個ROI中，對一ROI賦予1作為優先度115，對另一ROI賦予2作為優先度115。於此情形時，作成稍後敘述之傳送圖像資料135A時，對優先度115之數值較大之ROI，捨棄重疊區域ROO。另，優先度設定部124亦可對ROI賦予與按各ROI賦予之區域編號相同之編號作為優先度115。優先度設定部124將例如賦予至各ROI之優先度115與ROI圖像資料112建立關聯，並儲存於記憶部。優先度設定部124將按各ROI賦予之區域編號或優先度115輸出至MIPI處理部130及SLVS-EC處理部140。
圖像處理控制部125產生ROI資訊116及訊框資訊117，並輸出至MIPI處理部130及SLVS-EC處理部140。ROI資訊116包含例如各位置資訊113。ROI資訊116進而包含例如各ROI之資料類型、圖像資料111所含之ROI之數、重疊區域之位置資訊114、各ROI之區域編號(或優先度115)、各ROI之資料長度、及各ROI之圖像格式中之至少一個。訊框資訊117包含例如按各訊框賦予之虛擬通道之編號、各ROI之資料類型、及各排之有效負載長度等。於資料類型，包含有例如YUV資料、RGB資料或RAW資料等。於資料類型，進而包含有例如ROI格式之資料或普通格式之資料等。
MIPI處理部130係基於自共通處理部120輸入之各種資料(1個或複數個ROI圖像資料112、1個或複數個ROI資訊116、訊框資訊117)，產生對應於MIPI CSI-2規格或MIPI CSI-3規格之傳送方式之傳送資料137A並送出的電路。MIPI處理部130以EmbeddedData送出圖像資料111中關於各ROI之ROI資訊116。MIPI處理部130進而於經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，以LongPacket之PayloadData送出各ROI之圖像資料(壓縮圖像資料135C)。此時，MIPI處理部130以相互共通之虛擬通道送出各ROI之圖像資料(壓縮圖像資料135C)。又，MIPI處理部130藉由圖像資料訊框送出各ROI之圖像資料(壓縮圖像資料135C)，且以圖像資料訊框之標頭送出關於各ROI之ROI資訊116。又，MIPI處理部130於經由控制匯流排B2自處理器200輸入指示輸出通常圖像之控制信號之情形時，以LongPacket之PayloadData送出通常圖像資料(壓縮圖像資料135D)。
MIPI處理部130具有例如LINK控制部131、ECC產生部132、PH產生部133、EBD緩衝器134、編碼部135、ROI資料緩衝器136及合成部137。
LINK控制部131將例如訊框資訊117按各排輸出至ECC產生部132及PH產生部133。ECC產生部132基於例如訊框資訊117中之1排資料(例如虛擬通道之編號、各ROI之資料類型、各排之Payload長度等)，產生該排之錯誤更正碼。ECC產生部132將例如產生之錯誤更正碼輸出至PH產生部133。PH產生部133使用例如訊框資訊117、與由ECC產生部132產生之錯誤更正碼，逐排產生封包標頭PH。PH產生部143將產生之封包標頭PH輸出至合成部147。
EBD緩衝器134暫時儲存1個或複數個ROI資訊116，並於特定之時序將1個或複數個ROI資訊116作為EmbeddedData輸出至合成部137。
編碼部135於經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，基於自圖像資料111獲得之1個或複數個ROI圖像資料112、與對應於1個或複數個ROI圖像資料112之優先度115，產生1個或複數個傳送圖像資料135A。編碼部135為了於自圖像資料111獲得之複數個ROI圖像資料112中不重複包含重疊區域ROO之圖像資料135B，而產生自由圖像資料111獲得之複數個ROI圖像資料112捨棄圖像資料135B者即複數個傳送圖像資料135A。
編碼部135進而於經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，對1個或複數個傳送圖像資料135A進行編碼，並產生壓縮圖像資料135C。編碼部135藉由以例如依據JPEG(Joint Photographic Experts Group：聯合影像專家組)規格之壓縮格式等壓縮1個或複數個傳送圖像資料135A，而產生壓縮圖像資料135C。編碼部135於經由控制匯流排B2自處理器200輸入指示輸出通常圖像之控制信號之情形時，對圖像資料119進行編碼，產生壓縮圖像資料135D。編碼部135藉由以例如依據JPEG規格之壓縮格式等壓縮圖像資料119，而產生壓縮圖像資料135E。
ROI資料緩衝器136暫時儲存壓縮圖像資料135C或壓縮圖像資料135D，並於特定之時序將壓縮圖像資料135C或壓縮圖像資料135D作為LongPacket之PayloadData輸出至合成部137。
合成部137基於輸入之各種資料(封包標頭PH、ROI資訊116、及壓縮圖像資料135C或壓縮圖像資料135D)，產生傳送資料137A。合成部137將產生之傳送資料137A輸出至發送部150。即，合成部137將DataType(各ROI之資料類型)包含於LongPacket之PayloadData之封包標頭PH內並送出。又，合成部137以相互共通之虛擬通道送出各ROI之圖像資料(壓縮圖像資料135C)。合成部137將ROI資訊116作為EmbeddedData合成至傳送資料137A。合成部137將包含EmbeddedData之標頭資訊、與用於對標頭資訊進行錯誤檢測或更正之標頭ECC資訊合成至傳送資料137A。合成部137將用於對PayloadData進行錯誤檢測或更正之PayloadDataECC資訊合成至傳送資料137A。合成部137將壓縮圖像資料135C或壓縮圖像資料135D作為PayloadData合成至傳送資料137A。
合成部137於例如傳送資料137A之封包區域R2中，按壓縮圖像資料135C之各像素列分開配置壓縮圖像資料135C。因此，於傳送資料137A之封包區域R2，未重複包含與重疊區域ROO之圖像資料135B對應之壓縮圖像資料。又，合成部137於例如傳送資料137A之封包區域R2中，捨棄圖像資料111中不與各傳送圖像資料135A對應之像素列。因此，於傳送資料137A之封包區域R2中，未包含圖像資料111中不與各傳送圖像資料135A對應之像素列。另，於圖6之封包區域R2中，虛線所包圍之部位相當於重疊區域ROO之圖像資料135B之壓縮圖像資料。
靠近封包標頭PH之封包群(例如圖6中之1(n))、與自封包標頭PH分離之封包群(例如圖6中之2(1))之邊界係根據與靠近封包標頭PH之封包群(例如圖6中之1(n))之壓縮圖像資料對應之ROI圖像資料112之實體區域長度XLa1而特定。於與靠近封包標頭PH之封包群(例如圖6中之1(n))所含之重疊區域ROO之圖像資料135B對應之壓縮圖像資料中，封包之開始位置係根據與自封包標頭PH分離之封包群(例如圖6中之2(1))對應之ROI圖像資料112之實體區域長度XLa2而特定。
合成部137於例如傳送資料137A之封包區域R2中，按各排產生LongPacket之PayloadData時，於LongPacket之PayloadData中，除例如壓縮圖像資料135C中之1排量之像素資料以外，亦可包含例如ROI資訊116。即，合成部137亦可將ROI資訊116包含於LongPacket之PayloadData內並送出。此時，ROI資訊116包含例如圖像資料111所含之ROI之數(ROI數)、各ROI之區域編號(或優先度115)、各ROI之資料長度、及各ROI之圖像格式中之至少一個。ROI資訊116較佳於LongPacket之PayloadData中，配置於封包標頭PH側之端部(即，LongPacket之PayloadData之開端)。
SLVS-EC處理部140係基於自共通處理部120輸入之各種資料(1個或複數個ROI圖像資料112、1個或複數個ROI資訊116、訊框資訊117)，產生並送出對應於SLVS-EC規格之傳送方式之傳送資料147A的電路。SLVS-EC處理部140進而於經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，以PayloadData送出各ROI之圖像資料(壓縮圖像資料145C)。又，SLVS-EC處理部140於經由控制匯流排B2自處理器200輸入指示輸出通常圖像之控制信號之情形時，送出通常圖像資料(壓縮圖像資料145D)。
SLVS-EC處理部140具有例如LINK控制部141、ECC產生部142、PH產生部143、EBD緩衝器144、編碼部145、ROI資料緩衝器146及合成部147。
LINK控制部141將例如訊框資訊117按各排輸出至ECC產生部142及PH產生部143。ECC產生部142基於例如訊框資訊117中之1排資料(例如，Frame Start或Frame End等)，產生該排之錯誤更正碼。ECC產生部142將例如產生之錯誤更正碼輸出至PH產生部143。PH產生部143使用例如訊框資訊117、與由ECC產生部142產生之錯誤更正碼號，逐排產生封包標頭。PH產生部143於發送區域資料之情形時，如上所述，對封包標頭之擴展區域設定表示發送區域之資訊(例如區域資料)之資訊作為標頭資訊之類別。且，PH產生部143對擴展區域之至少一部分，設定表示利用有效負載發送區域之資料之資訊。又，PH產生部143就對有效負載插入區域座標之封包，對擴展區域之至少一部分，設定表示利用有效負載發送區域座標之資訊。PH產生部143將產生之封包標頭輸出至合成部147。另，PH產生部143亦可不將區域資料置於有效負載內，而將其置於EmbeddedData內。
EBD緩衝器144暫時儲存自共通處理部120傳遞之附加資訊(1個或複數個ROI資訊116)，並於特定之時序將1個或複數個ROI資訊116作為EmbeddedData輸出至合成部147。
編碼部145當經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，基於自圖像資料111獲得之1個或複數個ROI圖像資料112、與對應於1個或複數個ROI圖像資料112之優先度115，產生1個或複數個傳送圖像資料145A。編碼部145為了於自圖像資料111獲得之複數個ROI圖像資料112中避免重複包含重疊區域ROO之圖像資料145B，而產生從自圖像資料111獲得之1個或複數個ROI圖像資料112中捨棄圖像資料145B者、即複數個傳送圖像資料145A。
編碼部145進而當經由控制匯流排B2自處理器200輸入指示切出ROI之控制信號之情形時，對1個或複數個傳送圖像資料145A進行編碼，產生壓縮圖像資料145C。編碼部145藉由以例如依據JPEG規格之壓縮格式等壓縮1個或複數個傳送圖像資料145A，而產生壓縮圖像資料145C。編碼部145當經由控制匯流排B2自處理器200輸入指示輸出通常圖像之控制信號之情形時，對圖像資料119進行編碼，產生壓縮圖像資料145D。編碼部145藉由以例如依據JPEG規格之壓縮格式等壓縮圖像資料119，產生壓縮圖像資料145D。
ROI資料緩衝器146暫時儲存壓縮圖像資料145C或壓縮圖像資料145D，並於特定之時序將壓縮圖像資料145C或壓縮圖像資料145D輸出至合成部147。
合成部147基於輸入之各種資料(封包標頭、附加資訊、及壓縮圖像資料145C或壓縮圖像資料145D)，產生傳送資料147A。合成部147將ROI資訊116作為EmbeddedData合成至傳送資料147A。合成部147將包含EmbeddedData之標頭資訊、與用於對標頭資訊進行錯誤檢測或更正之標頭ECC資訊合成至傳送資料147A。合成部147將產生之傳送資料147A輸出至發送部150。合成部147將用於對PayloadData進行錯誤檢測或更正之PayloadDataECC資訊合成至傳送資料147A。合成部147將壓縮圖像資料145C或壓縮圖像資料145D作為PayloadData合成至傳送資料147A。
例如，於設定3個ROI(ROI1、ROI2、ROI3)之情形時，合成部147以封包A2發送各ROI之區域資訊作為附加資訊(Embedded Data)之一部分，以封包A1按各列發送對應於各ROI之區域資料。
發送部150將傳送資料137A及傳送資料147A之任一者經由資料匯流排B1發送至處理器200。發送部150將自合成部137及合成部147之任一者傳遞之封包按各列經由資料匯流排B1發送至處理器200。發送部150之輸出連接於例如與資料匯流排B1連接之輸出引腳P1。
(處理器200) 其次，對處理器200進行說明。圖3係顯示處理器200之構成之一例者。圖3所記載之構成相當於CSI接收機之一具體例。處理器200係以例如與圖像感測器100共通之規格(例如MIPI CSI-2規格或MIPI CSI-3規格、及SLVS-EC規格之任一者)接收信號之裝置。
處理器200具有例如MIPI處理部210、SLVS-EC處理部220及共通處理部230。MIPI處理部210及SLVS-EC處理部220如下之電路：經由資料匯流排B1接收自圖像感測器100輸出之傳送資料137A及傳送資料147A之任一者，對接收到之傳送資料進行特定之處理，藉此產生各種資料(112、116、117)，並將其輸出至共通處理部230。MIPI處理部210之輸入、與SLVS-EC處理部220之輸入連接於例如與資料匯流排B1連接之共通之輸入引腳P2。藉此，與分開設置輸入引腳之情形相比，可減少輸入引腳之數。於MIPI處理部210之輸出即各種資料(112、116、117)、與SLVS-EC處理部220之輸出即各種資料(112、116、117)中，資料格式彼此相同。
共通處理部230係基於自MIPI處理部210及SLVS-EC處理部220之任一者接收到之各種資料(112、116、117)，產生ROI圖像233A之電路。共通處理部230係基於自MIPI處理部210及SLVS-EC處理部220之任一者接收到之資料(119)，產生通常圖像234A之電路。因MIPI處理部210之輸出、與SLVS-EC處理部220之輸出中的資料格式彼此相同，故未對共通處理部230設置針對MIPI處理部210之輸出之專用處理電路、或針對SLVS-EC處理部220之輸出之專用處理電路。即，共通處理部230係可於共通之處理電路中處理MIPI處理部210及SLVS-EC處理部220之任一者之輸出。
MIPI處理部210自對應於MIPI CSI-2規格或MIPI CSI-3規格之傳送資料137A擷取1個或複數個ROI圖像資料112、與1個或複數個ROI資訊116。MIPI處理部210具有例如標頭分離部211、標頭解釋部212、Payload分離部213、EBD解釋部214、ROI資料分離部215、資訊擷取部216、ROI解碼部217及通常圖像解碼部218。
標頭分離部211經由資料匯流排B1自圖像感測器100接收傳送資料137A。即，標頭分離部211接收將關於圖像資料111中之各ROI之ROI資訊116包含於EmbeddedData，且將各ROI之圖像資料(壓縮圖像資料135C)包含於LongPacket之PayloadData的傳送資料137A。標頭分離部211依據以MIPI CSI-2規格或MIPI CSI-3規格規定之規則，分離接收到之傳送資料137A。標頭分離部211將例如接收到之傳送資料137A分離為標頭區域R1與封包區域R2。
標頭解釋部212基於標頭區域R1所含之資料(具體而言為EmbeddedData)，特定封包區域R2所含之LongPacket之PayloadData之位置。Payload分離部213基於由標頭解釋部212特定出之LongPacket之PayloadData之位置，自封包區域R2分離出封包區域R2所含之LongPacket之PayloadData。
EBD解釋部214將EmbeddedData作為EBD資料214A，輸出至資訊擷取部216。EBD解釋部214進而根據EmbeddedData所含之資料類型，判別LongPacket之PayloadData所含之圖像資料是ROI之圖像資料(ROI圖像資料112)之壓縮圖像資料135C，還是通常圖像資料(圖像資料119)之壓縮圖像資料135D。EBD解釋部214例如將其之判別結果輸出至ROI資料分離部215。
於LongPacket之PayloadData所含之圖像資料為ROI之圖像資料(ROI圖像資料112)之壓縮圖像資料135C之情形時，ROI資料分離部215將例如LongPacket之PayloadData作為PayloadData215A，輸出至ROI解碼部217。於PayloadData所含之圖像資料為通常圖像資料(圖像資料119)之壓縮圖像資料135D之情形時，ROI資料分離部215將LongPacket之PayloadData作為PayloadData215B，輸出至通常圖像解碼部218。於LongPacket之PayloadData包含有ROI資訊116之情形時，PayloadData215A包含ROI資訊116、與壓縮圖像資料135C中1排量之像素資料。
資訊擷取部216自例如EBD資料214A所含之EmbeddedData，擷取1個或複數個ROI資訊116。資訊擷取部216自例如EBD資料214A所含之EmbeddedData，擷取例如圖像資料111所含之ROI之數、各ROI之區域編號(或優先度115)、各ROI之資料長度、及各ROI之圖像格式。即，傳送資料137A包含對應於各ROI圖像資料112之ROI之區域編號(或優先度115)，作為可判別對自該傳送資料137A獲得之複數個ROI圖像資料112之哪一者捨棄了重疊區域ROO之圖像118之判別資訊。
資訊擷取部216自例如EBD資料214A所含之EmbeddedData，擷取對應於某ROI資訊112之ROI之座標(例如左上端座標(Xa1, Ya1))、長度(例如實體區域長度XLa1，YLa1)及區域編號1(或優先度115(=1))。資訊擷取部216進而自例如EBD資料214A所含之EmbeddedData，擷取對應於另一ROI圖像資料112之ROI之座標(例如左上端座標(Xa2, Ya2))、長度(例如實體區域長度XLa2，YLa2)及區域編號2(或優先度115(=2))。
通常圖像解碼部218解碼PayloadData215B，產生通常圖像資料218A。ROI解碼部217解碼PayloadData215A所含之壓縮圖像資料137B，產生圖像資料217A。該圖像資料217A由1個或複數個ROI圖像資料112構成。
SLVS-EC處理部220自對應於SLVS-EC規格之傳送資料147A，擷取1個或複數個ROI圖像資料112、與1個或複數個ROI資訊116。SLVS-EC處理部220具有例如標頭分離部221、標頭解釋部222、Payload分離部223、EBD解釋部224、ROI資料分離部225、資訊擷取部226、ROI解碼部227及通常圖像解碼部228。
標頭分離部221經由資料匯流排B1自圖像感測器100接收傳送資料147A。標頭分離部211將接收到之傳送資料147A依據以SLVS-EC規格規定之規則，分離傳送資料147A。
標頭解釋部222解釋標頭資料所示之內容。作為具體之一例，標頭解釋部222根據設定於封包標頭之擴展區域之開端3位元處之標頭資訊之類別，辨識設定於擴展區域中除該開端3位元以外之其他區域之資訊之格式。且，標頭解釋部222根據該格式之辨識結果，讀出設定於擴展區域之各種資訊。藉此，標頭解釋部222可辨識例如基於設定於擴展區域之資訊，發送區域(ROI)之資訊(例如，區域資料)的情況、或利用有效負載發送區域之座標的情況。且，標頭解釋部222將根據設定於擴展區域之各種資訊之讀出結果辨識出之設定通知至Payload分離部223。具體而言，標頭解釋部222於辨識出發送區域(ROI)之資訊(例如區域資料)的情況、或利用有效負載發送區域之座標的情況時，將該辨識結果通知至Payload分離部223。
Payload分離部223基於標頭解釋部222之解釋結果，自有效負載資料分離附加資訊及圖像資料(通常資料或區域資料)。例如，於處理對象之封包為封包A2或A3之情形時，Payload分離部223亦可自該封包分離附加資訊(Embedded Data)。
又，作為另一例，於處理對象之封包為封包A1之情形時，Payload分離部223自有效負載資料分離圖像資料。例如，於有效負載儲存有區域資料之情形時，Payload分離部223亦可根據封包標頭之解釋結果，自有效負載資料分離該區域資料。又，此時Payload分離部223可根據封包標頭之解釋結果，分離插入至有效負載之開端部分之區域的座標(即，部分區域之XY座標)。又，於有效負載儲存有通常資料之情形時，Payload分離部223亦可根據封包標頭之解釋結果，自有效負載資料分離該通常資料。
Payload分離部223於自有效負載資料分離出之各種資料中的附加資訊傳送至EBD解釋部224。又，Payload分離部223將自有效負載資料分離出之各種資料中的圖像資料(區域資料、或通常資料)傳送至ROI資料分離部225。又，此時，Payload分離部223亦可將區域資料、與對應於該區域資料之區域之座標(即，部分區域之XY座標)建立關聯，並傳送至ROI資料分離部225。
EBD解釋部224解釋附加資訊(Embedded Data)之內容，並將該附加資訊之解釋結果224A輸出至資訊擷取部226。又，EBD解釋部224亦可將該附加資訊之解釋結果224A傳送至ROI資料分離部225。另，關於附加資訊(Embedded Data)之格式，參照圖9如上所述。
於自Payload分離部223傳送之圖像資料為ROI圖像資料112之壓縮圖像資料120A之情形時，ROI資料分離部225將自有效負載資料分離出之圖像資料作為PayloadData215A輸出至ROI解碼部227。於自Payload分離部223傳送之圖像資料為通常圖像資料之壓縮圖像資料130A之情形時，ROI資料分離部225將自有效負載資料分離出之圖像資料作為PayloadData215B輸出至通常圖像解碼部228。
資訊擷取部226自附加資訊之解釋結果224A，擷取ROI資訊116。資訊擷取部226自例如附加資訊之解釋結果224A，擷取例如圖像資料111所含之ROI之數、各ROI之區域編號(或優先度115)、各ROI之資料長度、及各ROI之圖像格式。即，傳送資料147A包含對應於各ROI圖像資料112之ROI之區域編號(或優先度115)，作為可判別對自該傳送資料147A獲得之複數個ROI圖像資料112之哪一者捨棄了重疊區域ROO之圖像118的判別資訊。
通常圖像解碼部228解碼PayloadData215B，產生通常圖像資料228A。ROI解碼部227解碼PayloadData225A所含之壓縮圖像資料147B，產生圖像資料227A。該圖像資料227A由1個或複數個ROI圖像資料112構成。
共通處理部230基於MIPI處理部210及SLVS-EC處理部220之任一者之輸出，產生圖像資料111所含之1個或複數個ROI圖像資料112。又，共通處理部230基於MIPI處理部210及SLVS-EC處理部220之任一者之輸出，產生作為通常圖像之圖像資料111。處理器200將指示切出ROI之控制信號經由控制匯流排B2輸入至圖像感測器100之情形時，共通處理部230基於產生之複數個ROI圖像資料112執行圖像處理。處理器200將指示輸出通常圖像之控制信號經由控制匯流排B2輸入至圖像感測器100之情形時，共通處理部230基於產生之圖像資料111執行圖像處理。
共通處理部230具有例如3個選擇部231、232、234、ROI圖像產生部233、及圖像處理部235。
2個選擇部231、232選擇MIPI處理部210(資訊擷取部216、ROI解碼部217)及SLVS-EC處理部220(資訊擷取部226、ROI解碼部227)之任一者之輸出，並將其輸出至ROI圖像產生部233。選擇部234選擇MIPI處理部210(通常圖像解碼部218)及SLVS-EC處理部220(通常圖像解碼部228)之任一者之輸出，並將其輸出至圖像處理部235。
ROI圖像產生部233基於2個選擇部231、232之輸出，產生圖像資料111中之各ROI之圖像(ROI圖像資料112)。處理器200將指示切出ROI之控制信號經由控制匯流排B2輸入至圖像感測器100之情形時，圖像處理部235進行使用圖像資料111中之各ROI之圖像(ROI圖像資料112)之圖像處理。另一方面，處理器200將指示輸出通常圖像之控制信號經由控制匯流排B2輸入至圖像感測器100之情形時，圖像處理部235進行使用圖像資料111之圖像處理。
[效果] 其次，對本實施形態之通訊系統1000之效果進行說明。
近年來，大量發送資料量較大之資料之用途不斷增加。容易對傳送系統施加較大之負載，最壞之情形時，有傳送系統宕機，而無法進行資料傳送之虞。
先前以來，為避免傳送系統之宕機，進行例如特定攝影對象之物體，僅發送切出特定之物體之一部分圖像，而不發送所有拍攝之圖像。
然而，作為自影像感測器傳送至應用程式處理器所用之方式，有時使用MIPI CSI-2、MIPI CSI-3等。又，作為自影像感測器傳送至應用程式處理器所用之方式，有時使用SLVS-EC等。
欲使用該等方式，傳送自攝像圖像切出之一部分區域(ROI(Region Of Interest))之情形時，為了對應複數種傳送方式，需按對應之各傳送方式設置發送機或接收機，故基於成本或裝置尺寸之點仍需改善。
另一方面，本實施形態中，圖像感測器100及處理器200皆對應於2種傳送方式(MIPI CSI-2或MIPI CSI-3、及SLVS-EC)。此處，於圖像感測器100中，使可於MIPI CSI-2或MIPI CSI-3、與SLVS-EC中共通化之處理區塊(共通處理部120)共通化。再者，於處理器200中，使可於MIPI CSI-2或MIPI CSI-3、與SLVS-EC中共通化之處理區塊(共通處理部230)共通化。
具體而言，於圖像感測器100中，使進行以下處理之處理區塊共通化：自以攝像部110獲得之圖像資料111切出ROI圖像資料112之處理、或產生產生對應於各個傳送方式之傳送資料137A、147A所需之資訊(ROI資訊116及訊框資訊117)之處理。又，於處理器200中，使進行產生(復原)ROI圖像資料112之處理的處理區塊共通化。藉此，與為了對應MIPI CSI-2或MIPI CSI-3、及SLVS-EC，而分開設置處理區塊之情形相比，可縮小電路規模，可削減成本。
＜2.變化例＞ 於上述實施形態中，作為可對應之複數種傳送方式，列舉MIPI CSI-2或MIPI CSI-3、及SLVS-EC。然而，於上述實施形態中，即使於對應與該等不同之複數種傳送方式之情形時，亦可於發送裝置側，使進行以下處理之處理區塊共通化：自藉由攝像獲得之圖像資料切出ROI圖像資料之處理、或產生產生傳送資料所需之資訊(ROI資訊及訊框資訊)之處理。又，於接收裝置側，可使進行產生(復原)ROI圖像資料之處理的處理區塊共通化。
以上，已列舉實施形態及其變化例說明本揭示，但本揭示並非限定於上述實施形態等者，可進行各種變化。另，本說明書中所記載之效果僅為例示。本揭示之效果並非限定於本說明書中所記載之效果者。本揭示亦可具有本說明書所記載之效果以外之效果。
又，例如，本揭示可採用如下之構成。 (1) 一種發送裝置，其具備： 切出部，其自藉由拍攝而獲得之圖像資料，切出上述圖像資料所含之1個或複數個ROI(Region Of Interest)圖像資料； 導出部，其導出上述圖像資料中之ROI位置資訊； 第1處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第1傳送方式之第1傳送資料；及 第2處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第2傳送方式之第2傳送資料。 (2) 如(1)記載之發送裝置，其中 上述第1處理部將上述1個或複數個ROI位置資訊作為EmbeddedData合成至上述第1傳送資料， 上述第2處理部將上述1個或複數個ROI位置資訊作為EmbeddedData合成至上述第2傳送資料。 (3) 如(2)記載之發送裝置，其中 上述第1處理部將包含上述EmbeddedData之標頭資訊、與用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊合成至上述第1傳送資料， 上述第2處理部將包含上述EmbeddedData之標頭資訊、與用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊合成至上述第2傳送資料。 (4) 如(1)記載之發送裝置，其中 上述第1處理部將上述1個或複數個ROI圖像資料作為PayloadData合成至上述第1傳送資料， 上述第2處理部將上述1個或複數個ROI圖像資料作為PayloadData合成至上述第2傳送資料。 (5) 如(4)記載之發送裝置，其中 上述第1處理部將用於對上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊合成至上述第1傳送資料， 上述第2處理部將用於對上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊合成至上述第2傳送資料。 (6) 如(1)記載之發送裝置，其中 上述第1處理部將上述1個或複數個ROI位置資訊作為EmbeddedData、且將上述1個或複數個ROI圖像資料作為PayloadData，合成至上述第1傳送資料， 上述第2處理部將上述1個或複數個ROI位置資訊作為EmbeddedData、且將上述1個或複數個ROI圖像資料作為PayloadData，合成至上述第2傳送資料， 上述第1處理部將包含上述EmbeddedData之標頭資訊、用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊、及用於對封包註腳或上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊之至少一者，合成至上述第1傳送資料，且 上述第2處理部將包含上述EmbeddedData之標頭資訊、用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊、及用於封包註腳或上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊之至少一者，合成至上述第2傳送資料。 (7) 一種接收裝置，其具備： 第1處理部，其自對應於第1傳送方式之第1傳送資料中，擷取1個或複數個圖像資料、與1個或複數個位置資訊； 第2處理部，其自對應於第2傳送方式之第2傳送資料中，擷取1個或複數個圖像資料、與1個或複數個位置資訊；及 產生部，其基於由上述第1處理部或上述第2處理部擷取出之上述1個或複數個圖像資料、及上述1個或複數個位置資訊，產生藉由拍攝而獲得之攝像圖像資料所含之1個或複數個ROI圖像資料。 (8) 如(7)記載之接收裝置，其中 上述第1處理部自上述第1傳送資料所含之EmbeddedData中，擷取上述1個或複數個位置資訊， 上述第2處理部自上述第2傳送資料所含之EmbeddedData中，擷取上述1個或複數個位置資訊。 (9) 如(7)記載之接收裝置，其中 上述第1處理部自上述第1傳送資料所含之PayloadData中，擷取上述1個或複數個圖像資料， 上述第2處理部自上述第2傳送資料所含之PayloadData中，擷取上述1個或複數個圖像資料。 (10) 一種通訊系統，其具備 發送裝置及接收裝置；且 上述發送裝置具有： 切出部，其自藉由拍攝而獲得之圖像資料，切出上述圖像資料所含之1個或複數個ROI圖像資料； 導出部，其導出上述圖像資料中之ROI位置資訊； 第1處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第1傳送方式之第1傳送資料；及 第2處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第2傳送方式之第2傳送資料；且 上述接收裝置具有： 第1處理部，其自上述第1傳送資料中，擷取1個或複數個圖像資料、與1個或複數個位置資訊； 第2處理部，其自上述第2傳送資料中，擷取上述1個或複數個圖像資料、與上述1個或複數個位置資訊；及 產生部，其基於由上述第1處理部或上述第2處理部擷取出之上述1個或複數個圖像資料、及上述1個或複數個位置資訊，產生上述圖像資料所含之1個或複數個ROI圖像資料。
根據本揭示之一實施形態之發送裝置，因使自藉由攝像獲得之圖像資料切出圖像資料所含之1個或複數個ROI圖像資料、或導出圖像資料中之ROI位置資訊的處理區塊於第1傳送方式及第2傳送方式中共通化，故可對應複數種傳送方式。
又，根據本揭示之一實施形態之接收裝置，因使進行產生1個或複數個ROI圖像資料之處理的處理區塊於第1傳送方式及第2傳送方式中共通化，故可對應複數種傳送方式。
又，根據本揭示之一實施形態之通訊系統，因使自藉由攝像獲得之圖像資料切出圖像資料所含之1個或複數個ROI圖像資料、或導出圖像資料中之ROI位置資訊的處理區塊於第1傳送方式及第2傳送方式中共通化，且使進行產生1個或複數個ROI圖像資料之處理的處理區塊於第1傳送方式及第2傳送方式中共通化，故可對應複數種傳送方式。
另，本揭示之效果未必限定於此處所記載之效果，亦可為本說明書中所記載之任一效果。
本申請案係基於2019年7月30日向日本專利廳提出申請之日本專利申請案號第2019-139884號而主張優先權者，該申請案之全部內容以引用之方式併入至本申請案中。
若為業者，則可根據設計上之要件或其他要因，而想到各種修正、組合、子組合及變更，但應理解，該等皆為包含於附加之申請專利範圍或其均等物之範圍內者。
100:圖像感測器 110:攝像部 112:ROI圖像資料 115:優先度 116:ROI資訊 117:訊框資訊 119:圖像資料 120:共通處理部 121:ROI切出部 122:ROI解析部 123:重疊檢測部 124:優先度設定部 125:圖像處理控制部 130:MIPI處理部 131:LINK控制部 132:ECC產生部 133:PH產生部 134:EBD緩衝 135:編碼部 135B:圖像資料 135C1:壓縮圖像資料 135C2:壓縮圖像資料 136:ROI資料緩衝器 137:合成部 137A:傳送資料 137B:壓縮圖像資料 140:SLVS-EC處理部 141:LINK控制部 142:ECC產生部 143:PH產生部 144:EBD緩衝 145:編碼部 146:ROI資料緩衝器 147:合成部 147A:傳送資料 150:發送部 200:處理器 210:MIPI處理部 211:標頭分離部 212:標頭解釋部 213:Payload分離部 214:EBD解釋部 214A:EBD資料 215:ROI資料分離部 215A:PayloadData 215B:PayloadData 216:資訊擷取部 217:ROI解碼部 218:通常圖像解碼部 220:SLVS-EC處理部 221:標頭分離部 222:標頭解釋部 223:Payload分離部 224:EBD解釋部 224A:解釋結果 225:ROI資料分離部 225A:PayloadData 226:資訊擷取部 227:ROI解碼部 228:通常圖像解碼部 230:共通處理部 231:選擇部 232:選擇部 233:ROI圖像產生部 233A:ROI圖像 234:選擇部 234A:通常圖像 235:圖像處理部 1000:通訊系統 A1:封包 A2:封包 A3:封包 B1:資料匯流排 B2:控制匯流排 P1:輸出引腳 P2:輸入引腳 Payload Data:有效負載資料 XLa1:實體區域長度 XLa2:實體區域長度 YLa1:實體區域長度 YLa2:實體區域長度
圖1係顯示通訊系統之概略構成例之圖。 圖2係顯示圖像感測器之概略構成例之圖。 圖3係顯示處理器之概略構成例之圖。 圖4係顯示MIPI中利用之封包之構成例之圖。 圖5係顯示MIPI中利用之傳送資料之構成例之圖。 圖6係顯示MIPI中利用之傳送資料之構成例之圖。 圖7係顯示SLVS-EC中利用之封包之構成例之圖。 圖8係顯示SLVS-EC中利用之傳送資料之構成例之圖。 圖9係顯示SLVS-EC中利用之傳送資料之格式例之圖。
100:圖像感測器
110:攝像部
112:ROI圖像資料
115:優先度
116:ROI資訊
117:訊框資訊
119:圖像資料
120:共通處理部
121:ROI切出部
122:ROI解析部
123:重疊檢測部
124:優先度設定部
125:圖像處理控制部
130:MIPI處理部
131:LINK控制部
132:ECC產生部
133:PH產生部
134:EBD緩衝
135:編碼部
136:ROI資料緩衝器
137:合成部
137A:傳送資料
140:SLVS-EC處理部
141:LINK控制部
142:ECC產生部
143:PH產生部
144:EBD緩衝器
145:編碼部
146:ROI資料緩衝器
147:合成部
147A:傳送資料
150:發送部
P1:輸出引腳

Claims (10)

  1. 一種發送裝置，其具備： 切出部，其自藉由拍攝而獲得之圖像資料，切出上述圖像資料所含之1個或複數個ROI(Region Of Interest：關注區域)圖像資料； 導出部，其導出上述圖像資料中之ROI位置資訊； 第1處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第1傳送方式之第1傳送資料；及 第2處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第2傳送方式之第2傳送資料。
  2. 如請求項1之發送裝置，其中 上述第1處理部將上述1個或複數個ROI位置資訊作為EmbeddedData(嵌入資料)合成至上述第1傳送資料，且 上述第2處理部將上述1個或複數個ROI位置資訊作為EmbeddedData合成至上述第2傳送資料。
  3. 如請求項2之發送裝置，其中 上述第1處理部將包含上述EmbeddedData之標頭資訊、與用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊合成至上述第1傳送資料，且 上述第2處理部將包含上述EmbeddedData之標頭資訊、與用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊合成至上述第2傳送資料。
  4. 如請求項1之發送裝置，其中 上述第1處理部將上述1個或複數個ROI圖像資料作為PayloadData(有效負載資料)合成至上述第1傳送資料，且 上述第2處理部將上述1個或複數個ROI圖像資料作為PayloadData合成至上述第2傳送資料。
  5. 如請求項4之發送裝置，其中 上述第1處理部將用於對上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊合成至上述第1傳送資料，且 上述第2處理部將用於對上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊合成至上述第2傳送資料。
  6. 如請求項1之發送裝置，其中 上述第1處理部將上述1個或複數個ROI位置資訊作為EmbeddedData、且將上述1個或複數個ROI圖像資料作為PayloadData，合成至上述第1傳送資料，且 上述第2處理部將上述1個或複數個ROI位置資訊作為EmbeddedData、且將上述1個或複數個ROI圖像資料作為PayloadData，合成至上述第2傳送資料， 上述第1處理部將包含上述EmbeddedData之標頭資訊、用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊、及用於對封包註腳或上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊之至少一者，合成至上述第1傳送資料，且 上述第2處理部將包含上述EmbeddedData之標頭資訊、用於對上述標頭資訊進行錯誤檢測或更正之標頭ECC資訊、及用於封包註腳或上述PayloadData進行錯誤檢測或更正之PayloadDataECC資訊之至少一者，合成至上述第2傳送資料。
  7. 一種接收裝置，其具備： 第1處理部，其自對應於第1傳送方式之第1傳送資料中，擷取1個或複數個圖像資料、與1個或複數個位置資訊； 第2處理部，其自對應於第2傳送方式之第2傳送資料中，擷取1個或複數個圖像資料、與1個或複數個位置資訊；及 產生部，其基於由上述第1處理部或上述第2處理部擷取出之上述1個或複數個圖像資料、及上述1個或複數個位置資訊，產生藉由拍攝而獲得之攝像圖像資料所含之1個或複數個ROI圖像資料。
  8. 如請求項7之接收裝置，其中 上述第1處理部自上述第1傳送資料所含之EmbeddedData中，擷取上述1個或複數個位置資訊， 上述第2處理部自上述第2傳送資料所含之EmbeddedData中，擷取上述1個或複數個位置資訊。
  9. 如請求項7之接收裝置，其中 上述第1處理部自上述第1傳送資料所含之PayloadData中，擷取上述1個或複數個圖像資料， 上述第2處理部自上述第2傳送資料所含之PayloadData中，擷取上述1個或複數個圖像資料。
  10. 一種通訊系統，其具備： 發送裝置及接收裝置；且 上述發送裝置具有： 切出部，其自藉由拍攝而獲得之圖像資料，切出上述圖像資料所含之1個或複數個ROI圖像資料； 導出部，其導出上述圖像資料中之ROI位置資訊； 第1處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第1傳送方式之第1傳送資料；及 第2處理部，其基於上述1個或複數個ROI圖像資料、與上述圖像資料中之1個或複數個ROI位置資訊，產生對應於第2傳送方式之第2傳送資料；且 上述接收裝置具有： 第1處理部，其自上述第1傳送資料中，擷取1個或複數個圖像資料、與上述1個或複數個位置資訊； 第2處理部，其自上述第2傳送資料中，擷取上述1個或複數個圖像資料、與上述1個或複數個位置資訊；及 產生部，其基於由上述第1處理部或上述第2處理部擷取出之上述1個或複數個圖像資料、及上述1個或複數個位置資訊，產生上述圖像資料所含之1個或複數個ROI圖像資料。
TW109123519A 2019-07-30 2020-07-13 發送裝置、接收裝置、及通訊系統 TW202110184A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-139884 2019-07-30
JP2019139884 2019-07-30

Publications (1)

Publication Number Publication Date
TW202110184A true TW202110184A (zh) 2021-03-01

Family

ID=74229629

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109123519A TW202110184A (zh) 2019-07-30 2020-07-13 發送裝置、接收裝置、及通訊系統

Country Status (6)

Country Link
US (1) US20220272208A1 (zh)
JP (1) JPWO2021020224A1 (zh)
CN (1) CN114128300A (zh)
DE (1) DE112020003638T5 (zh)
TW (1) TW202110184A (zh)
WO (1) WO2021020224A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6012203B2 (ja) * 2012-03-05 2016-10-25 キヤノン株式会社 画像処理装置、及び制御方法
US11695883B2 (en) * 2019-06-28 2023-07-04 Sony Semiconductor Solutions Corporation Transmitting apparatus, receiving apparatus, and transmission system
CN117319815B (zh) * 2023-09-27 2024-05-14 北原科技(深圳)有限公司 基于图像传感器的视频流识别方法和装置、设备、介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221197A1 (en) * 2005-03-30 2006-10-05 Jung Edward K Image transformation estimator of an imaging device
JP4616135B2 (ja) * 2005-09-21 2011-01-19 オリンパス株式会社 撮像装置および画像記録装置
US8874090B2 (en) * 2010-04-07 2014-10-28 Apple Inc. Remote control operations in a video conference
JP2012253429A (ja) * 2011-05-31 2012-12-20 Toshiba Corp 送信装置及び受信装置
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP2014216668A (ja) * 2013-04-22 2014-11-17 オリンパス株式会社 撮像装置
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
US9402018B2 (en) * 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
SG11201910049VA (en) * 2017-06-09 2019-11-28 Sony Semiconductor Solutions Corp Picture transmission device and picture reception device
JP6983084B2 (ja) 2018-02-07 2021-12-17 株式会社ジャパンディスプレイ 有機ｅｌ表示装置

Also Published As

Publication number Publication date
WO2021020224A1 (ja) 2021-02-04
US20220272208A1 (en) 2022-08-25
CN114128300A (zh) 2022-03-01
JPWO2021020224A1 (zh) 2021-02-04
DE112020003638T5 (de) 2022-04-21

Similar Documents

Publication Publication Date Title
TWI829638B (zh) 影像傳送裝置及影像接收裝置
TW202110184A (zh) 發送裝置、接收裝置、及通訊系統
CN111295887B (zh) 具有感兴趣区域模式选择的发送装置和方法
WO2019092952A1 (ja) 送信装置
US12052515B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US20230222074A1 (en) Transmission device, reception device, and communication system
CN113348654B (zh) 发送装置、发送方法、接收装置、接收方法和发送/接收装置
US12041344B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US20230362307A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
US11900572B2 (en) Transmission device, reception device, and transmission system
US20230129052A1 (en) Reception device and transmission system
JP7584497B2 (ja) 受信装置及び伝送システム
US20220276980A1 (en) Transmission device and communication system
CN114175664A (zh) 发送装置、接收装置和通信系统
CN113170029A (zh) 图像处理装置和图像处理方法