[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN114128300A - 发送装置、接收装置、以及通信系统 - Google Patents

发送装置、接收装置、以及通信系统 Download PDF

Info

Publication number
CN114128300A
CN114128300A CN202080051671.4A CN202080051671A CN114128300A CN 114128300 A CN114128300 A CN 114128300A CN 202080051671 A CN202080051671 A CN 202080051671A CN 114128300 A CN114128300 A CN 114128300A
Authority
CN
China
Prior art keywords
data
image data
roi
pieces
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080051671.4A
Other languages
English (en)
Inventor
吉持直树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114128300A publication Critical patent/CN114128300A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095—Systems or arrangements for the transmission of the picture signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0084—Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

一种根据本公开的实施方式的发送装置，包括切出单元、推导单元、第一处理单元、以及第二处理单元。切出单元从通过成像而获得的图像数据中切出包括在该图像数据中的一条或多条ROI图像数据。推导单元推导包括在图像数据的ROI位置信息。第一处理单元基于图像数据中的一条或多条ROI图像数据以及一条或多条ROI位置信息生成与第一传输方法相对应的第一传输数据。第二处理单元基于图像数据中的一条或多条ROI图像数据以及一条或多条ROI位置信息生成与第二传输方法相对应的第二传输数据。

Description

发送装置、接收装置、以及通信系统
技术领域
本公开涉及一种发送器、接收器、以及通信系统。
背景技术
近年来，用于发送具有大数据量的大量数据的应用逐渐增加。传输系统的负载可能较重，并且在最坏情况下，存在传输系统可能失灵并且不可执行数据传输的可能性。
为了防止传输系统失灵，例如，代替发送整个拍摄图像，仅发送通过指定待拍摄的对象并且切出指定对象而获得的局部图像。应注意，例如，下列专利文献描述了从所拍摄的图像中切出局部图像。
现有技术文献
专利文献
专利文献1：日本未经审查专利申请公开号2016-201756
专利文献2：日本未经审查专利申请公开号2014-39219
专利文献3：日本未经审查专利申请公开号2013-164834
专利文献4：日本未经审查专利申请公开号2012-209831
发明内容
顺便提及，作为从图像传感器至应用处理器的传输所使用的方法，在一些情况下，可以使用移动工业处理器接口(MIPI)相机串行接口(CSI)-2、MIPI CSI-3等。此外，作为从应用处理器至显示器的传输所使用的方法，在一些情况下，可以使用可扩展的低压信令嵌入式时钟(SLVS-EC)等。希望提供一种可适应于多种传输方法的发送器、接收器、通信系统。
根据本公开的实施方式的发送器包括切出部、推导部、第一处理单元、以及第二处理单元。切出部从通过成像而获得的图像数据中切出包括在图像数据中的一条或多条ROI图像数据。推导部推导图像数据中的ROI位置信息。第一处理单元基于一条或多条ROI图像数据以及图像数据中的一条或多条ROI位置信息生成与第一传输方法相对应的第一传输数据。第二处理单元基于一条或多条ROI图像数据以及图像数据中的一条或多条ROI位置信息生成与第二传输方法相对应的第二传输数据。
在根据本公开的实施方式的发送器中，由第一传输方法和第二传输方法共享这样的处理块，即，从通过成像而获得的图像数据中切出包括在图像数据中的一条或多条ROI图像数据并且推导图像数据中的ROI位置信息。
根据本公开的实施方式的接收器包括第一处理单元、第二处理单元、以及生成单元。第一处理单元从与第一传输方法对应的第一传输数据中提取一条或多条图像数据以及一条或多条位置信息。第二处理单元从与第二传输方法相对应的第二传输数据中提取一条或多条图像数据以及一条或多条位置信息。生成部基于由第一处理单元或第二处理单元提取的一条或多条图像数据以及一条或多条位置信息生成包括在通过成像而获得的捕获图像数据中的一条或多条ROI图像数据。
在根据本公开的实施方式的接收器中，由第一传输方法和第二传输方法共享这样的处理块，即，执行生成一条或多条ROI图像数据的处理。
根据本公开的实施方式的通信系统包括发送器和接收器。发送器与上述所述发送器具有共同的配置。接收器与上述所述接收器具有共同的配置。
在根据本公开的实施方式的通信系统中，由第一传输方法和第二传输方法共享这样的处理块，即，从通过成像而获得的图像数据中切出图像数据中所包括的一条或多条ROI图像数据并且推导图像数据中的ROI位置信息。进一步地，由第一传输方法和第二传输方法共享这样的处理块，即，执行生成一条或多条ROI图像数据的处理。
附图说明
图1示出了通信系统的示意性配置例。
图2示出了图像传感器的示意性配置例。
图3示出了处理器的示意性配置例。
图4示出了MIPI中所利用的分组的配置例。
图5示出了MIPI中所利用的传输数据的配置例。
图6示出了MIPI中所利用的传输数据的配置例。
图7示出了SLVS-EC中所利用的包的配置例。
图8示出了SLVS-EC中所利用的传输数据的配置例。
图9示出了SLVS-EC中所利用的传输数据的格式例。
具体实施方式
在下文中，参考附图给出对本公开的实施方式的详细描述。给出了本公开的具体示例的下列描述，并且本公开并不局限于下列方面。
<1.实施方式>
[配置]
近年来，在诸如智能手机、相机设备等便携式设备中，待处理的图像数据的容量已经增加，并且在设备中或不同设备之间的数据传输中需要高速度和低功耗。为了满足该需求，已经将诸如由MIPI联盟定义的C-PHY规范和D-PHY规范的高速接口规范的标准提升为便携式设备和相机设备的耦接接口。C-PHY规范和D-PHY规范是通信协议的物理层(物理层：PHY)接口规范。此外，存在相机设备的CSI作为C-PHY规范和D-PHY规范的上层协议。此外，作为相机设备的CSI，存在SLVS-EC作为唯一的规范。
根据本公开的实施方式的通信系统1000是根据MIPI CSI-2规范或MIPI CSI-3规范以及SLVS-EC规范中的一项发送并且接收信号的系统。例如，通信系统1000可应用于诸如智能电话的通信设备、无人机(可通过远程控制操作或可自动操作的装置)、诸如汽车的移动体、诸如PC(个人电脑)的计算机、平板型设备、以及游戏机的各种电子装置。
图1示出了根据本实施方式的通信系统1000的示意性配置例。通信系统1000应用于数据信号、时钟信号、以及控制信号的传输、并且包括图像传感器100(发送器)和处理器200(接收器)。
图像传感器100与处理器200通过数据总线B1而电耦接至彼此。数据总线B1是将图像传感器100和处理器200耦接至彼此的单信号传输路径。经由数据总线B1将表示从图像传感器100发送的图像(以下被称为“图像数据”)的数据从图像传感器100发送至处理器200。图像传感器100与处理器200可以通过总线(控制总线B2)而电耦接至彼此。控制总线B2是将图像传感器100和处理器200耦接至彼此的另一单信号传输路径、并且是与数据总线B1不同的传输路径。经由控制总线B2将从处理器200发送的控制数据从处理器200发送至图像传感器100。
图像传感器100具有成像功能和传输功能、并且发送通过成像而生成的图像数据。图像传感器100用作通信系统1000中的发送器。图像传感器100的示例包括能够生成图像的任何类型的图像传感器设备，诸如“成像设备，例如，数字静态相机、数字视频相机、或立体相机”、“红外传感器”、或“测距图像传感器”，并且图像传感器100具有发送已生成的图像的功能。图像传感器100中所生成的图像与指示图像传感器100中的感测结果的数据对应。后面参考图2给出图像传感器100的配置的示例的细节描述。
图像传感器100通过后面描述的传输方法发送与针对图像数据而设置的区域相对应的数据(以下也被称为“区域图像数据”)。例如，由用作图像传感器100中的图像处理单元的部件(后面所述)执行区域图像数据的传输控制。针对图像而设置的区域被称为关注区域(ROI)。在下文中，针对图像而设置的区域被称为“ROI”。此外，区域图像数据被称为“ROI图像数据”。
与图像区域的设置有关的处理的示例包括使得可以指定图像中的局部区域的任意处理(或使得可以从图像中切出局部区域的任意处理)，诸如“从图像中检测对象并且设置包括所检测的对象的区域的处理”或“在任意操作设备上设置由操作等指定的区域的处理”。
图像传感器100发送ROI图像数据，即，发送图像数据的一部分，由此允许与传输有关的数据量比发送全部图像数据时更小。因此，通过图像传感器100传输ROI图像数据实现了因数据量减少而带来的各种效果，诸如，例如，缩短传输时间或减少与通信系统1000中的传输相关联的负载。应注意，图像传感器100还能够发送全部图像数据。
处理器200接收从图像传感器100发送的数据、并且对所接收的数据进行处理。处理器200用作通信系统1000中的接收器。后面参考图3对从图像传感器100发送的数据处理的配置(用作接收器的配置)的示例进行详细描述。
例如，处理器200包括一个或两个或更多个处理器，各自包括诸如微处理单元(MPU)的算术电路、或各种处理电路。处理器200执行各种类型的处理，诸如，例如，与将图像数据记录到记录介质中的控制有关的处理、与显示设备的显示屏幕上的图像显示的控制有关的处理、以及执行任意应用软件的处理。与记录控制有关的处理的示例包括“将包括记录命令的控制数据和被记录到记录介质中的数据通信至记录介质的处理”。此外，与显示控制有关的处理的示例包括“将包括显示命令的控制数据和在显示屏幕上显示的数据通信给显示设备的处理”。例如，处理器200可以将控制信息发送至图像传感器100，由此控制图像传感器100中的功能。例如，处理器200还能够将区域指定信息发送至图像传感器100，由此控制从图像传感器100发送的数据。
(分组结构)
接着，给出将图像从图像传感器100发送至通信系统1000中的处理器200所利用的分组的结构的示例的描述。在通信系统1000中，将由图像传感器100捕获的图像数据以行为单位分割成局部图像数据，并且通过利用一个或多个分组来发送每行的局部图像数据。同样也适用于ROI图像数据。
图4示出了在通信系统1000中发送图像数据所利用的包(Packet)的结构的示例。图4示出了根据MIPI CSI-2规范或MIPI CSI-3规范发送图像数据所利用的分组的结构的示例。图5与图6各自示出了从图像传感器100发送至通信系统1000中的处理器200的传输数据137A的示例。图5与图6各自示出了根据MIPI CSI-2规范或MIPI CSI-3规范发送图像数据所利用的传输数据137A的示例。
如图4中示出的，在数据流中以低功率模式LP开始发送图像数据所利用的分组并且将该分组定义为以低功率模式LP结束的一系列数据。此外，该分组包括按照该顺序布置的分组报头PH、有效载荷数据(Payload Data)、以及分组页脚PF。有效载荷数据(以下也被简称为“有效载荷”)包括以行为单位的局部图像的像素数据。
例如，分组报头PH是长分组(Long Packet)的有效载荷数据(Payload Data)的分组报头。长分组指布置在分组报头PH与分组页脚PF之间的包。长分组的有效载荷数据指在设备之间发送的主要数据。例如，分组报头PH包括DI、WC、以及纠错码(ECC)。DI是存储数据标识符的区域。DI包括虚拟信道(VC)数量和每个ROI的数据类型(Data Type)。VC是针对分组流控制引入的概念、并且是支持多个独立的数据流共享同一链路的机构。WC是用于通过字的数量向处理器200指示分组结束的区域。例如，WC包括有效载荷长度。例如，有效载荷长度是包括在长分组的有效载荷中的字节的数量并且是例如每个ROI的字节数量。ECC是包括对有效载荷数据执行错误检测或校正的值的有效载荷数据ECC信息。ECC包括纠错码。
如图5和图6中示出的，例如，传输数据137A包括图像数据帧。图像数据帧通常包括报头区域、分组区域、以及页脚区域。在图5和图6中，出于方便之缘故，省去了页脚区域的例图。在图像数据帧中，报头区域R1包括包含嵌入式数据的报头信息以及对报头信息执行错误检测或校正的报头ECC信息。嵌入式数据指可嵌入在图像数据帧的报头或页脚中的附加信息。此时，嵌入式数据包括子帧数量、ROI的数量、以及ROI信息。报头ECC信息包括对报头信息执行错误检测或校正的值。报头ECC信息包括纠错码。
帧数量是传输数据137A的标识符。ROI的数量是包括在传输数据137A中的ROI的总数量。ROI信息是关于针对包括在传输数据137A中的各个ROI所提供的ROI的信息。
例如，ROI信息包括图像数据中所包括的一个或多个ROI的区域数量(或优先级)以及图像数据中的一个或多个ROI上的位置信息。ROI的区域数量指被分配给各个ROI的标识符。ROI的优先级指被分配给各个ROI的标识符、并且是使得可以确定图像数据中的多个ROI中的哪个ROI遭受重叠区域的遗漏的确定信息。
例如，ROI上的位置信息包括ROI的左上边缘坐标(Xa,Ya)、ROI在X轴方向长度上的长度、以及ROI在Y轴方向上的长度。例如，ROI在X轴方向上的长度是ROI在X轴方向上的物理区域长度XLa。例如，ROI在Y轴方向上的长度是ROI在Y轴方向上的物理区域长度YLa。物理区域长度指ROI的物理长度(数据长度)。ROI上的位置信息可以包括与ROI的左上边缘不同的位置的坐标。例如，ROI上的位置信息还包括ROI在X轴方向上的输出区域长度XLc和ROI在Y轴方向上的输出区域长度YLc。例如，输出区域长度指通过对ROI执行稀释处理、像素相加等而改变其分辨率之后的ROI的物理长度(数据长度)。
例如，对于每个ROI，除位置信息之外，ROI信息可以还包括感测信息、曝光信息、增益信息、模数(AD)字长度、图像格式等。感测信息指关于ROI中包括的对象的算术运算的内容、关于ROI图像数据的后续阶段的信号处理的信息等。曝光信息指关于ROI的增益信息。AD字长度指在ROI中进行AD转换的每个像素的数据的字长度。图像格式指ROI图像的格式。
进一步地，如图5和图6中示出的，在数据帧中，对于每行，分组区域R2包括长分组(Long Packet)的有效载荷数据(Payload Data)、并且还包括位于夹持长分组的有效载荷数据的位置处的分组报头PH和分组页脚PF。进一步地，在夹持分组报头PH和分组页脚PF的位置处包括低功率模式LP。
此外，分组区域R2包括压缩图像数据137B。压缩图像数据137B包括一条压缩图像数据或多条压缩图像数据。此处，在图5中，例如，靠近分组报头PH的分组的组包括一个ROI的压缩图像数据135C(135C1)，并且例如，远离分组报头PH的分组的组包括另一ROI的压缩图像数据135C(135C2)。压缩图像数据137B中包括两条压缩图像数据135C1和135C2。每行的长分组的有效载荷数据包括压缩图像数据137B中的一行像素数据。
图7示出了在通信系统1000中传输图像数据所利用的分组(Packet)的结构的示例。图7示出了在SLVS-EC规范中发送图像数据所利用的分组的结构的示例。图8示出了从图像传感器100发送至通信系统1000中的处理器200的传输数据147A的示例。
如图7中示出的，将传输图像数据所利用的分组包定义为数据流中以起始码(Start Code)开始并且以结束码(End Code)结束的一系列数据。此外，该分钟组包括按照该顺序布置的报头(Header)和有效载荷数据(Payload Data)。此外，可以在有效载荷数据的后面添加页脚(Footer)。有效载荷数据包括以行为单位的局部图像上的像素数据。报头包括关于与包括在有效载荷中的局部图像相对应的行的各种类型的信息。页脚包括附加信息(选项)。
分组的页脚可以包括CRC选项或有效载荷数据ECC选项。例如，分组可以包括下列元素(1)、(2)、以及(3)中的任一项：
(1)分组报头+有效载荷数据；
(2)分组报头+有效载荷数据+分组页脚；以及
(3)具有ECC的分组报头+有效载荷数据。
可选地，分组页脚包括对有效载荷数据执行错误检测的有效载荷数据ECC信息。为了提取有效载荷数据或另一辅助信息，在TX LINK层对包进行合成并且在接收链路(RXLINK)层进行分解。给出分组页脚中的选项(页脚选项)的描述。在通过内置时钟的高速串行数据传输中，PHY层的位错误特性可能导致作为有效载荷数据转移的像素数据的一部分中出现随机数据错误。因此，需要考虑像素数据被破坏。检测并且校正有效载荷数据错误的功能允许检测该像素数据破坏并且校正破坏的部分，以改善整个接口的有效位错误性能。
可选地，分组页脚还包括对有效载荷数据执行错误校正的有效载荷数据ECC信息。为了补偿容错的系统级需求与PHY层中的位错误特性之间的差异，可以通过功能对纠错电路的性能和成本进行优化。功能也是可选的、并且可以通过配置寄存器(ECC选项)而设置。
此处，给出报头中所包括的信息的描述。如图7中示出的，报头包括该顺序的“帧开始(Frame Start)”、“帧结束(Frame End)”、“行有效(Line Valid)”、“行数量(LineNumber)”、“EBD行(EBD Line)”、“数据ID(Data ID)”、“保留(Reserved)”、以及“报头ECC(Header ECC)"。
帧开始是指示帧的头部的一位信息。例如，针对传输待传输的图像数据之中的第一行像素数据所使用的分组的报头的帧开始设置值一，并且针对传输另一行像素数据所使用的分组的报头的帧开始设置值零。应注意，帧开始与“指示帧的开始的信息”的示例对应。
帧结束是指示帧的终止的一位信息。例如，针对将待发送的图像数据之中的有效像素区域的终止行上的像素数据包括在有效载荷中的分组的报头的帧结束设置值一，并且针对传输另一行像素数据所使用的分组的报头的帧结束设置值零。应注意，帧结束与“指示帧的结束的信息”的示例对应。
帧开始和帧结束与帧信息(Frame Information)的示例相对应对应，即，关于帧的信息。
行有效是指示存储在有效载荷中的一行像素数据是否是一行有效像素的一位信息。针对传输有效像素区域中的一行像素数据所使用的分组的报头行有效设置值零。应注意，行有效与“指示对应行是否有效的信息”的示例相对应。
行数量是指示包括存储在有效载荷中的像素数据的行的行号的13位信息。
EBD行是指示是否是具有嵌入式数据的行的一位信息。即，EBD行与“指示是否是具有嵌入式数据的行的信息”的示例对应。
数据ID是在通过分割成多个流而转移数据的情况下识别每个数据(即，有效载荷中所包括的数据)的四位信息。应注意，Data ID与“关于有效载荷中所包括的数据的识别信息”的示例相对应。
行有效、行数量、EBD行、以及数据ID用作行信息(Line Information)，即，关于行的信息。
保留是用于扩展的27位区域。应注意，在下文中，指示保留的该区域也被称为“扩展区域”。此外，报头信息中的总数据量是六比特。
如图7中示出的，布置在报头信息之后的报头ECC包括循环冗余校验(CRC)码，即，基于六比特报头信息而计算的两比特检错码。即，报头ECC与“对报头信息执行错误检测或校正的信息”的示例相对应。此外，在CRC码之后，报头ECC包括两条相同的信息作为八字节信息，即，报头信息与CRC码的集合。
报头布置在分组的头部处、并且用于存储除像素数据之外的附加信息，以在有效载荷数据之前进行转移。报头包括报头信息和报头ECC，并且将附加信息存储在报头信息中。报头ECC存储CRC，以检测报头信息中的错误以及报头信息与CRC的组合的二次重复。在报头信息转移过程中出现错误的情况下，通过CRC检测错误，并且使用反复转移的另一报头信息(其中未检测到错误)使得在接收(RX)端上再现正确的报头信息。
主要转移帧信息，以在系统内建立帧同步。同样，使用行信息建立行同步，并且当使用多个SLVS-EC接口同时发送多个图像流时，假设该信息用于使RX端上的图像流之间的同步关系再现。如上所述，使用报头ECC作为对报头信息的转移错误的测量。此外，从应用层(CIS)输入帧信息和行信息，并且在不经过接口内的处理的情况下，将其原样转移至接收端上的应用层(DSP)。还对保留位执行类似的转移处理。同时，在接口内生成报头ECC，并且在转移之前添加至另一信息；假设由RX端上的链路层使用该信息。
即，一个分组的报头包括相同的三组报头信息与CRC码。整个报头的数据量总共为24比特，包括第一组报头信息与CRC码的八字节、第二组报头信息与CRC码的八字节、以及第三组报头信息与CRC码的八字节。
此处，参考图8给出分组的报头中所提供的扩展区域(Reserved)的描述。如图8中示出的，在扩展区域中，将指示与包中发送的信息相对应的类型的信息设置为头部处的三位的报头信息类型(Header Info Type)。根据报头信息类型，确定信息的格式(即，信息类型与设置该信息的位置)，即，在排除其中指定该报头信息类型的三位的扩展区域的其余24位区域中所设置的。这允许接收端确认报头信息类型，由此能够识别在除其中指定该报头信息类型的区域之外的扩展区域的另一区域的什么位置设置什么信息，并且由此读取该信息。
例如，图8示出了设置其中包的有效载荷长度(换言之，行长度)是可变的情况的示例作为设置报头信息类型并且根据该设置使用扩展区域的方法的示例。具体地，在图8示出的示例中，针对报头信息类型设置值，即，与其中有效载荷长度是可变的情况下的类型对应。更具体地，在图8示出的示例中，针对报头信息类型设置“001”。即，在这种情况下，与报头信息类型之中的“001”对应的类型指其中有效载荷长度是可变的情况下的类型。此外，在图8示出的示例中，将扩展区域中的14位分配给“行长度(Line Length)”。“行长度”是通知有效载荷长度的信息。该配置能够使得接收端基于作为报头信息类型所设置的值而识别有效载荷长度是可变的并且通过读取作为扩展区域的“行长度”所设置的值而识别有效载荷长度。
图9示出了在SLVS-EC方法规范中所发送的传输数据147A的格式的示例。在图9中，由参考标号A1指示的一系列分组示意性地示出了发送ROI上的图像数据的分组。此外，由参考标号A2和A3指示的一系列分组与和用于发送ROI上的图像数据的分组不同的分组相对应。应注意，在下列描述中，在将由参考标号A1、A2、以及A3指示的分组彼此进行区分的情况下，出于方便之缘故，还将其分别称为“分组A1”、“分组A2”、以及“分组A3”。即，在其中发送一个帧数据的周期中，在发送一系列的分组A1之前发送一系列的分组A2。此外，还在发送一系列的包之后发送一系列的分组A3。
在图9示出的示例中，至少利用一系列分组A2的一部分传输嵌入式数据。例如，可以在发送之前将嵌入式数据存储在分组A2的有效载荷中。此外，作为另一示例，可以在发送之前将嵌入式数据存储在除分组A2的有效载荷之外的另一区域中。
嵌入式数据与由图像传感器100额外发送的附加信息(换言之，由图像传感器100嵌入的信息)对应，并且其示例包括关于图像的成像条件的信息、关于ROI的信息等。例如，嵌入式数据包括诸如“ROI ID”、“左上坐标”、“高度”、“宽度”、“AD字长度(AD位)”、“曝光”、“增益”、“感测信息”等的信息。
例如，关于“ROI ID”、“左上坐标”、“高度”、以及“宽度”的信息与关于图像中所设置的区域(ROI)的信息对应并且用于在接收端上恢复该区域的图像。具体地，“ROI ID”是识别各个区域的识别信息。“左上坐标”与用作针对该图像设置的区域的图像中的位置的索引的坐标对应、并且指示其中设置该区域的矩形范围的左上顶点坐标。此外，“高度”与“宽度”指示其中设置区域的该矩形形状的范围的高度(垂直方向上的宽度)和宽度(水平方向上的宽度)。应注意，在嵌入式数据之中，具体地，诸如“ROI ID”、“左上坐标”、“高度”、以及“宽度”的关于区域(ROI)的上述所述信息与第一分组(例如，分组A2)中包括的“区域信息”的示例对应。
“曝光”信息表示与区域(ROI)的成像有关的曝光时间。“增益”信息表示与该区域的成像有关的增益。AD字长度(AD位)表示在该区域中进行AD转换的每个像素的数据的字长度。感测信息的示例包括关于该区域中所包括的对象(主体)的算术运算的内容、关于该区域的图像的后续阶段信号处理的补充信息等。
应注意，在图9示出的示例中，至少利用分组A2的一部分传输嵌入式数据，但是，至少可以利用分组A3的一部分、而非利用该分组A2传输嵌入式数据。此外，在下列描述中，还将嵌入式数据称为“EBD”。
在图9中，“SC”表示“开始码(Start Code)”、并且是指示分组的开始的符号组。开始码前置于分组。例如，由K28.5、K27.7、K28.2、以及K27.7的四个符号表示开始码，即，三种类型的K个字符的组合。
“EC”表示“结束码(End Code)”、并且是指示包的结束的符号组。结束码附于包的末尾。例如，由K28.5、K27.7、K30.7、以及K27.7的四个符号表示结束码，即，三种类型的K个字符的组合。
“PH”表示“分组报头(Packet Header)”、并且与例如参考图7描述的报头对应。“FS”指帧开始(Frame Start，FS)分组。“FE”表示帧结束(Frame End，FE)分组。
“DC”表示“Deskew Code”、并且是校正通道之间的Data Skew所利用的符号组，即，在接收端上的相应通道中所接收的各条数据的接收时刻偏差。例如，由K28.5与任意**的四个符号表示Deskew Code。
“IC”表示“空闲码(Idle Code)”、并且是在除分组数据的传输时间之外的周期期间反复发送的符号组。例如，由D字符的D00.0(00000000)表示空闲码，即，8B10B码。
“数据(DATA)”表示存储在有效载荷中的区域数据(即，与图像中所设置的区域相对应的一部分上的像素数据)。
“XY”与指示和存储在有效载荷中的区域数据相对应的局部区域的左边缘位置(图像中的位置)(作为X坐标和Y坐标)的信息对应。应注意，在下文中，还将指示局部区域的左边缘的位置的X坐标和Y坐标(由“XY”表示)简称为“局部区域的X-Y坐标”。
将局部区域的X-Y坐标存储在分组A1的有效载荷的头部处。此外，在其中连续发送的分组A1之间的对应局部区域的X坐标无变化并且仅将Y坐标增加+1的情况下，可以在之后发送的分组A1中省去局部区域的X-Y坐标。应注意，后面参考具体示例对本控制进行单独描述。
此外，在SLVS-EC中，在发送与水平方向上彼此间隔开的多个区域中的每个区域对应的局部区域的区域数据的情况下，对于其中设置该多个区域的每行，单独生成并且发送该多个区域中的每个区域的分组A1。即，对于其中设置在水平方向上彼此间隔开的两个区域的行，生成并且发送两个分组A1。
(图像传感器100)
图2示出了图像传感器100的配置的示例。图2中示出的配置与CSI发送器的具体示例相对应。例如，图像传感器100包括成像单元110、共同处理单元120、MIPI处理单元130、SLVS-EC处理单元140、以及传输单元150。图像传感器100经由数据总线B1将通过对由成像单元110获得的图像数据111执行预定处理而生成的传输数据137A和传输数据147A中的一者发送至处理器200。
例如，成像单元110将通过光学透镜等获得的光学图像信号转换成图像数据。成像单元110包括例如电荷耦接设备(CCD)图像传感器或例如互补金属氧化物半导体(CMOS)图像传感器。成像单元110包括模数转换电路并且将模拟图像数据转换成数字图像数据。转换之后的数据形式可以是其中由亮度分量Y以及色差分量Cb和Cr表示每个像素的颜色的YcbCr形式、或者可以是RGB形式。成像单元110将通过成像而获得的图像数据111(数字图像数据)输出至共同的处理单元120。
共同处理单元120是对从成像单元110输入的图像数据111执行预定处理的电路。在其中经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，共同处理单元120对从成像单元110输入的图像数据111执行预定处理。因此，共同处理单元120生成各种类型的数据(一条或多条ROI图像数据112、一条或多条ROI信息116、以及帧信息117)、并且将已生成的各种类型的数据输出至MIPI处理单元130和SLVS-EC处理单元140。在其中经由控制总线B2从处理器200输入正常图像的控制信号指示输出的情况下，共同处理单元120对从成像单元110输入的图像数据111执行预定处理。因此，共同处理单元120生成图像数据119、并且将已生成的图像数据119输出至MIPI处理单元130和SLVS-EC处理单元140。
MIPI处理单元130是基于从共同处理单元120输入的各种类型的数据(多条ROI图像数据112中的一条、多条ROI信息116中的一条、以及帧信息117)生成与MIPI CSI-2规范或MIPI CSI-3规范的传输方法对应的传输数据137A的电路。SLVS-EC处理电路140是基于从共同处理单元120输入的各种类型的数据(多条ROI图像数据112中的一条、多条ROI信息116中的一条、以及帧信息117)生成与SLVS-EC规范的传输方法对应的传输数据147A的电路。对于每行，传输单元150经由数据总线B1将从MIPI处理单元130和SLVS-EC处理单元140中的一个单元发送的包(传输数据137A和传输数据147A中的一个数据)发送至处理器200。
例如，共同处理单元120包括ROI切出部121、ROI分析部122、重叠检测部123、优先级设置部124、以及图像处理控制部125。
在其中经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，ROI切出部121指定从成像单元110输入的图像数据111中所包括的一个或多个待拍摄的对象、并且设置每个指定对象的ROI。例如，ROI是包括指定对象的矩形区域。ROI切出部121从图像数据111中切出关于一个或多个ROI的图像数据(一条或多条ROI图像数据112)。ROI切出部121从图像数据111中切出包括在图像数据111中的一条或多条ROI图像数据112。ROI切出部121进一步将作为标识符的区域号分配给各组ROI。例如，在其中图像数据111中设置两个ROI的情况下，ROI切出部121将区域号一(ROI1)分配给一个ROI并且将区域号二(ROI2)分配给另一ROI。例如，ROI切出部121将已分配的标识符(区域号)存储在存储部中。例如，ROI切出部121将从图像数据111中切出的每个ROI图像数据112存储在存储部中。例如，ROI切出部121进一步将分配给每个ROI的标识符(区域号)与ROI图像数据112相关联地存储在存储部中。应注意，在其中经由控制总线B2从处理器200输入正常图像的控制信号指示输出的情况下，ROI切出部121对从成像单元110输入的图像数据111执行预定处理，由此生成图像数据119。
对于每个ROI，ROI分析部122推导ROI在图像数据111中的位置信息113。例如，ROI分析部122将所推导的位置信息113存储在存储部中。例如，ROI分析部122将其与分配给ROI的标识符(区域号)相关联地存储在存储部中。
当在图像数据111中指定待拍摄的多个对象时，重叠检测部123基于关于图像数据111中的多个ROI的位置信息113检测两个或更多个ROI彼此重叠的重叠区域(重叠区域(ROO))。即，重叠检测部123针对每个重叠区域ROO推导重叠区域ROO在图像数据111中的位置信息114。例如，重叠检测部123将所推导的位置信息114存储在存储部中。例如，重叠检测部123将所推导的位置信息114存储在与重叠区域ROO相关联的存储部中。例如，重叠区域ROO是与彼此重叠的两个或更多个ROI中的最小ROI具有相同或更小尺寸的正方形区域。
优先级设置部124将优先级115分配给图像数据111中的每个ROI。例如，优先级设置部124将已分配的优先级115存储在存储部中。例如，优先级设置部124将已分配的优先级115与ROI相关联地存储在存储部中。除分配给各个ROI的区域号之外，优先级设置部124可以将优先级115分配给各个ROI或可以以分配给各个ROI的区域号代替优先级115。例如，优先级设置部124可以将优先级115存储在与ROI相关联的存储部中、或可以将分配给各个ROI的区域号存储在与ROI相关联的存储部中。
优先级115是每个ROI的标识符、并且是能够确定图像数据111的多个ROI中的哪个ROI遭受重叠区域ROO的遗漏的确定信息。例如，优先级设置部124将一作为优先级115分配给各自包括重叠区域ROO的两个ROI中的一个ROI、并且将二作为优先级115分配给其另一ROI。在这种情况下，一旦创建后面所述的传输图像数据135A，具有优先级115的较大数值的ROI则遭受重叠区域ROO的遗漏。应注意，优先级设置部124可以将与分配给各个ROI的区域号相同的编号作为优先级115分配给ROI。例如，优先级设置部124将分配给各个ROI的优先级115与ROI图像数据112相关联地存储在存储部中。优先级设置部124将分配给各个ROI的区域号或优先级115输出至MIPI处理单元130和SLVS-EC处理单元140。
图像处理控制部125生成ROI信息116和帧信息117、并且将其输出至MIPI处理单元130和SLVS-EC处理单元140。例如，ROI信息116包括各个位置信息113。例如，ROI信息116还包括各个ROI的数据类型、图像数据111中所包括的ROI号、关于重叠区域的位置信息114、各个ROI的区域号(或优先级115)、各个ROI的数据长度、或各个ROI的图像格式中的至少一项。例如，帧信息117包括分配给每个帧的虚拟信道号、每个ROI的数据类型、每行的有效载荷长度等。例如，数据类型包括YUV数据、RGB数据、RAW数据等。例如，数据类型还包括ROI形式的数据或正常形式的数据。
MIPI处理单元130是基于从共同处理单元120输入的各种类型的数据(多条ROI图像数据112中的一条、多条ROI信息116中的一条、以及帧信息117)生成并且传送与MIPICSI-2规范或MIPI CSI-3规范的传输方法对应的传输数据137A的电路。MIPI处理单元130在嵌入式数据中传送各个ROI在图像数据111中的ROI信息116。在经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，MIPI处理单元130进一步在长分组的有效载荷数据中传送各个ROI的图像数据(压缩图像数据135C)。此时，MIPI处理单元130经由共同的虚拟信道传送各个ROI的图像数据(压缩图像数据135C)。此外，MIPI处理单元130在图像数据帧中传送各个ROI的图像数据(压缩图像数据135C)并且在图像数据帧的报头中传送关于各个ROI的ROI信息116。此外，在其中经由控制总线B2从处理器200输入正常图像的控制信号指示输出的情况下，MIPI处理单元130还在长分组的有效载荷数据中传送正常的图像数据(压缩图像数据135D)。
例如，MIPI处理单元130包括链路(LINK)控制部131、ECC生成部132、PH生成部133、EBD缓冲器134、编码部135、ROI数据缓冲器136、以及合成部137。
例如，链路控制部131将关于每行的帧信息117输出至ECC生成部132和PH生成部133。例如，基于帧信息117中的一行数据(例如，虚拟信道的数量、每个ROI的数据类型、每行的有效载荷长度等)，ECC生成部132生成该行的纠错码。例如，ECC生成部132将已生成的纠错码输出至PH生成部133。例如，PH生成部133使用帧信息117和由ECC生成部132生成的纠错码生成每行的分组报头PH。PH生成部143将已生成的分组报头PH输出至合成部147。
EBD缓冲器134临时存储一条或多条ROI信息116、并且在预定时刻将一条或多条ROI信息116作为嵌入式数据输出至合成部137。
在其中经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，编码部135基于从图像数据111获得的一条或多条ROI图像数据112以及与一条或多条ROI图像数据112相对应的优先级115生成一条或多条传输图像数据135A。编码部135从图像数据111获得的多条ROI图像数据112生成遭受图像数据135B的遗漏的多条传输图像数据135A，以不允许以重叠的方式将重叠区域ROO的图像数据135B包括在从图像数据111所获得的多条ROI图像数据112中。
在其中经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，编码部135进一步对一条或多条传输图像数据135A进行编码，以生成压缩图像数据135C。例如，编码部135通过符合JPEG规范的压缩形式等对一条或多条传输图像数据135A进行压缩，由此生成压缩图像数据135C。在其中经由控制总线B2从处理器200输入正常图像的控制信号指示输出的情况下，编码部135对图像数据119进行编码，以生成压缩图像数据135D。例如，编码部135通过符合JPEG规范的压缩形式等对图像数据119进行压缩，由此生成压缩图像数据135E。
ROI数据缓冲器136临时存储压缩图像数据135C或压缩图像数据135D、并且在预定时刻将压缩图像数据135C或压缩图像数据135D作为长分组的有效载荷数据输出至合成部137。
合成部137基于所输入的各种类型的数据(分组报头PH、ROI信息116、以及压缩图像数据135C或压缩图像数据135D)生成传输数据137A。合成部137将已生成的传输数据137A输出至传输单元150。即，合成部137传长分组的有效载荷数据的分组报头PH中所包括的数据类型(每个ROI的数据类型)。此外，合成部137经由共同的虚拟信道传送每个ROI的图像数据(压缩图像数据135C)。合成部137将作为嵌入式数据的ROI信息116与传输数据137A进行合成。合成部137将包括嵌入式数据的报头信息和报头ECC信息与传输数据137A进行合成，该报头ECC信息对报头信息执行错误检测或校正。合成部137将有效载荷数据ECC信息与传输数据137A进行合成，该有效载荷数据ECC信息对有效载荷数据执行错误检测或校正。合成部137将压缩图像数据135C或压缩图像数据135D作为有效载荷数据与传输数据137A进行合成。
例如，合成部137将关于压缩图像数据135C的相应像素行的各条压缩图像数据135C单独布置在传输数据137A的分组区域R2中。相应地，传输数据137A的分组区域R2不包括与重叠区域ROO的图像数据135B对应的重叠压缩图像数据。此外，例如，合成部137在传输数据137A的分组区域R2中省去了不与图像数据111的各个传输图像数据135A对应的像素行。相应地，传输数据137A的分组区域R2不包括不与图像数据111的各个传输图像数据135A对应的像素行。应注意，在图6的分组区域R2中，由折线包围的部分与图像数据135B在重叠区域ROO上的压缩图像数据对应。
通过与靠近分组报头PH(例如，图6中的1(n))的分组的组的压缩图像数据对应的ROI图像数据112的物理区域长度XLa1指定靠近分组报头PH(例如，图6中的1(n))的分组的组与远离分组报头PH(例如，图6中的2(1))的分组的组之间的边界。在与靠近分组报头PH(例如，图6中的1(n))的分组的组中所包括的重叠区域ROO的图像数据135B对应的压缩图像数据中，通过与远离分组报头PH(例如，图6中的2(1))的分组的组对应的ROI图像数据112的物理区域长度XLa2指定分组的起始位置。
例如，一旦生成每行的长分组的有效载荷数据，则除压缩图像数据135C中的一行像素数据之外，合成部137可以将例如ROI信息116包括在长分组的有效载荷数据中，例如，包括在传输数据137A的分组区域R2中。即，合成部137可以传送包括在长分组的有效载荷数据中的ROI信息116。此时，例如，ROI信息116包括图像数据111中所包括的ROI数量(ROI数量)、每个ROI的区域号(或优先级115)、每个ROI的数据长度、或每个ROI的图像格式中的至少一项。ROI信息116优选布置在长分组的有效载荷数据的分组报头PH的一侧的边缘部分处(即，长分组的有效载荷数据的头部处)。
SLVS-EC处理单元140是基于从共同处理单元120输入的各种类型的数据(多条ROI图像数据112中的一条、多条ROI信息116中的一条、以及帧信息117)生成并且传送与SLVS-EC规范的传输方法相对应的传输数据147A的电路。在其中经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，SLVS-EC处理单元140进一步在有效载荷数据中传送各个ROI的图像数据(压缩图像数据145C)。在其中经由控制总线B2从处理器200输入正常图像的控制信号指示输出的情况下，SLVS-EC处理单元140还传送正常的图像数据(压缩图像数据145D)。
例如，SLVS-EC处理单元140包括链路控制部141、ECC生成部142、PH生成部143、EBD缓冲器144、编码部145、ROI数据缓冲器146、以及合成部147。
例如，链路控制部141将关于每行的帧信息117输出至ECC生成部142和PH生成部143。例如，基于帧信息117中的一行数据(例如，帧开始、帧结束等)，ECC生成部142生成该行的纠错码。例如，ECC生成部142将已生成的纠错码输出至PH生成部143。PH生成部143使用例如帧信息117以及由ECC生成部142生成的纠错码生成每行的分组报头。如上所述，在发送区域数据的情况下，PH生成部143设置指示将关于区域的信息(例如，区域数据)作为报头信息类型发送至分组报头的扩展区域的信息。而且，PH生成部143设置指示通过利用有效载荷将区域数据发送至扩展区域的至少一部分的信息。此外，对于其中将区域的坐标插入到有效载荷中的包，PH生成部143设置指示通过利用有效载荷将区域的坐标发送至扩展区域的至少一部分的信息。PH生成部143将已生成的分组报头输出至合成部147。应注意，PH生成部143可以将区域数据置于嵌入式数据、而非有效载荷中。
EBD缓冲器144临时存储从共同处理单元120发送的附加信息(一条或多条ROI信息116)、并且在预定时刻将一条或多条ROI信息116作为嵌入式数据输出至合成部147。
在经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，编码部145基于从图像数据111获得的一条或多条ROI图像数据112以及与一条或多条ROI图像数据112相对应的优先级115生成一条或多条传输图像数据145A。编码部145从图像数据111获得的一条或多条ROI图像数据112生成遭受图像数据135B的遗漏的多条传输图像数据145A，以不允许以重叠的方式将重叠区域ROO的图像数据145B包括在从图像数据111所获得的多条ROI图像数据112中。
在其中经由控制总线B2从处理器200输入ROI的控制信号指示切出的情况下，编码部145进一步对一条或多条传输图像数据145A进行编码，以生成压缩图像数据145C。例如，编码部145通过符合JPEG规范的压缩形式等对一条或多条传输图像数据145A进行压缩，由此生成压缩图像数据145C。在其中经由控制总线B2从处理器200输入正常图像的控制信号指示输出的情况下，编码部145对图像数据119进行编码，以生成压缩图像数据145D。例如，编码部145通过符合JPEG规范的压缩格式等对图像数据119进行压缩，由此生成压缩图像数据145D。
ROI数据缓冲器146临时存储压缩图像数据145C或压缩图像数据145D、并且在预定时刻将压缩图像数据145C或压缩图像数据145D输出至合成部147。
合成部147基于所输入的各种类型的数据(分组报头、附加信息、以及压缩图像数据145C或压缩图像数据145D)生成传输数据147A。合成部147将作为嵌入式数据的ROI信息116与传输数据147A进行合成。合成部147将包括嵌入式数据的报头信息和报头ECC信息与传输数据147A进行合成，以对报头信息执行错误检测或校正。合成部147将已生成的传输数据147A输出至传输单元150。合成部147将有效载荷数据ECC信息与传输数据147A进行合成，以对有效载荷数据执行错误检测或校正。合成部147将压缩图像数据145C或压缩图像数据145D作为有效载荷数据与传输数据147A进行合成。
例如，在其中设置三个ROI(ROI1、ROI2、以及ROI3)的情况下，合成部147在分组A2中发送关于每个ROI的区域信息作为附加信息的一部分(嵌入式数据)、并且在分组A1中发送与每行的每个ROI相对应的区域数据。
传输单元150经由数据总线B1将传输数据137A和传输数据147A中的一者发送至处理器200。对于每行，传输单元150经由数据总线B1将从合成部137和合成部147中的一个发送的分组发送至处理器200。例如，传输单元150的输出与耦接至数据总线B1的输出引脚P1耦接。
(处理器200)
接着，给出处理器200的描述。图3示出了处理器200的配置的示例。图3中示出的配置与CSI接收器的具体示例对应。例如，处理器200是以与图像传感器100共同的规范的(例如，MIPI CSI-2规范或MIPI CSI-3规范、以及SLVS-EC规范中的一个)接收信号的装置。
例如，处理器200包括MIPI处理单元210、SLVS-EC处理单元220、以及共同处理单元230。MIPI处理单元210与SLVS-EC处理单元220是经由数据总线B1接收从图像传感器100输出的传输数据137A和传输数据147A中的一者的电路、并且对所接收的传输数据执行预定处理，由此生成各种类型的数据(112、116、以及117)并且将其输出至共同处理单元230。例如，MIPI处理单元210的输入和SLVS-EC处理单元220的输入与耦接至数据总线B1的共同输入引脚P2耦接。与单独提供输入引脚的情况相比较，这使得可以减少输入引脚的数量。作为MIPI处理单元210的输出的各种类型的数据(112、116、以及117)与作为SLVS-EC处理单元220的输出的各种类型的数据(112、116、以及117)具有彼此等同的数据格式。
共同处理单元230是基于从MIPI处理单元210和SLVS-EC处理单元220中的一者接收的各种类型的数据(112、116、以及117)生成ROI图像233A的电路。共同处理单元230是基于从MIPI处理单元210和SLVS-EC处理单元220中的一者接收的数据(119)生成正常图像234A的电路。MIPI处理单元210的输出与SLVS-EC处理单元220的输出具有彼此等同的数据格式，并且由此，共同处理单元230不包括用于MIPI处理单元210的输出的专用处理电路和用于SLVS-EC处理单元220的输出的专用处理电路。即，共同处理单元230可以使用共同的处理电路对MIPI处理单元210与SLVS-EC处理单元220的输出进行处理。
MIPI处理单元210从与MIPI CSI-2规范或MIPI CSI-3规范相对应的传输数据137A中提取一条或多条ROI图像数据112以及一条或多条ROI信息116。例如，MIPI处理单元210包括报头分离部211、报头解译部212、有效载荷分离部213、EBD解译部214、ROI数据分离部215、信息提取部216、ROI解码部217、以及正常图像解码部218。
报头分离部211经由数据总线B1从图像传感器100接收传输数据137A。即，报头分离部211将关于图像数据111中的每个ROI的ROI信息116包括在嵌入式数据中、并且接收包括长分组的有效载荷数据中的每个ROI的图像数据(压缩图像数据135C)的传输数据137A。报头分离部211根据由MIPI CSI-2规范或MIPI CSI-3规范定义的规则而分离所接收的传输数据137A。针对报头区域R1和分组区域R2，报头分离部211对接收的传输数据137A进行分离。
报头解译部212基于报头区域R1中所包括的数据(具体地，嵌入式数据)指定分组区域R2中所包括的长分组的有效载荷数据的位置。有效载荷分离部213基于由报头解译部212指定的长分组的有效载荷数据的位置从分组区域R2中分离分组区域R2中所包括的长分组的有效载荷数据。
EBD解译部214将嵌入式数据作为EBD数据214A输出至信息提取部216。EBD解译部214进一步从嵌入式数据所包括的数据类型中确定长分组的有效载荷数据中所包括的图像数据是否是ROI的图像数据(ROI图像数据112)的压缩图像数据135C或正常图像数据(图像数据119)的压缩图像数据135D。EBD解译部214将确定结果输出至ROI数据分离部215。
在其中长分组的有效载荷数中所包括的图像数据是ROI的图像数据(ROI图像数据112)的压缩图像数据135C的情况下，ROI数据分离部215将长分组的有效载荷数作为Payload Data 215A输出至ROI解码部217。在其中Payload Data中所包括的图像数据是正常图像数据(图像数据119)的压缩图像数据135D的情况下，ROI数据分离部215将长分组的有效载荷数作为有效载荷数据215B输出至正常图像解码部218。在其中长分组的有效载荷数包括ROI信息116的情况下，有效载荷数据215A包括ROI信息116以及压缩图像数据135C中的一行像素数据。
信息提取部216从包括在EBD数据214A中的嵌入式数据中提取一条或多条ROI信息116。例如，信息提取部216从包括在EBD数据214A中的嵌入式数据中提取例如图像数据111中所包括的ROI数量、每个ROI的区域号(或优先级115)、每个ROI的数据长度、以及每个ROI的图像格式。即，传输数据137A包括与每个ROI图像数据112相对应的ROI的区域号(或优先级115)作为能够确定从该传输数据137A获得的多条ROI图像数据112中的哪条ROI图像数据遭受重叠区域ROO的图像118的遗漏的确定信息。
例如，信息提取部216从包括在EBD数据214A中的嵌入式数据中提取坐标(例如，左上边缘坐标(Xa1,Ya1))、长度(例如，物理区域长度XLa1、YLa1)、以及与一个ROI图像数据112相对应的ROI的区域号一(或优先级115(＝1))。例如，信息提取部216进一步从包括在EBD数据214A中的嵌入式数据中提取坐标(例如，左上边缘坐标(Xa2,Ya2))、长度(例如，物理区域长度XLa2、YLa2)、以及与另一ROI图像数据112相对应的ROI的区域号二(或优先级115(＝2))。
正常图像解码部218对有效载荷数据215B进行解码，以生成正常图像数据218A。ROI解码部217对有效载荷数据215A中所包括的压缩图像数据137B进行解码，以生成图像数据217A。图像数据217A包括一条或多条ROI图像数据112。
SLVS-EC处理单元220从与SLVS-EC规范对应的传输数据147A中提取一条或多条ROI图像数据112以及一条或多条ROI信息116。例如，SLVS-EC处理单元220包括报头分离部221、报头解译部222、有效载荷分离部223、EBD解译部224、ROI数据分离部225、信息提取部226、ROI解码部227、以及正常图像解码部228。
报头分离部221经由数据总线B1从图像传感器100接收传输数据147A。报头分离部211根据由SLVS-EC规范定义的规则而分离所接收的传输数据147A。
报头解译部222对由报头数据指示的内容进行解译。作为具体示例，报头解译部222根据在分组报头的扩展区域的头部处的三个位所设置的报头信息类型而识别除扩展区域的头部处的该三个位之外、另一区域中所设置的信息格式。然后，报头解译部222根据该格式的识别结果读取扩展区域中所设置的各种类型的信息。例如，这能够使得报头解译部222基于扩展区域中所设置的信息识别发送关于区域(ROI)的信息(例如，区域数据)或利用有效载荷来发送区域的坐标。然后，报头解译部222将根据扩展区域中所设置的各种类型的信息的读取结果而识别的设置通知给有效载荷分离部223。具体地，在识别发送关于区域(ROI)的信息(例如，区域数据)或利用有效载荷来发送区域的坐标的情况下，报头解译部222将该识别结果通知给有效载荷分离部223。
基于报头解译部222中的解译结果，有效载荷分离部223从有效载荷数据中分离出附加信息和图像数据(正常数据或区域数据)。例如，在其中待处理的分组是分组A2或A3的情况下，有效载荷分离部223可以从分组中分离出附加信息(嵌入式数据)。
作为另一示例，在其中待处理的分组是分组A1的情况下，有效载荷分离部223从有效载荷数据中分离出图像数据。例如，在其中区域数据存储在有效载荷中的情况下，有效载荷分离部223可以根据分组报头的解译结果从有效载荷数据中分离出该区域数据。此外，此时，有效载荷分离部223可以根据分组报头的解译结果分离出被插入到有效载荷的头部部分中的区域的坐标(即，局部区域的X-Y坐标)。此外，在其中正常数据存储在有效载荷中的情况下，有效载荷分离部223可以根据分组报头的解译结果从有效载荷数据中分离出该正常数据。
有效载荷分离部223将从有效载荷数据中分离出的各种类型的数据之中的附加信息发送至EBD解译部224。此外，有效载荷分离部223将从有效载荷数据中分离出的各种类型的数据之中的图像数据(区域数据或正常数据)发送至ROI数据分离部225。此外，此时，有效载荷分离部223可以在发送至ROI数据分离部225之前将区域数据与和该区域数据(即，局部区域的X-Y坐标)对应的区域的坐标相关联。
EBD解译部224对附加信息(嵌入式数据)的内容进行解译，以将该附加信息的解译结果224A输出至信息提取部226。此外，EBD解译部224可以将该附加信息的解译结果224A发送至ROI数据分离部225。应注意，上面参考图9对附加信息(嵌入式数据)的格式进行了描述。
在其中从有效载荷分离部223发送的图像数据是ROI图像数据112的压缩图像数据120A的情况下，ROI数据分离部225将从有效载荷数据中分离出的图像数据作为有效载荷数据215A输出至ROI解码部227。在其中从有效载荷分离部223发送的图像数据是正常图像数据的压缩图像数据130A的情况下，ROI数据分离部225将从有效载荷数据中分离出的图像数据作为有效载荷数据215B输出至正常图像解码部228。
信息提取部226从附加信息的解译结果224A中提取ROI信息116。例如，信息提取部226从附加信息的解译结果224A中提取例如图像数据111中所包括的ROI数量、每个ROI的区域号(或优先级115)、每个ROI的数据长度、以及每个ROI的图像格式。即，传输数据147A包括与每个ROI图像数据112对应的ROI的区域号(或优先级115)作为能够确定从该传输数据147A中所获得的多条ROI图像数据112中的哪条ROI图像数据遭受重叠区域ROO的图像118的遗漏的确定信息。
正常图像解码部228对有效载荷数据225B进行解码，以生成正常图像数据228A。ROI解码部227对有效载荷数据225A中所包括的压缩图像数据147B进行解码，以生成图像数据227A。图像数据227A包括一条或多条ROI图像数据112。
共同处理单元230基于MIPI处理单元210和SLVS-EC处理单元220中的一个处理单元的输出生成图像数据111中所包括的一条或多条ROI图像数据112。共同处理单元230还基于MIPI处理单元210和SLVS-EC处理单元220中的一者的输出而生成图像数据111作为正常图像。在其中处理器200经由控制总线B2将ROI的控制信号指示切出输入至图像传感器100的情况下，共同处理单元230基于已生成的多条ROI图像数据112执行图像处理。在其中处理器200经由控制总线B2将正常图像的控制信号指示输出输入至图像传感器100的情况下，共同处理单元230基于已生成的图像数据111执行图像处理。
例如，共同处理单元230包括三个选择部231、232、以及234、ROI图像生成部233、以及图像处理部235。
两个选择部231和232各自选择MIPI处理单元210(信息提取部216和ROI解码部217)和SLVS-EC处理单元220(信息提取部216和ROI解码部217)中的一者的输出，以将所选择的输出输出至ROI图像生成部233。选择部234选择MIPI处理单元210(正常图像解码部218)和SLVS-EC处理单元220(正常图像解码部218)中的一个处理单元的输出，以将所选择的输出输出至图像处理部235。
ROI图像生成部233基于两个选择部231和232的输出生成每个ROI(ROI图像数据112)在图像数据111中的图像。在其中处理器200经由控制总线B2将ROI的控制信号指示切出输入至图像传感器100的情况下，图像处理部235使用每个ROI(ROI图像数据112)在图像数据111中的图像执行图像处理。同时，在其中处理器200经由控制总线B2将正常图像的控制信号指示输出输入至图像传感器100的情况下，图像处理部235使用图像数据111执行图像处理。
[效果]
接着，给出根据本实施方式的通信系统1000的效果的描述。
近年来，用于发送具有大数据量的大量数据的应用已经增加。传输系统可能负载较重，并且在最坏的情况下，存在传输系统可能失灵并且不可执行数据传输的可能性。
例如，为了防止传输系统失灵，并非发送整个拍摄图像，而是仅发送通过指定待拍摄的对象并且切出所指定的对象而获得的局部图像。
顺便提及，作为从图像传感器至应用处理器的传输所使用的方法，在一些情况下，可以使用MIPI CSI-2、MIPI CSI-3等。此外，作为从应用处理器至显示器的传输所使用的方法，在一些情况下，可以使用SLVS-EC等。
在其中使用这些方法发送从捕获图像切出的局部区域(ROI(关注区域))的情况下，为了适应多种传输方法，需要为各种对应的传输方法提供一种发送器和接收器，其需要在成本和设备尺寸方面进行改善。
同时，在本实施方式中，图像传感器100与处理器200两者适应于两种传输方法(MIPI CSI-2、或MIPI CSI-3、以及SLVS-EC)。此处，在图像传感器100中，共享MIPI CSI-2或MIPI CSI-3以及SLVS-EC所共用的处理块(共同处理单元120)。进一步地，在处理器200中，共享MIPI CSI-2或MIPI CSI-3以及SLVS-EC所共用的处理块(共同处理单元230)。
具体地，在图像传感器100中，共享处理块，即，执行从通过成像单元110获得的图像数据111中切出ROI图像数据112的处理以及生成产生与相应的传输方法对应的各条传输数据137A和147A所必需的信息(ROI信息116和帧信息117)的处理。此外，在处理器200中，共享执行生成(恢复)ROI图像数据112的处理的处理块。与其中单独提供处理块、以适应MIPICSI-2或MIPI CSI-3以及SLVS-EC的情况相比较，这使得可以减少电路的尺寸并且由此降低成本。
<2.变形例>
在上述实施方式中，已经提及了作为多种自适应传输方法的MIPI CSI-2或MIPICSI-3以及SLVS-EC。然而，在上述实施方式中，即使在适应于不同的多种传输方法的情况下，在发送器的一端上可以共享处理块，即，执行从通过成像而获得的图像数据中切出ROI图像数据的处理以及生成产生传输数据所必需的信息(ROI信息和帧信息)的处理。此外，在接收器的一端上可以共享执行生成(恢复)ROI图像数据的处理的处理块。
尽管上面已经参考实施方式及其变形例给出了本公开的描述，然而，本公开并不局限于上述实施方式等，并且可以做出各种变形。应注意，此处所述的效果仅是示出性的。本公开的效果并不局限于此处所述的这些效果。本公开可以具有此处所述的效果之外的其他效果。
此外，例如，本公开可以具有下列配置。
(1)一种发送器，包括：
切出部，从通过成像而获得的图像数据中切出图像数据中包括的一条或多条关注区域(ROI)图像数据；
推导部，推导图像数据中的ROI位置信息；
第一处理单元，基于图像数据中的一条或多条ROI图像数据以及一条或多条ROI位置信息生成与第一传输方法相对应的第一传输数据；以及
第二处理单元，基于图像数据中的一条或多条ROI图像数据以及一条或多条ROI位置信息生成与第二传输方法相对应的第二传输数据。
(2)根据(1)所述的发送器，其中，
第一处理单元将一条或多条ROI位置信息作为嵌入式数据与第一传输数据进行合成；并且
第二处理单元将一条或多条ROI位置信息作为嵌入式数据与第二传输数据进行合成。
(3)根据(2)所述的发送器，其中，
第一处理单元将报头信息和报头ECC信息与第一传输数据进行合成，该报头信息包括嵌入式数据，该报头ECC信息对报头信息执行错误检测或校正；并且
第二处理单元将报头信息和报头ECC信息与第二传输数据进行合成，该报头信息包括嵌入式数据，该报头ECC信息对报头信息执行错误检测或校正。
(4)根据(1)所述的发送器，其中，
第一处理单元将一条或多条ROI图像数据作为有效载荷数据与第一传输数据进行合成；并且
第二处理单元将一条或多条ROI图像数据作为有效载荷数据与第二传输数据进行合成。
(5)根据(4)所述的发送器，其中，
第一处理单元将有效载荷数据ECC信息与第一传输数据进行合成，该有效载荷数据ECC信息对有效载荷数据执行错误检测或校正；并且
第二处理单元将有效载荷数据ECC信息与第二传输数据进行合成，该有效载荷数据ECC信息对有效载荷数据执行错误检测或校正。
(6)根据(1)所述的发送器，其中，
第一处理单元将一条或多条ROI位置信息作为嵌入式数据、并且将一条或多条ROI图像数据作为有效载荷数据与第一传输数据进行合成；
第二处理单元将一条或多条ROI位置信息作为嵌入式数据、并且将一条或多条ROI图像数据作为有效载荷数据与第二传输数据进行合成；
第一处理单元将报头信息、报头ECC信息、以及有效载荷数据ECC信息中的至少一项与第一传输数据进行合成，该报头信息包括嵌入式数据，该报头ECC信息对报头信息执行错误检测或校正，该有效载荷数据ECC信息对分组页脚或有效载荷数据执行错误检测或校正；并且
第二处理单元将报头信息、报头ECC信息、以及有效载荷数据ECC信息中的至少一项与第二传输数据进行合成，该报头信息包括嵌入式数据，该报头ECC信息对报头信息执行错误检测或校正，该有效载荷数据ECC信息对分组页脚或有效载荷数据执行错误检测或校正。
(7)一种接收器，包括：
第一处理单元，从与第一传输方法相对应的第一传输数据中提取一条或多条图像数据以及一条或多条位置信息；
第二处理单元，从与第二传输方法相对应的第二传输数据中提取一条或多条图像数据以及一条或多条位置信息；以及
生成部，基于由第一处理单元或第二处理单元提取的一条或多条图像数据以及一条或多条位置信息，生成包括在通过成像而获得的捕获图像数据中的一条或多条ROI图像数据。
(8)根据(7)所述的接收器，其中，
第一处理单元从包括在第一传输数据中的嵌入式数据中提取一条或多条位置信息；并且
第二处理单元从包括在第二传输数据中的嵌入式数据中提取一条或多条位置信息。
(9)根据(7)所述的接收器，其中，
第一处理单元从包括在第一传输数据中的有效载荷数据中提取一条或多条图像数据；并且
第二处理单元从包括在第二传输数据中的有效载荷数据中提取一条或多条图像数据。
(10)一种通信系统，包括：
发送器；以及
接收器；
发送器包括：
切出部，从通过成像而获得的图像数据中切出包括在图像数据中的一条或多条ROI图像数据；
推导部，推导图像数据中的ROI位置信息；
第一处理单元，基于图像数据中的一条或多条ROI图像数据以及一条或多条ROI位置信息生成与第一传输方法相对应的第一传输数据；以及
第二处理单元，基于图像数据中的一条或多条ROI图像数据以及一条或多条ROI位置信息生成与第二传输方法相对应的第二传输数据；并且
接收器包括：
第一处理单元，从第一传输数据中提取一条或多条图像数据以及一条或多条位置信息；
第二处理单元，从第二传输数据中提取一条或多条图像数据以及一条或多条位置信息；以及
生成部，基于由第一处理单元或第二处理单元提取的一条或多条图像数据以及一条或多条位置信息生成包括在图像数据中的一条或多条ROI图像数据。
根据本公开的实施方式的发送器，由第一传输方法和第二传输方法共享这样的处理块，即，从通过成像而获得的图像数据中切出图像数据中所包括的一条或多条ROI图像数据并且推导图像数据中的ROI位置信息，由此使得可以适应多种传输方法。
此外，根据本公开的实施方式的接收器，由第一传输方法和第二传输方法共享这样的处理块，即，执行生成一条或多条ROI图像数据的处理，由此使得可以适应多种传输方法。
此外，根据本公开的实施方式的通信系统，由第一传输方法和第二传输方法共享这样的处理块，即，从通过成像而获得的图像数据中切出图像数据中所包括的一条或多条ROI图像数据并且推导图像数据中的ROI位置信息，并且由第一传输方法和第二传输方法共享这样的处理块，即，执行生成一条或多条ROI图像数据的处理，由此使得可以适应多种传输方法。
应注意，本公开的效果并不一定必须局限于此处所述的效果，并且可以是本说明书中描述的任意效果。
本申请要求保护于2019年7月30日提交给日本专利局的日本优先权专利申请JP2019-139884的权益，通过引用将其全部内容结合在此。
本领域技术人员应当理解的是，只要在所附权利要求或其等同物的范围内，则可以根据设计需求及其他因素做出各种改造、组合、子组合、以及更改。

Claims (10)

1.一种发送器，包括：
切出部，从通过成像而获得的图像数据中切出包括在所述图像数据中的一条或多条关注区域ROI图像数据；
推导部，推导所述图像数据中的ROI位置信息；
第一处理单元，基于所述图像数据中的一条或多条所述ROI图像数据以及一条或多条所述ROI位置信息，生成与第一传输方法相对应的第一传输数据；以及
第二处理单元，基于所述图像数据中的一条或多条所述ROI图像数据以及一条或多条所述ROI位置信息，生成与第二传输方法相对应的第二传输数据。
2.根据权利要求1所述的发送器，其中，
所述第一处理单元将一条或多条所述ROI位置信息作为嵌入式数据与所述第一传输数据进行合成；并且
所述第二处理单元将一条或多条所述ROI位置信息作为嵌入式数据与所述第二传输数据进行合成。
3.根据权利要求2所述的发送器，其中，
所述第一处理单元将报头信息和报头ECC信息与所述第一传输数据进行合成，所述报头信息包括所述嵌入式数据，所述报头ECC信息对所述报头信息执行错误检测或校正；并且
所述第二处理单元将报头信息和报头ECC信息与所述第二传输数据进行合成，所述报头信息包括所述嵌入式数据，所述报头ECC信息对所述报头信息执行错误检测或校正。
4.根据权利要求1所述的发送器，其中，
所述第一处理单元将一条或多条所述ROI图像数据作为有效载荷数据与所述第一传输数据进行合成；并且
所述第二处理单元将一条或多条所述ROI图像数据作为有效载荷数据与所述第二传输数据进行合成。
5.根据权利要求4所述的发送器，其中，
所述第一处理单元将有效载荷数据ECC信息与所述第一传输数据进行合成，所述有效载荷数据ECC信息对所述有效载荷数据执行错误检测或校正；并且
所述第二处理单元将有效载荷数据ECC信息与所述第二传输数据进行合成，所述有效载荷数据ECC信息对所述有效载荷数据执行错误检测或校正。
6.根据权利要求1所述的发送器，其中，
所述第一处理单元将一条或多条所述ROI位置信息作为嵌入式数据、并且将一条或多条所述ROI图像数据作为有效载荷数据与所述第一传输数据进行合成；
所述第二处理单元将一条或多条所述ROI位置信息作为嵌入式数据、并且将一条或多条所述ROI图像数据作为有效载荷数据与所述第二传输数据进行合成；
所述第一处理单元将报头信息、报头ECC信息、以及有效载荷数据ECC信息中的至少一项与所述第一传输数据进行合成，所述报头信息包括所述嵌入式数据，所述报头ECC信息对所述报头信息执行错误检测或校正，所述有效载荷数据ECC信息对分组页脚或所述有效载荷数据执行错误检测或校正；并且
所述第二处理单元将报头信息、报头ECC信息、以及有效载荷数据ECC信息中的至少一项与所述第二传输数据进行合成，所述报头信息包括所述嵌入式数据，所述报头ECC信息对所述报头信息执行错误检测或校正，所述有效载荷数据ECC信息对分组页脚或所述有效载荷数据执行错误检测或校正。
7.一种接收器，包括：
第一处理单元，从与第一传输方法相对应的第一传输数据中提取一条或多条图像数据以及一条或多条位置信息；
第二处理单元，从与第二传输方法相对应的第二传输数据中提取一条或多条图像数据以及一条或多条位置信息；以及
生成部，基于由所述第一处理单元或所述第二处理单元提取的一条或多条所述图像数据以及一条或多条所述位置信息，生成包括在通过成像而获得的捕获图像数据中的一条或多条ROI图像数据。
8.根据权利要求7所述的接收器，其中，
所述第一处理单元从包括在所述第一传输数据中的嵌入式数据中提取一条或多条所述位置信息；并且
所述第二处理单元从包括在所述第二传输数据中的嵌入式数据中提取一条或多条所述位置信息。
9.根据权利要求7所述的接收器，其中，
所述第一处理单元从包括在所述第一传输数据中的有效载荷数据中提取一条或多条所述图像数据；并且
所述第二处理单元从包括在所述第二传输数据中的有效载荷数据中提取一条或多条所述图像数据。
10.一种通信系统，包括：
发送器；以及
接收器；
所述发送器包括：
切出部，从通过成像而获得的图像数据中切出包括在所述图像数据中的一条或多条ROI图像数据；
推导部，推导所述图像数据中的ROI位置信息；
第一处理单元，基于所述图像数据中的一条或多条所述ROI图像数据以及一条或多条所述ROI位置信息，生成与第一传输方法相对应的第一传输数据；以及
第二处理单元，基于所述图像数据中的一条或多条所述ROI图像数据以及一条或多条所述ROI位置信息，生成与第二传输方法相对应的第二传输数据；并且
所述接收器包括：
第一处理单元，从第一传输数据中提取一条或多条图像数据以及一条或多条所述位置信息；
第二处理单元，从第二传输数据中提取一条或多条图像数据以及一条或多条所述位置信息；以及
生成部，基于由所述第一处理单元或所述第二处理单元提取的一条或多条所述图像数据以及一条或多条所述位置信息，生成包括在所述图像数据中的一条或多条所述ROI图像数据。
CN202080051671.4A 2019-07-30 2020-07-21 发送装置、接收装置、以及通信系统 Pending CN114128300A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-139884 2019-07-30
JP2019139884 2019-07-30
PCT/JP2020/028206 WO2021020224A1 (ja) 2019-07-30 2020-07-21 送信装置、受信装置、及び通信システム

Publications (1)

Publication Number Publication Date
CN114128300A true CN114128300A (zh) 2022-03-01

Family

ID=74229629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080051671.4A Pending CN114128300A (zh) 2019-07-30 2020-07-21 发送装置、接收装置、以及通信系统

Country Status (6)

Country Link
US (1) US20220272208A1 (zh)
JP (1) JPWO2021020224A1 (zh)
CN (1) CN114128300A (zh)
DE (1) DE112020003638T5 (zh)
TW (1) TW202110184A (zh)
WO (1) WO2021020224A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319815A (zh) * 2023-09-27 2023-12-29 北原科技(深圳)有限公司 基于图像传感器的视频流识别方法和装置、设备、介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6012203B2 (ja) * 2012-03-05 2016-10-25 キヤノン株式会社 画像処理装置、及び制御方法
WO2020261814A1 (ja) * 2019-06-28 2020-12-30 ソニーセミコンダクタソリューションズ株式会社 送信装置、受信装置及び伝送システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221197A1 (en) * 2005-03-30 2006-10-05 Jung Edward K Image transformation estimator of an imaging device
JP4616135B2 (ja) * 2005-09-21 2011-01-19 オリンパス株式会社 撮像装置および画像記録装置
US9264659B2 (en) * 2010-04-07 2016-02-16 Apple Inc. Video conference network management for a mobile device
JP2012253429A (ja) * 2011-05-31 2012-12-20 Toshiba Corp 送信装置及び受信装置
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
JP2014216668A (ja) * 2013-04-22 2014-11-17 オリンパス株式会社 撮像装置
US20150116529A1 (en) * 2013-10-28 2015-04-30 Htc Corporation Automatic effect method for photography and electronic apparatus
US9402018B2 (en) * 2013-12-17 2016-07-26 Amazon Technologies, Inc. Distributing processing for imaging processing
US9836484B1 (en) * 2015-12-30 2017-12-05 Google Llc Systems and methods that leverage deep learning to selectively store images at a mobile image capture device
KR102509132B1 (ko) * 2017-06-09 2023-03-13 소니 세미컨덕터 솔루션즈 가부시키가이샤 영상 송신 장치 및 영상 수신 장치
JP6983084B2 (ja) 2018-02-07 2021-12-17 株式会社ジャパンディスプレイ 有機ｅｌ表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117319815A (zh) * 2023-09-27 2023-12-29 北原科技(深圳)有限公司 基于图像传感器的视频流识别方法和装置、设备、介质
CN117319815B (zh) * 2023-09-27 2024-05-14 北原科技(深圳)有限公司 基于图像传感器的视频流识别方法和装置、设备、介质

Also Published As

Publication number Publication date
WO2021020224A1 (ja) 2021-02-04
US20220272208A1 (en) 2022-08-25
JPWO2021020224A1 (zh) 2021-02-04
TW202110184A (zh) 2021-03-01
DE112020003638T5 (de) 2022-04-21

Similar Documents

Publication Publication Date Title
KR102636747B1 (ko) 영상 송신 장치 및 영상 수신 장치
US8970750B2 (en) Image outputting apparatus, image outputting method, image processing apparatus, image processing method, program, data structure and imaging apparatus
CN114128300A (zh) 发送装置、接收装置、以及通信系统
US11323617B2 (en) Video transmission apparatus and video reception apparatus
US20090167941A1 (en) Video data reception apparatus and video data transmission and reception system
US12052515B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
US20120105592A1 (en) 3d image capturing device and controller chip thereof
CN113348654B (zh) 发送装置、发送方法、接收装置、接收方法和发送/接收装置
US8922676B2 (en) Video frame buffer
US11900572B2 (en) Transmission device, reception device, and transmission system
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
US20230129052A1 (en) Reception device and transmission system
JP7584497B2 (ja) 受信装置及び伝送システム
CN113170029B (zh) 图像处理装置和图像处理方法
US20220245828A1 (en) Transmitter, receiver, and communication system
US20220276980A1 (en) Transmission device and communication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination