EP3155732B1 - Optische freiraumübertragung - Google Patents
Optische freiraumübertragung Download PDFInfo
- Publication number
- EP3155732B1 EP3155732B1 EP15741496.2A EP15741496A EP3155732B1 EP 3155732 B1 EP3155732 B1 EP 3155732B1 EP 15741496 A EP15741496 A EP 15741496A EP 3155732 B1 EP3155732 B1 EP 3155732B1
- Authority
- EP
- European Patent Office
- Prior art keywords
- data
- pixel
- image
- pixels
- modulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims description 55
- 230000003287 optical effect Effects 0.000 title claims description 19
- 238000003384 imaging method Methods 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 26
- 235000019557 luminance Nutrition 0.000 description 87
- 230000002123 temporal effect Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 16
- 230000008901 benefit Effects 0.000 description 9
- 230000036961 partial effect Effects 0.000 description 9
- 230000015572 biosynthetic process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 8
- 230000036962 time dependent Effects 0.000 description 8
- 239000003086 colorant Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000001454 recorded image Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 231100000206 health hazard Toxicity 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
- H04B10/114—Indoor or close-range type systems
- H04B10/116—Visible light communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23614—Multiplexing of additional data and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4348—Demultiplexing of additional data and video streams
Definitions
- the present invention relates to a method for optically transmitting data in free space from a transmitter to at least one receiver. Furthermore, the invention relates to an imaging device for carrying out the transmission of the data according to the invention and a camera for receiving the transmitted data.
- optical free space transmission is understood to mean the transmission of data by optical radiation, in particular by light or infrared radiation.
- the classical free space transmission uses light emitting diodes for the purpose of transmission, since these radiation sources can be easily modulated in intensity and intensity changes can be achieved with a high slope.
- the secondary use of room lighting is currently a still exotic special case.
- the advances in LED technology have made optical free-space transmission an important topic in research and development for several years.
- the International Standard for Short-Range Wireless Optical Communication Using Visible Light (IEEE 802.15.7-2011) was adopted by the IEEE Standard Committee in the Local Wireless Networks Working Group in 2011.
- LEDs as transmitters and photodiodes as receivers
- different variants of a data transmission are specified.
- LED lighting devices whose emission is invisibly modulated with data for humans. This is a double function given:
- the light source can also serve as a data source.
- optical transmission is that powerful wireless transmission techniques are possible without any problems with electromagnetic interference, eavesdropping and without any health hazards.
- the drive signal of one or more light-emitting diodes is modulated by a data sequence.
- the achievable data rates are relatively limited for technological reasons. For this reason, approaches to the parallelization of free space transmission by using multiple light sources are already known, the drive signals are each modulated by its own data sequence. In this way, the data rate can be multiplied according to the number of light sources used.
- US application US6661905-B1 refers to the transmission of data on a video signal, and more particularly to the transmission of data on the visible portion of an analog video signal.
- a method for the optical transmission of data in free space from a transmitter to a receiver, in which the transmitter is an imaging device with a plurality of pixels, which are controlled by image data representing an image sequence, and the data intended for transmission in a sequence of data from a number Data bits of comprehensive packets are divided and each data bit is assigned to at least one of the pixels, and wherein the data packets are respectively modulated onto the image data of at least one image of the image sequence.
- the image data contains the data needed to represent an image, suitably in the form of luminance values for the pixels to be driven.
- the image sequence has a specific frame rate with which the pixels are controlled.
- the data intended for transmission are divided into a number of data packets, which in turn each consist of a plurality of data bits, which are subsequently modulated onto the image signal.
- each packet is modulated onto the image data of at least one image, i. the data bits of each packet are coded in one of the images represented by the imaging device.
- the entirety of the data packets then includes the data to be transmitted. The modulating of the data bits thus results in the data to be transmitted being coded in the changes in the light emissions of the pixels.
- image data initially represent only a single image, ie consist of a multiplicity of luminance values for visualizing the image at a specific point in time, wherein the luminance values in each case drive one pixel.
- the temporal sequence of luminance values, which respectively drive the same pixel, is understood as a field signal.
- the image data thus represent a plurality of field signals for a particular point in time.
- the image data itself therefore define the image only locally. They are not time-dependent.
- the field signals and the image sequence are time-dependent.
- a partial image signal refers to the temporal luminance gradient of a single pixel, ie it is pixel-related
- the image sequence as a temporal sequence of images refers to the totality of all pixels, that includes all partial image signals.
- a data packet consists of the multiplicity of data bits, which are each assigned to one pixel and change its luminance value by a certain amount.
- the time sequence of the amounts of the luminance changes which change the brightness of the same pixel in each case is understood as a data sub-signal.
- a data packet thus represents a multiplicity of data sub-signals for a particular point in time.
- a data packet thus defines, in a spatial dimension, by what amount the luminance of the individual pixels should be changed. It is not time-dependent.
- the data sub-signal and the data sequence are time-dependent.
- the data sub-signal refers to the time-varying amount of luminance of a single pixel, i. it is pixel-related
- the sequence of data refers to the totality of all pixels as a temporal sequence of data packets.
- the core idea of the invention is to realize a multiparallel optical free-space transmission in comparison with known free-space transmission systems using only one or a few light sources to which the data to be transmitted are modulated. This is made possible by rasterized screen imaging devices, which consist of a very large number of so-called pixels, of which each individual pixel can basically be used for free space optical transmission and is also used in the context of the invention at best. Due to this multiparallel operation, a multiplication of the transmission data rate is possible. At the same time, the transmission can be designed in such a way that it is concealed to the viewer and takes place at the same time as the image or video playback on the imaging device.
- the imaging device may be a television, computer monitor, a tablet, or any display of individually controllable pixels capable of displaying images.
- the image surface formed by the luminous pixels forms the screen of the imaging device, which can be in particular a flat screen.
- the image area is freely visible to the viewer.
- the method is not limited to the use of a special imaging technology.
- flat screens with plasma technology, as well as in LCD, LED and OLED technology can be used.
- Imaging devices with LEDs or OLEDs as pixels are particularly suitable because they have a high edge steepness when reaching a specific brightness and a modulated data sequence is only slightly time-filtered.
- the number of data bits of the data packets may correspond to the number of pixels of the imaging device, so that each pixel is individually modulated.
- each field signal activating a single pixel is modulated by a respective data sub-signal.
- the light emission of each field signal is modulated, and the data to be transmitted is transmitted in coded manner in parallel in the light emissions of all the pixels. Consequently, a parallel operation is realized in which an individual modulation of the light emission of each pixel of the imaging device takes place.
- the modulation is differential. This can be done time-differentially, spatially differentially or color-differentially.
- a differential modulation is to be understood as meaning that information to be transmitted is split into two amplitude values and only the formation of the difference of these amplitude values allows the transmitted information to be recovered.
- this type of modulation is e.g. realized in Manchester coding.
- information is, for example, a data bit of a data packet.
- the carrier of the information may be a single pixel whose luminance or color is considered at two different, in particular successive, times.
- Carriers of the information may be two individual, in particular adjacent, pixels, whose luminance difference or color difference is considered at the same time in a spatial differential modulation.
- a spatial differential modulation In the case of temporal and spatial modulation, either the luminance of a pixel or its color can be modulated.
- a data bit is not assigned to a single image but two images that form a double image, as it were.
- the data bit may be added in half with opposite signs to the image data of the double image representing one and the other image.
- a part of the data bit is then added to the first image of the double image, for example, and subtracted from the other image of the double image.
- the difference of the image data representing the two images then continues to correspond to the data bit to be transmitted for each pixel.
- the image content to be displayed is not changed on average, so that a viewer perceives no difference. This makes the modulation invisible to the human viewer.
- the visual perception of what is actually displayed on the imaging device Picture or videos will not be affected.
- the video presentation continues while in the background high-rate data is being transmitted to at least one receiver directed to the screen of the imaging device.
- the differential temporal modulation means that two images forming one image pair are used to transmit one bit per pixel. If the image signal is reproduced with a frame rate of 200 Hz, accordingly, only a maximum of 100 bits per second can be transmitted per pixel.
- an HDTV screen with approx. 2 million pixels delivers a data rate of 200 Mbit / s.
- the temporal differential modulation of the light emission of the pixels can be done, for example, in terms of their luminance or in terms of their color.
- a specific luminance difference value in the case of modulation of the luminance, can be assigned to a data bit "1".
- This can be absolute or relative. For example, it may be 2% to 10% of the maximum luminance of the pixels.
- the data sequence modulates the luminance of the individual pixels, it should be noted that this means the total luminance of a pixel.
- One pixel in today's widespread displays usually consists of three light-emitting elements, also referred to below as light-emitting elements, which glow in the primary colors red, green and blue (RGB).
- Each luminous element basically has its own adjustable luminance, wherein the ratio of the luminance of the luminous elements to each other defines a specific color composed of the basic colors RGB.
- a modulation of the luminance or the resulting sense impression "brightness" it is meant a synchronous modulation of the luminance of all luminous elements of a pixel, without the luminance ratio of the luminous elements to each other, i. to change the color of a pixel.
- the transmitted data is coded by color differences instead of luminance differences.
- This can be done, for example, by assigning a certain luminance difference value or modulation value to a data bit "1" as before, but this is not applied globally to all luminous elements of a pixel equally, but only to one or two of the RGB luminous elements. This causes the color of a pixel to be changed. It is then necessary to use a data sub-signal for each of the three primary colors of the pixels and consequently also to define three individual data sequences from the data packets. These can be summarized as RGB-Daten mergetripel. The color change between two successive images remains unchanged when applying the color-differential modulation on average.
- a spatially differential modulation can take place.
- the modulation can now take place in that the individual data bits of a data packet are modulated onto those field signals which respectively drive the first pixel of a pixel pair.
- the other field signals which respectively drive the second pixel of a pixel pair, can each be modulated in an inverted manner.
- the luminance difference or color difference of the pixels of a pixel pair to each other provides the value of the bit to be transmitted.
- the modulation can be effected by modulating the individual data bits of one data packet onto those field signals which each drive every other pixel, whereas the other field signals, each driving each adjacent first pixel, each modulate in an inverted manner become.
- spatial differential modulation By using spatial differential modulation, other bits of data can be transmitted in each frame of the frame, i. at a frame rate of 200Hz also 200 data bits per pixel. However, within an image, only half of the pixels are for modulation, i. Within an image, only half of the pixels are available, so that the maximum transmission rate is identical to the transmission rate in the time-differential modulation. Given suitable viewing parameters, this spatial differential modulation can not be perceived by human observers because the spatial resolution of the human visual sense is limited for high spatial frequencies.
- a modulation of the luminance of the pixels and / or their color can be made.
- the consequent reduction of the resolution is acceptable especially for the color differences of adjacent pixels, so that a color-differential modulation restricts the possible perception of disturbances particularly efficiently.
- the number of data bits of a data packet and, consequently, the number of data packets Data sub-signals may be smaller than the number of pixels.
- only a part of the pixels is modulated.
- the remaining part of the pixels is not driven modulated, ie not used for the optical free space transmission.
- only a portion of the screen of the imaging device is used, not the entire screen. For example, a rectangular cutout can be used.
- a common modulation of a plurality of adjacent pixels can be undertaken.
- a multiplicity of groups, in particular blocks is formed in each case from a plurality of pixels, and the number of data bits or data sub-signals corresponds to the number of groups formed.
- Each group is then modulated individually, but each pixel within a group is controlled identically modulated.
- Under 'blocks' in this context are contiguous areas of the screen, i. to understand a rectangular, in particular square group of picture elements, for example 2x2, 2x3, 3x3, 4x4 etc. pixels.
- the formation of groups and joint modulation of the light emission of the pixels of a group has the advantage that the spatial resolution of the encoded data is reduced, so that lower requirements can be made of the resolution of the camera of the receiver and the orientation of its optical detection of the screen.
- low pass filtering can also be used to generate the images of a limited spatial resolution image pair.
- Low-pass filtering hereby causes, for example, only one of four pixels from a group of 2 ⁇ 2 pixels to have the full modulation amplitude, while the modulation amplitudes of the other pixels are determined via interpolation. This can be eg a linear interpolation.
- the transmission of data is naturally subject to interference. For example, it is problematic if the light emission of the pixels is superimposed on light from a flickering fluorescent tube. It is therefore advantageous to reduce the error rate of the transmission.
- This can be done, for example, by a method of forward error correction (Forward Error Correction), by means of LDPC codes (Low Density Parity Check Codes), parity bits or a cyclic redundancy check (CRC).
- Forward Error Correction Forward Error Correction
- LDPC codes Low Density Parity Check Codes
- parity bits or a cyclic redundancy check (CRC).
- synchronization In order for the camera to correctly evaluate the image information received by the captured light emissions of the pixels, i. correctly decoded and converted back to the original data, synchronization must be made between the camera and the imaging device. Such synchronization can be assisted by introducing reference marks into the modulation of the pixels. Such landmarks may be transmitted from a single, multiple, multiple, or even all pixels or groups of pixels.
- the reference marks can be displayed in relation to a global time at fixed times, in particular regularly in the manner of a clock.
- the reference marks may be set relative to the data transfer, for example as markers marking a beginning and an end of a transmitted data packet.
- Corresponding methods are basically known from digital transmission technology via ordinary transmission channels.
- reference marks can also serve to facilitate alignment of the recorded images in the detection range of the receiver or the camera. For this it is necessary that the markers appear at one or more specific locations, ie are displayed by specific pixels, the the camera knows and expects. These markers should in turn be modulated so that they are invisible to the viewer.
- a reference mark may be formed by a spatial pattern displayed on a portion of the screen or on the entire screen.
- the display of reference marks can then take place by adding or subtracting a particular value in addition to or as an alternative to the partial data signals to the partial image signals of the pixels intended therefor or of all pixels.
- a pattern can be achieved by adding some of the field signals to a particular value and other field signals of the same image, i. spatially, or the subsequent image, i. temporally, a certain value, in particular the same amount is subtracted.
- one pixel with a partial image signal increased by one value and the neighboring pixel with a partial image signal reduced by the value may be alternately driven along a pixel row or pixel column, so that, hidden in the image sequence, a stripe pattern results.
- This can be used as a timestamp that enables the camera to synchronize with the imaging device.
- the pattern is differentially encoded in the image sequence, i. is the difference between two successive images of a pair of images or the difference between adjacent pixels of the same image.
- the receiver may be a video-receptive camera (moving image camera) to be arranged at a distance from the imaging device, which captures the pixels at least for the period of the data transmission and decodes the data sub-signals or data packets from the light emissions of the pixels and converts them back into the original data.
- the camera can be a commercially available CMOS camera, as it is now integrated in smartphones and tablets. It is powerful and typically has high resolutions through optical sensors, currently 5-10 megapixels. At the same time, the smartphones and tablets incorporate powerful processors that enable complex applications and signal processing steps to analyze recorded image data.
- the receiver has a processor, on the software for demodulating and decoding the data sub-signals to reconstruct the data packets.
- the evaluation of the image data in the receiver can take place in that the camera is synchronized by suitable measures, such as the use of reference marks, first to the transmission sequence, and then the decoding of the light emissions, i. the coded luminance or color values of the individual pixels coded data takes place.
- the recording image frequency of the camera must be adapted to the image display frequency of the screen. So if, for example, a 100 Hz screen is used, then the camera must also record 100 frames per second. Conventional motion picture cameras are often designed for the usual image capture rate of 50 frames per second. Nevertheless, they are technically in the system to achieve higher image acquisition frequencies. An adjustment to the double or, in the case of a 200 Hz image reproduction frequency of the screen, fourfold recording frequency is not a problem with a CMOS camera.
- the advantages of the invention are therefore that, using existing components, a comfortable, high-performance data transmission is possible, which can be used in particular for novel multimedia services can be.
- the above-mentioned data rate of 200 Mbit / s is already realistic in the current state of the art.
- Using a standard flat screen TV the contents of a complete CD could be loaded in just 15 seconds.
- a much lower data rate would be sufficient because, for example, there existing DSL connection anyway a bottleneck.
- the method according to the invention can therefore be used additionally or even alternatively for the transmission of data via WLAN.
- the benefit of the invention is not alone in the mere replacement of existing WLAN networks, which already offer an attractive networking solution in many cases today. Rather, because of the principal advantages of optical free space propagation on the one hand and the integration into modern devices on the other hand, completely new, comfortable services are conceivable.
- the plurality of options are limited as limiting factors only the need for a visual connection and at least a rough orientation of the receiving device. The latter in turn brings the advantage of a controllable and for the user recognizable security against eavesdropping.
- the invention provides a cost effective, highly efficient and elegant solution for free space data transmission over short distances.
- widely used devices such as a flat screen as a transmitter and a smartphone / tablet with the appropriate camera as a receiver
- high data rates of over 100Mbit / s over several meters distance can be transmitted in parallel with the playback of videos by millions of parallel operation of free space transmission links is used without visually impairing the image presentation.
- FIG. 1 shows an arrangement for the optical transmission of data in free space from a transmitter 1 to a receiver 3.
- the transmitter 1 is an imaging device having a plurality of pixels, here in the form of a flat-panel television.
- the receiver 3 is a mobile terminal for telecommunications, such as a smartphone with an integrated camera for receiving the transmitted data.
- the data to be transmitted from the transmitter 1 to the receiver 3 is various data from the image signal visualized on the television 1 and usually containing moving pictures.
- the television 1 thus receives additional data in addition to the usual image signal.
- the data to be transmitted may be user data or control data.
- photos or music pieces can be loaded during the television from the Internet or a local network and transmitted via the free space transmission according to the invention from the television 1 to the terminal 3.
- control data can be transmitted, for example, from a bus of the building automation from the TV to the terminal and in this way any devices such as light, heating, blinds, projectors, etc. are controlled.
- a signal processor 6 in the TV 1 modulates the data on the TV picture invisible to a viewer.
- the camera 5 in the smartphone 1 records the modulated television picture.
- a processor 32 cf. FIG. 10 with implemented Demodulator and decoder performs a demodulation and decoding to obtain the data from the television picture and delivers the data for the application on the terminal 3.
- the user has the camera 5 for this purpose only roughly align.
- the receiver 3 does not have to be a mobile terminal. It can also be arranged stationary in the room.
- the starting point of the case of the display of moving images on the imaging device 1 without the additional transmission of data in free space is illustrated as a starting point.
- each image 110 is represented by corresponding image data b i (x, y) defining a plurality of luminance values.
- Each image 110 consists of a plurality of maxistrix-arranged pixels 111, which are referenced by the coordinates x, y.
- 1920x1080 pixels 111 are present in a Full HD (High Definition) image.
- Each image 110 of the image sequence b m (x, y) is assigned an index value m, which indicates the m-th image of the image sequence.
- the front image 110 in FIG FIG. 2 the image contents b m-1 (x, y), for the middle image in FIG. 1 the image contents b m (x, y) and for the rear image 110 in FIG FIG. 2 the image contents b m + 1 (x, y).
- the image frequency (x, y) is 50 Hz, for example, the time interval T between two images is 20 ms.
- the image sequence b m (x, y) initially consists of raw image data, which generally has to be processed for display on an imaging device 1.
- FIG. 3 shows the imaging device 1 after FIG. 1 in block diagram with a Image memory 101, which also includes a signal processing, and a screen 102 on which the raw image sequence b m (x, y) is to be displayed.
- the screen 102 may, for example, be a flat screen, in particular a TFT, LCD, plasma, LED or OLED screen. It has a large number of matrix-controllable, individually controllable pixels 4.
- a full HD (High Definition) screen has 1920 ⁇ 1080 pixels, each consisting of three light elements for the colors red, green and blue.
- the raw image sequence b m (x, y) and the screen 102 are called the same resolution, it is not always the case that the images 110 of the raw image sequence b m (x, y) have the same number of pixels 111 as the screen 102 has on pixels 4. If this is the case, however, the pixel coordinates x, y of the image sequence b m (x, y) simultaneously form pixel coordinates of the screen. However, since this is generally not the case, scaling up or scaling down the resolution, possibly even cutting off pixels 111 of the images 110 of the raw image sequence b m (x, y), is necessary in order to adapt the images 110 to the screen resolution and suitable to display on the screen 102.
- the raw image sequence b m (x, y) is first supplied to the digital image memory and signal processing 101.
- the signal processing takes over the processing of the raw image sequence b m (x, y) to obtain a processed image sequence s n (x, y) which is suitable for display on the screen 102.
- the processing can in particular include the scaling to the screen size or screen resolution, a luminance adjustment and / or the adaptation of the frame rate f B.
- the luminance adjustment can be carried out by assigning a luminance value for each pixel 111 of each image 110, eg an 8-bit luminance value between 0 and 255.
- a luminance value for each pixel 111 of each image 110 eg an 8-bit luminance value between 0 and 255.
- the type of preparation for obtaining the edited image sequence depends on the screen 102 used.
- the processed image sequence s n (x, y) is supplied from the digital image memory 101 to the screen 102 via an interface 103, which she subsequently represents.
- the temporal sequence of luminance values for a specific pixel 4 is understood as a partial image signal s x, y (n).
- the image data s i (x, y) Consequently, the images themselves define the location locally and are not time-dependent.
- the field signals s x, y (n) and the image sequence s n (x, y) are time-dependent.
- a partial image signal s x, y (n) refers to the temporal luminance profile of a single pixel 4 at the point x, y
- the image sequence s n (x, y) is a temporal sequence of image data s i (x, y) refers to the totality of all pixels 4, that is to say all sub-image signals s x, y (n).
- a subimage signal s x, y (n) thus represents the unmodulated drive signal for the pixel 4 at the location x, y.
- additional data 50 are superimposed on the images 110 of the processed image sequence s n (x, y). This is advantageously done such that the additional data 50 is not perceptible to a viewer of the screen 102 and the perception of the images 110 of the processed image sequence s n (x, y) is unimpaired.
- the data 50 to be transmitted can be user data or control data. It can be a file or a continuous data stream.
- FIG. 4 illustrates that the data 50 to be transmitted are arranged in a chronological order and are first divided into a number N of data packets 51 of length L.
- Each packet 51 comprises a length L corresponding number of data bits 52, d 0 , d 1 , d 2 , ... d L-1 , which preferably corresponds to the number of pixels 4 of the imaging device 1.
- each packet 51 receives the same number of L bits 52 as the imaging device 1 has pixels 4. This has the advantage that from all pixels 4 data bits 52 of a packet 51 can be transmitted and a maximum data rate is achieved.
- each image 110 of the processed image sequence s n (x, y) also has a number x ⁇ y of pixels 111 corresponding to the number of pixels 4 of the imaging device 1, the luminance value of each pixel 111 can be exactly one bit 52 of a packet 51 of FIG be modulated to be transmitted data 50.
- a data bit 52 changes the luminance value of a specific pixel 4 by a certain amount.
- the time sequence of the amounts of the luminance changes which change the luminance of the same pixel 4 at the location x, y represents a processed data sub-signal a x, y (n), see FIG. 4b .
- a data packet 51 thus represents a plurality of raw data sub-signals d x, y (h) at a specific discrete time h and defines locally by which bit value the luminance of the individual pixels 4 is to be changed in each case. It is not time-dependent.
- a time-differential modulation of the luminance of the individual pixels 4 is used for the integration of the data 50 to be transmitted into the image sequence s n (x, y) to be visualized performed.
- An alternative to this is a spatially differential modulation. Both types of modulation can be pure luminance modulation or modulation of the color. It should be noted that the color modulation also includes a modulation of the luminance, but the luminance densities of the individual RGB luminous elements of the pixels 4 are modulated differently here, whereas in pure luminance modulation all RGB luminous elements of a pixel are modulated identically.
- all pixels of the screen 102 are individually modulated to obtain a maximum transmission rate.
- a time-differential modulation is effected by using two successive images s i (x, y) and s i + 1 (x, y) of the processed image sequence s n (x, y) as a pair of images 112 and the bits 52 of a the packets 51 are respectively integrated into the two images by a sequence consisting of two amplitude values, so that the difference between the images s i (x, y) and s i + 1 (x, y) of this image pair 112 in each pixel 4 is the value indicates a particular bit 52 previously assigned to that corresponding pixel 4.
- FIG. 5 illustrates how the data to be transmitted 50 are integrated into the images 110 of the processed image sequence s n (x, y), ie how the modulating of the data 50 to be transmitted onto the processed image sequence s n (x, y) takes place.
- This takes place in a signal processor 6.
- the imaging device 1 comprises in comparison to FIG. 3 an additional data memory 104 with a signal processing for the intermediate storage and processing of the data to be transmitted 50 and an adder 105 for their modulation on the processed image sequence s n (x, y).
- the data 50 to be transmitted can come, for example, from the Internet, a local network or from a hard disk and are initially stored in the data memory 104.
- the packet length L corresponds to the number of bits 51 in a packet 52. It corresponds at most to the pixel number of the imaging device 1, but may also be smaller, for example, 1/4 or 1/9 smaller, if pixel groups of size 2x2 or 3x3 pixels 4 are common be controlled.
- the data subsequence d x, y (n) results. This is in FIG. 4a for the first bit d 0 , to which the first pixel with the coordinates 1, 1 is assigned.
- the data subsequence is here corresponding to d 1,1 (n).
- Each pixel-related packet d i (x, y) is then assigned to an image pair 112 of the processed image sequence s n (x, y), whose two images 110 contain identical image information in order to be able to determine the transmitted data 50 again later.
- the two images 110 ideally follow one another.
- s j (x, y) s j + 1 (x, y).
- the image pairs 112 of identical content in the processed image sequence s n (x, y) are not yet present, the image pairs can be generated by using only one image of the processed image sequence s n (x, y) and this to form a pair doubled, that is repeated. Although this leads to a halved frame rate. In general, this results in a frame rate of 100 Hz or more but only in extreme picture content to a limited image quality, which is still much higher than for example in movies. There are usually 24 or 25 frames per second used, which are shown with at least doubled playback frequency on a screen.
- a pixel-related packet d i (x, y) of the data sequence d h (x, y) is added to one of the two images 110 of the image pair 112 pixel by pixel and subtracted from the other image 110 pixel by pixel , so that the image content remains unchanged on average compared to the individual images.
- the image sequence s n (x, y) is formed from image pairs 112 of successive identical images 110 with identical image data s i (x, y) and the data sequence d h (x, y) from pixel-related packets d i (x, y) of which every second pixel-related packet d 2i + 1 (x, y) corresponds to the preceding first pixel-related packet d 2i (x, y) with opposite sign, each first pixel-related packet d 2i (x, y ) each first image of a pair of images 112 and every other pixel-related packet d 2i + 1 (x, y)) is superimposed on each second image of the image pair 112.
- the addition and subtraction can be done in two ways, whereby a unipolar or a bipolar modulation is feasible.
- the individual values of an image 110 of the processed image sequence s n (x, y) at the points x, y are luminance values for the pixels. These luminance values can be described, for example, with an 8-bit signal amplitude, ie in the value range from 0 to 255.
- bits 51 of a data packet 52 may be logical data bits having values of 0 and 1.
- the luminance value of a pixel in the first image of an image pair would then be added one and subtracted from the luminance value of the same pixel in the second image of the image pair one.
- the luminance values would not change.
- a unipolar modulation is achieved, since a luminance change is only achieved in the case of a data bit with a logical one. Since the luminance values of a pixel in the images of the image pair do not differ in the case of a logical zero, this logical zero but also carrier information, which is identifiable only at the receiver by the lack of modulation, the unipolar modulation has a relatively low signal to noise ratio ,
- bipolar modulation can be used. For this, the window formed by the distance of zero and one is centered around zero. This is done by subtracting half the amplitude of all bit values of a pixel-related packet d i (x, y). For bit values of zero and one, the amplitude is 1, so that the value 0.5 is subtracted from all bit values.
- the modulation factor c can be between 3 and 8, for example.
- each image 110 of the processed image sequence s n (x, y) adds a processed pixel-related data packet a i (x, y) of the processed data sequence a n (x, y).
- the resulting, modulated image sequence s n * (x, y) then consists of a sequence of image pairs 112, wherein the difference of the two images 110 of a pair of images 112 for each pixel 4 even the value of the corresponding pixel 4 associated bit 52 of a packet 51 results.
- the resulting modulated image sequence s n * (x, y) forms the screen signal (driving signal for the pixels) and contains time-modulated luminance information with which the individual pixels 4 of the screen 102 of the imaging device 1 are driven.
- FIG. 6 illustrates this temporal differential luminance modulation at 8-bit signal amplitudes (0 to 255).
- FIG. 6 shows twelve times the same section of the screen 102, the three adjacent pixels 4a, 4b, 4c contains.
- Each pixel 4a, 4b, 4c consists of three light-emitting elements, for example LEDs, which emit light in the colors red, green and blue. Therefore, the pixels 4a, 4b, 4c may also be referred to as RGB pixels and the luminance values of the individual elements of a pixel 4a, 4b, 4 as RGB triples.
- the first column shows a section of image information of the processed image sequence s n (x, y) to be visualized.
- the image information is luminance values for the individual light-emitting elements of the RGB pixels 4a, 4b, 4c.
- the second column shows a section of values of the processed data sequence a n (x, y) associated with the pixels 4a, 4b, 4c.
- the third column shows the sum of the values of the first and second column, ie the values of the modulated image sequence s n * (x, y) with which the pixels 4a, 4b, 4c are driven.
- the first line of the FIG. 6 shows a first time t 0 , to which a first image s 0 (x, y) of the processed image sequence s n (x, y) and a first pixel-related packet a 0 (x, y) of the prepared data sequence a n (x, y ) is present.
- a second image s 1 (x, y) of the processed image sequence s n (x, y) and a second pixel-related packet a 1 (x, y) of the processed data sequence a n (x, y) is present.
- the first and second images s 0 (x, y), s 1 (x, y) and the third and fourth s 2 (x, y), s 3 (x, y) images respectively form a pair of images 112.
- the same value is assigned to all light-emitting elements forming an RGB pixel 4.
- the individual RGB elements are therefore not assigned different modulation values. This means that the color of a pixel 4a, 4b, 4c, which results precisely from the ratio of the brightnesses of the RGB elements to one another, is not changed by the modulation. Thus, in this example, only the overall brightness of an RGB pixel 4 is changed.
- the values of the modulated image sequence s n * (x, y) shown in the third column result from the summation of the values in the first and second column for each pixel 4a, 4b, 4c or for each light-emitting element of each pixel 4a, 4b, 4c.
- FIG. 7 shows a second embodiment in which a spatially differential modulation of the data 50 with a signal amplitude of the luminance values of 0-255 takes place.
- the first line illustrates a section of the screen 102 with six RGB pixels 4a to 4f, which are controlled by the luminance values of the processed image sequence s n (x, y).
- the second line shows the values of the data sequence with which these pixels 4a to 4f are modulated.
- the third line shows the six pixels 4a to 4f as they are driven with the luminance values of the resulting modulated image sequence s * n (x, y).
- Both the processed image sequence s n (x, y) and the processed data sequence a n (x, y) are here designed differently in order to integrate the data to be transmitted into the images 110 to be visualized on the screen 102 or in these images 110 to code.
- the coding of a packet 51 of data 50 is not carried out here in an image pair 112 of successive identical images 110, but in a single image 110. In the image 110 following in time in this image 110, then the bits 52 of the next packet 51 are coded.
- the image data of the raw image data sequence b m (x, y) are processed in such a way that the lines and / or columns of the images 110 of the raw image data sequence b m (x, y) are doubled so that an identical second pixel is located next to each pixel 111.
- s n (x, y) s n (i + 1, j).
- s n (i + 1, j) s n (i + 1, j).
- FIG. 7 illustrated for a column-wise pixel duplication, so that identical pairs of pixels or identically controlled Pixel pairs 113 are present.
- the identical control is recognizable on the basis of the same luminance values of two horizontally adjacent pixels 4.
- the first and second pixels 4a, 4b, the third and fourth pixels 4c, 4d and the fifth and sixth pixels 4e and 4f have the same luminance values.
- the processing and processing of the data 50 to be transmitted also differs from the embodiment "time-differential modulation".
- the pixel allocation of bits 52 following the packetization is done such that the bits 52 of an i-th packet P i to be transmitted sequentially every other pixel associated with a line of an image. Since the basic idea of spatial differential modulation is to encode the value of a bit 52 within the same image 110 as the difference between the brightnesses of two identical, in particular adjacent, pixels of a pixel pair or as the difference of the luminances of two identical, in particular adjacent, pixels of a pixel pair 113 , a value indicating the bit value of the corresponding bit 52 is added to the first pixel of this pixel pair, and this value is subtracted from the second pixel.
- a unipolar or a bipolar modulation can take place.
- unipolar modulation only changes a luminance value in the case of a logical one of a bit 52, but not at a logical zero.
- a luminance change occurs in a bipolar modulation both at a logical one and at a logic zero.
- the example according to FIG. 7 shows a bipolar modulation. This can be recognized by the modulation values assigned to the RGB pixels 4a to 4f (see second line), which are assigned both to a logical one associated with the first and the third pixel pair or pixel pair 113 and to a logical zero associated with the second pixel pair or pixel pair 113 is assigned, are different from zero.
- the raw pixel-related packet d i (x, y) is corrected by subtracting half the data bit amplitude (-0.5) from it. A logical one then becomes +0.5 and a logic zero becomes -0.5.
- the processed data sequence a n (x, y) also contains N processed pixel-related data packets a i (x, y) which can be added to N images of the processed image sequence s n (x, y).
- the respective first RGB pixel 4a, 4c, 4e of a pixel pair 113 is thereby respectively assigned the bit value not changed in the sign, the respective second RGB pixel 4b, 4d, 4f of a pixel pair 113, in each case, the bit value changed in the sign,
- each image 110 of the processed image sequence s n (x, y) adds a processed pixel-related data packet a i (x, y) of the data sequence a n (x, y).
- the resulting, modulated image sequence s n * (x, y) then consists of a sequence of images 110, wherein in each image the difference between two adjacent pixels 111 the value of the first of these pixels 111 associated with bit 52 of the encoded in the corresponding image Data packets 51 carries.
- the modulated image sequence s n * (x, y) resulting from the addition is in the third line in FIG. 7 shown. It forms the screen signal (driving signal for the pixels) and contains spatially modulated luminance information with which the individual pixels 4 of the screen 102 of the imaging device 1 are driven.
- FIG. 7 illustrates this spatial differential luminance modulation at an 8-bit signal amplitude (values from 0 to 255) and a modulation amplitude of the height 4.
- the processed image sequence s n (x, y) is initially formed in the same way as in the second variant, because also the color modulation spatially, ie in the same Picture 110 takes place. For this reason, the first line is the FIG. 8 identical to the first line of the FIG. 7 , Thus, even in the third variant in the images 110 of the processed image sequence s n (x, y), the columns y and / or lines x are doubled, so that two adjacent pixels 111 are identical.
- the prepared data sequence a n (x, y) which now no longer provides the same modulation value for all RGB luminous elements of a pixel 4, but at least one of the RGB luminous elements has a different modulation value than the other RGB luminous elements impresses. As a result, the color of the corresponding pixel 4 thereby changes.
- the processed data sequence a n (x, y) must therefore be formed for the individual luminous elements of the individual pixels 4.
- the bits 52 to be transmitted by the three illustrated pixel pairs 113 have the logical values one, zero and one.
- the processed data sequence a n (x, y) formed in the example of the spatial modulation can correspond to one of the triple elements a n, R (x, y), a n, G (x, y), a n, B (x, y) , so that at this point reference is made to the previous statements on the formation of the data sequence a n (x, y).
- bipolar modulation (correction by 0.5, i.e. half bit value) can be used in color modulation, but need not be mandatory.
- the modulation factor c can be identical for all three RGB light elements, ie for all three triple elements, but alternatively also different modulation factors a R , a G , a B for the processed data sequences a associated with the individual RGB light elements n, R (x, y), a n, G (x, y), a n, B (x, y) may be used, each of which may preferably be between 3 and 8.
- FIG. 9 illustrates that shows the necessary functional units of the receiver 3.
- the receiver 3 comprises the camera 5, an image memory 31, a demodulator 32 with decoder and a camera control 33.
- the camera 5 does not necessarily have to be an integral part of the part of the receiver 3 which comprises the processing and control units. Rather, it may also be an externally arranged camera, which is connected via cable or by radio with the other components of the receiver 3.
- the camera 5 directed onto the screen 102 records the images 110 modulated with the integrated data 50 at a corresponding sampling frequency and stores them in the image memory 31 as an image sequence s k "(x, y).
- the recorded image sequence s k "(x, y) in the image memory 31 comprises a sequence of pairwise modulated images s i-1 " (x, y), s i "(x, y) in temporal differential modulation, ie in each case two associated images, in each of which a data packet P i is coded, the decoding takes place via the difference formation of the respective pairwise modulated images s i-1 "(x, y), s i " (x, y), which must be present in the image memory 31 simultaneously
- the pairwise modulated images s i-1 "(x, y), s i " (x, y) are read from the image memory 31 and supplied to the demodulator 32, which performs the subtraction.
- the signal quality can be evaluated in the demodulator 32 and used to control the sampling times.
- "Fineness of the data pattern” here refers to the number of bits 52 of a packet 51 distributed over the screen area, or to the number of screen pixels 4 assigned to one bit in each case.
- the finer the pixel groups for example of 2x2 , 3x3, 4x4, etc., pixels 4 which are modulated with the same bit 52, ie be controlled identically.
- the demodulator 32 can provide information for controlling the image section, which can be realized via a zoom function of the camera 5.
- the control of the image detail and the zooming are taken over by the camera controller 33, which receives the information for the control from the demodulator 32.
- An unavoidable mismatch between the pixel grid of the screen 102 and the pixel matrix of the camera 5 can be compensated for by interpolation filtering in the demodulator 32.
- interpolation filtering in the demodulator 32.
- various methods are conceivable. This interpolation is particularly easy and robust if the resolution of the camera image is significantly higher than that of the data grid.
- an 8 megapixel camera 5 with a resolution of 3840x 2160 pixels can be used, which is four times as high as the data grid resulting from the modulation of each pixel of an HD television.
- the resolution of the data grid can be reduced to 25%, for example, by pixel groups of 2x2 pixels are controlled identically.
- the resolution of the camera image would be 16x higher than the resolution of the data grid.
- the image stabilization well known in the art may be used to cause a local shift between the two images of a pair of images. to avoid a shake.
- the arrangement of receiver 3 relative to the transmitter 1 is stationary, can be dispensed with image stabilization.
- FIG. 10 shows a detailed representation of the demodulator 32 of FIG. 9 , It comprises a subtracter 37 for forming the difference of the recorded image pairs s k-1 "(x, y, k-1) -s k " (y, x, k), a 2D interpolation filter 34, a detector 35 and a signal quality evaluation 36
- the 2D interpolation filter 34 is preferably a spatial two-dimensional low-pass filter used in the conversion of video signals in a known manner to accommodate different sampling patterns.
- the detector 35 samples the filtered signal and makes the decision as to whether the amplitude difference is positive or negative, to detect a logical zero.
- the mode of operation of the signal quality evaluation 36 is as follows: with small difference values, the camera 5 is evidently not well synchronized in terms of time. By shifting the recording times, the amplitude can be increased. For temporal synchronization, however, the actual image content can also be used be, since especially in strongly moving scenes or scene changes here larger amplitude changes occur.
- the section can be adjusted better by zooming.
- special information in the sense of a frame around the used image area can be added on the transmission side and / or information about maximum, in particular temporal difference and / or spatial distribution as input for the camera control 33
- information about maximum, in particular temporal difference and / or spatial distribution can also be determined by the signal quality evaluation 36 and serve as input for the camera control 33.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Communication System (AREA)
Description
- Die vorliegende Erfindung betrifft ein Verfahren zur optischen Übertragung von Daten im freien Raum von einem Sender zu mindestens einem Empfänger. Des Weiteren betrifft die Erfindung eine bildgebende Vorrichtung zur Durchführung der erfindungsgemäßen Übertragung der Daten sowie eine Kamera zum Empfang der übertragenen Daten.
- Unter der sogenannten "optischen Freiraumübertragung" wird die Übertragung von Daten durch optische Strahlung, insbesondere durch Licht oder Infrarot-Strahlung verstanden. Die klassische Freiraumübertragung verwendet Leuchtdioden für den Übertragungszweck, da diese Strahlungsquellen in ihrer Intensität einfach moduliert werden können und Intensitätsänderungen mit einer hohen Flankensteilheit erreichbar sind. Hierzu gibt es eine Vielzahl von Ansätzen. Die Sekundärnutzung von Raumbeleuchtungen ist ein derzeit noch exotischer Spezialfall. Durch die Fortschritte der LED-Technologie ist die optische Freiraumübertragung seit einigen Jahren ein wichtiges Thema im Bereich der Forschung und Entwicklung.
- So wurde im Standardkomitee des IEEE in der Arbeitsgruppe für lokale drahtlose Netzwerke im Jahre 2011 der internationale Standard für "Short-Range Wireless Optical Communication Using Visible Light" verabschiedet (IEEE 802.15.7-2011). Dort werden unter Einsatz von LEDs als Sender und Photodioden als Empfänger verschiedene Varianten einer Datenübertragung spezifiziert. Von besonderem Interesse ist dort die Nutzung von LED-Beleuchtungseinrichtungen, deren Emission für den Menschen unsichtbar mit Daten moduliert wird. Damit ist eine Doppelfunktion gegeben: Neben der Raumbeleuchtung kann die Lichtquelle gleichzeitig als Datenquelle dienen.
- Ähnliche Ansätze lassen sich auch für andere Übertragungsaufgaben nutzen. So ist im Stand der Technik die Modulation des LED-Rücklichts von Fahrzeugen angedacht worden, um Daten zwischen PKW auszutauschen und z.B. nachfolgende Fährzeuge über vorausbefindliche Gefahrensituationen zu informieren.
- Die Vorteile der optischen Übertragung bestehen darin, dass ohne Probleme mit elektromagnetischer Interferenz, Abhörrisiken und ohne jegliche Gesundheitsgefährdung leistungsfähige Verfahren der drahtlosen Übertragung möglich werden.
- Diesen Techniken ist gemeinsam, dass das Ansteuersignal einer oder mehrerer Leuchtdioden durch eine Datenfolge moduliert wird. Die erzielbaren Datenraten sind dabei aus technologischen Gründen relativ begrenzt. Aus diesem Grunde sind bereits Ansätze zur Parallelisierung der Freiraumübertragung durch Verwendung mehrerer Lichtquellen bekannt, deren Ansteuersignale jeweils durch eine eigene Datenfolge moduliert werden. Auf diese Weise kann die Datenrate entsprechend der Anzahl verwendeter Lichtquellen vervielfacht werden.
- Aus der
US-Anmeldung 2005/0264694 A1 ist es bekannt, zur optischen Übertragung von Daten im freien Raum einen TV-Bildschirm zu verwenden, bei dem die Daten auf die Scan-Zeilen aus einzelnen Pixeln mittels sogenannter 2-FSK oder 4-FSK Modulation (Frequency-Shift-Keying) aufmoduliert werden, wobei bei 2-FSK ein erster Frequenzsatz eine logische "1" und ein zweiter Frequenzsatz eine logische "0" beschreibt. Die Helligkeit der Zeilen wird dann gemäß dem dem zu übertragenden Datenbit entsprechenden Frequenzsatz moduliert, wobei eine auf den TV-Bildschirm gerichtete Photodiode die Helligkeitsschwankungen detektiert, und aus diesen mittels einer Fourier-Transformation die Frequenzen zur Kodierung des entsprechenden Datenbits ermittelt werden. Diese Verfahrensweise führt zu einer vergleichsweise geringen Datenübertragungsrate. - US-Anmeldung
US6661905-B1 bezieht sich auf die Übertragung von Daten auf einem Videosignal und insbesondere auf die Übertragung von Daten auf dem sichtbaren Teil eines analogen Videosignals. - Es ist Aufgabe der vorliegenden Erfindung ein Verfahren zur optischen Freiraumdatenübertragung zu schaffen, das besonders hohe Übertragungsraten ermöglicht.
- Diese Aufgabe wird durch das Verfahren nach Anspruch 1 und Vorrichtungen nach den Ansprüchen 10 und 12 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den jeweiligen Unteransprüchen angegeben.
- Erfindungsgemäß wird ein Verfahren zur optischen Übertragung von Daten im freien Raum von einem Sender zu einem Empfänger vorgeschlagen, bei dem der Sender eine bildgebende Vorrichtung mit einer Vielzahl an Pixeln ist, die von Bilder repräsentierenden Bilddaten einer Bildfolge angesteuert werden, und die zur Übertragung vorgesehenen Daten in eine Datenfolge aus einer eine Anzahl Datenbits umfassender Pakete aufgeteilt werden und jedes Datenbit mindestens einem der Pixel zugeordnet wird, und wobei die Datenpakete jeweils auf die Bilddaten mindestens eines Bildes der Bildfolge aufmoduliert werden.
- Die Bilddaten enthalten die zur Darstellung eines Bildes benötigten Daten, geeigneterweise in Form von Leuchtdichtewerten für die anzusteuernden Pixel. Die Bildfolge besitzt eine bestimmte Bildfrequenz, mit der die Pixel angesteuert werden. Erfindungsgemäß ist vorgesehen, dass die zur Übertragung bestimmten Daten in eine Anzahl von Datenpakete aufgeteilt werden, die wiederum jeweils aus einer Vielzahl Datenbits bestehen, welche anschließend dem Bildsignal aufmoduliert werden. Dies bedeutet, dass jedes Paket auf die Bilddaten mindestens eines Bildes aufmoduliert wird, d.h. die Datenbits eines jeden Pakets in jeweils einem der von der bildgebenden Vorrichtung dargestellten Bilder codiert werden bzw. codiert sind. Im Hinblick auf die Signalverarbeitung bedeutet dies, dass jedes Datenbit eines Pakets den von den jeweiligen Bilddaten für genau ein bestimmtes Pixel vorgegebenen Leuchtdichtewert ändert. Die Gesamtheit der Datenpakete umfasst dann die zu übertragenden Daten. Die Aufmodulation der Datenbits hat also zur Folge, dass die zu übertragenden Daten in den Änderungen der Lichtemissionen der Pixel codiert sind.
- Zur begrifflichen Verständlichkeit sei ausgeführt, dass Bilddaten zunächst nur ein einziges Bild repräsentieren, d.h. aus einer Vielzahl von Leuchtdichtewerten zur Visualisierung des Bildes zu einem bestimmten Zeitpunkt bestehen, wobei die Leuchtdichtewerte jeweils ein Pixel ansteuern. Die zeitliche Abfolge von Leuchtdichtewerten, die jeweils dasselbe Pixel ansteuern, wird als Teilbildsignal verstanden. Die Bilddaten stellen somit eine Vielzahl von Teilbildsignalen für einen bestimmten Zeitpunkt dar. Die Bilddaten selbst definieren das Bild folglich nur örtlich. Sie sind nicht zeitabhängig. Die Teilbildsignale und die Bildfolge sind dagegen zeitabhängig. Dabei bezieht sich ein Teilbildsignal auf den zeitlichen Leuchtdichteverlauf eines einzelnen Pixels, d.h. es ist pixelbezogen, wohingegen sich die Bildfolge als zeitliche Folge von Bildern auf die Gesamtheit aller Pixel bezieht, also alle Teilbildsignale umfasst.
- In entsprechender Weise besteht ein Datenpaket aus der Vielzahl Datenbits, die jeweils einem Pixel zugeordnet sind und dessen Leuchtdichtewert um einen bestimmten Betrag ändern. Die zeitliche Abfolge der Beträge der Leuchtdichteänderungen, die die Helligkeit jeweils desselben Pixels ändern, wird als ein Datenteilsignal verstanden. Ein Datenpaket stellt somit eine Vielzahl von Datenteilsignalen für einen bestimmten Zeitpunkt dar. Ein Datenpaket definiert folglich in räumlicher Dimension, um welchen Betrag die Leuchtdichte der einzelnen Pixel geändert werden soll. Es ist nicht zeitabhängig. Das Datenteilsignal und die Datenfolge sind dagegen zeitabhängig. Dabei bezieht sich das Datenteilsignal auf den sich zeitlich ändernden Betrag der Leuchtdichte eines einzelnen Pixels, d.h. es ist pixelbezogen, wohingegen sich die Datenfolge als zeitliche Folge von Datenpaketen auf die Gesamtheit aller Pixel bezieht.
- Der Kerngedanke der Erfindung besteht darin, im Vergleich zu bekannten Systemen der optischen Freiraumübertragung, die nur eine oder wenige Lichtquellen benutzen, auf weiche die zu übertragenden Daten moduliert werden, eine multiparallele optische Freiraumübertragung zu realisieren. Dies wird gerade durch bildgebende Vorrichtungen mit gerasterter Bildschirmfläche möglich, die aus einer sehr großen Anzahl so genannter Pixel bestehen, von denen jedes einzelne Pixel zur optischen Freiraumübertragung grundsätzlich verwendet werden kann und bestenfalls im Rahmen der Erfindung auch genutzt wird. Durch diesen Multiparallelbetrieb ist eine Vervielfachung der Übertragungsdatenrate möglich. Gleichzeitig kann die Übertragung derartig gestaltet werden, dass sie für den Betrachter verdeckt ist und zeitgleich zu der Bild- oder Videowiedergabe an der bildgebenden Vorrichtung erfolgt.
- Die bildgebende Vorrichtung kann ein Fernseher, Computermonitor, ein Tablet oder ein beliebiges aus einzeln ansteuerbaren Pixeln bestehendes Display sein, das geeignet ist, Bilder darzustellen. Die aus den leuchtenden Pixeln gebildete Bildfläche bildet den Bildschirm der bildgebenden Vorrichtung, der insbesondere ein Flachbildschirm sein kann. Die Bildfläche ist für den Betrachter frei einsehbar. Das Verfahren ist nicht auf die Verwendung einer speziellen Bildtechnologie beschränkt. So können sowohl Flachbildschirme mit Plasma-Technologie, als auch in LCD, LED und OLED-Technologie genutzt werden. Bildgebende Vorrichtungen mit LEDs oder OLEDs als Pixel sind besonders geeignet, weil sie eine hohe Flankensteilheit beim Erreichen einer spezifischen Helligkeit aufweisen und eine aufmodulierte Datenfolge nur geringfügig zeitlich gefiltert wird.
- Vorzugsweise kann die Anzahl der Datenbits der Datenpakete der Anzahl der Pixel der bildgebenden Vorrichtung entsprechen, so dass jedes Pixel individuell moduliert angesteuert wird. Dies bedeutet, dass jedes ein einzelnes Pixel ansteuernde Teilbildsignal durch jeweils ein Datenteilsignal moduliert wird. So ist letztendlich die Lichtemission jedes Teilbildsignals moduliert, und die zu übertragenden Daten werden parallel in den Lichtemissionen aller Pixel codiert übertragen. Es wird folglich ein Parallelbetrieb realisiert, bei dem eine individuelle Modulation der Lichtemission jedes Pixels der bildgebenden Vorrichtung erfolgt.
- Dieser Parallelbetrieb bietet ein immenses Potential zur Übertragung mit hohen Datenraten.
- Bei Flachbildschirmen mit einer sehr hohen räumlichen Auflösung von z.B. 1920x1080 Pixel, die heutzutage für Videos, d.h. Filme und Serien in HDTV (High Definition Television) üblich ist, stehen je Farbe somit mehr als 2 Millionen Pixel, d.h. 2 Millionen Sender zur Verfügung, die unabhängig voneinander gleichzeitig ein individuell moduliertes optisches Signal aussenden können. Wenn auch die Modulationsfrequenz der Pixel durch die Bildfrequenz der Wiedergabeeinrichtung auf relativ geringe Werte von z.B. 100 Hz begrenzt ist, kann durch den extrem hohen Parallelisierungsgrad eine sehr hohe Datenrate erzielt werden.
- Unter Berücksichtigung, dass die Bildwiedergabe bei Flachbildschirmen mit einer entsprechenden Bildfrequenz von beispielsweise 200Hz, d.h. 200 Bildern pro Sekunde erfolgt, obwohl wegen der begrenzten zeitlichen Auflösung des menschlichen Gesichtssinns auch bei kritischem Bildmaterial deutlich kleinere Bildfrequenzen ausreichend sind, könnten grundsätzlich über jedes Pixel auch 200 Bits pro Sekunden übertragen werden. Dies würde jedoch das visuelle Erlebnis des gleichzeitig mit den übertragenen Daten auf der bildgebenden Vorrichtung wiedergegebenen Bildes oder Videos beeinträchtigen.
- Um diese Beeinträchtigung zu vermeiden, ist zu bevorzugen, dass die Modulation differenziell erfolgt. Dies kann zeitlich differenziell, räumlich differenziell oder farblich differenziell geschehen. Unter einer differenziellen Modulation ist zu verstehen, dass eine zu übertragende Information auf zwei Amplitudenwerte aufgeteilt und erst die Bildung der Differenz dieser Amplitudenwerte die übertragene Information zurückgewinnen lässt. In der konventionellen Datenübertragungstechnik wird diese Art der Modulation z.B. bei der Manchester-Codierung realisiert. Eine Information ist in Sinne der Erfindung beispielsweise ein Datenbit eines Datenpaketes. Träger der Information kann bei einer zeitlich differenziellen Modulation ein einzelnes Pixel sein, dessen Leuchtdichte oder Farbe zu zwei verschiedenen, insbesondere aufeinander folgenden Zeitpunkten betrachtet wird. Träger der Information können bei einer räumlichen differenziellen Modulation zwei einzelne, insbesondere nebeneinander liegende Pixel sein, deren Leuchtdichteunterschied oder Farbunterschied zum selben Zeitpunkt betrachtet wird. Im Falle der zeitlichen und räumlichen Modulation kann entweder die Leuchtdichte eines Pixels oder dessen Farbigkeit moduliert werden.
- Für eine zeitlich differenzielle Modulation wird vorgeschlagen, dass in der Bildfolge zwei auf einander folgende Bilder mit gleichen Bilddaten versehen werden, wobei die Aufmodulation der Datenfolge den Bildinhalt der beiden Bilder derart ändert, dass die Differenz der beiden Bilder in jedem Pixel dem Wert des von dem jeweiligen Pixel jeweils zu übertragenden Datenbit entspricht und das Mittel der beiden Bilder für jedes Pixel gleich bleibt.
- Dies bedeutet, dass ein Datenbit nicht einem einzigen Bild sondern zwei Bildern zugeordnet wird, die quasi ein Doppelbild bilden. Das Datenbit kann beispielsweise hälftig mit entgegengesetzten Vorzeichen den das eine und das andere Bild repräsentierenden Bilddaten des Doppelbildes hinzugefügt werden. Ein Teil des Datenbits wird dann dem ersten Bild des Doppelbildes beispielsweise hinzuaddiert und von dem anderen Bild des Doppelbildes subtrahiert. Die Differenz der die beiden Bilder repräsentierenden Bilddaten entspricht dann weiterhin für jedes Pixel dem jeweils zu übertragenden Datenbit. Gleichzeitig ist aber der darzustellende Bildinhalt im Mittel nicht verändert, so dass ein Betrachter keinen Unterschied wahrnimmt. Damit ist die Modulation für den menschlichen Betrachter unsichtbar. Die visuelle Wahrnehmung des auf der bildgebenden Vorrichtung eigentlich darzustellenden Bildes oder Videos wird somit nicht beeinträchtigt. Die Videopräsentation läuft weiter, während im Hintergrund Daten mit hoher Rate zu wenigstens einem Empfänger übertragen werden, der auf den Bildschirm der bildgebenden Vorrichtung gerichtet ist.
- Im Ergebnis bedeutet die differenzielle zeitliche Modulation, dass je zwei ein Bildpaar bildende Bilder zur Übertragung eines Bits pro Pixel verwendet werden. Sofern das Bildsignal mit einer Bildfrequenz von 200 Hz wiedergegeben wird, können dementsprechend nur maximal 100 Bit/s pro Pixel übertragen werden.
- Wird nun jedes Pixel eines hochauflösenden Bildschirms so moduliert, dass jeweils 100 Bit/s übertragen werden, so liefert ein HDTV-Bildschirm mit ca. 2 Millionen Pixeln eine Datenrate von 200 Mbit/s.
- Die Implementierung einer solchen Modulation ist mit den in aktuellen Flachbildfernsehern vorhandenen Schaltkreisen mit begrenztem zusätzlichen Hardwareaufwand möglich. Moderne Geräte besitzen bereits die dazu erforderlichen Bildspeicher und leistungsfähige Signalprozessoren, um Zwischenbilder zu berechnen oder stereoskopische Perspektiven zu synthetisieren. Es muss lediglich eine Schnittstelle für die Dateneingabe physikalisch realisiert werden.
- Die zeitlich differenzielle Modulation der Lichtemission der Pixel kann beispielsweise im Hinblick auf ihre Leuchtdichte oder im Hinblick auf ihre Farbe erfolgen.
- Im Fall der Modulation der Leuchtdichte, kann einem Datenbit "1" ein bestimmter Leuchtdichtedifferenzwert, alternativ Modulationswert genannt, zugeordnet sein. Dieser kann absolut oder relativ vorgegeben sein. Er kann beispielsweise 2% bis 10% der Maximalleuchtdichte der Pixel betragen.
- Für die zeitlich differenzielle Modulation bedeutet dies, dass, beispielsweise bei einem Leuchtdichtedifferenzwert von 4% der Maximalhelligkeit, das entsprechende Pixel im ersten Bild des Doppelbildes eine um 2% höhere Helligkeit erhält und dasselbe Pixel im zweiten Bild des Doppelbildes eine um 2% geringere Leuchtdichte erhält. Im Mittel sind dann die Leuchtdichten unter Vernachlässigung des nichtlinearen Zusammenhang zwischen Signal und generierter Leuchtdichte, der durch die Gamma-Kennlinie beschrieben ist, im Wesentlichen unverändert gegenüber dem unmodulierten Fall, wohingegen in der Differenz der Leuchtdichten der Pixel das übertragene Datenbit codiert enthalten ist.
- Sofern die Datenfolge die Leuchtdichte der einzelnen Pixel moduliert, sei angemerkt, dass damit die Gesamtleuchtdichte eines Pixels gemeint ist. Ein Pixel besteht in den heute verbreiteten Displays üblicherweise aus drei Licht emittierenden Elementen, nachfolgend auch Leuchtelemente genannt, die in den Primärfarben Rot, Grün und Blau (RGB) leuchten. Jedes Leuchtelement hat grundsätzlich eine eigene einstellbare Leuchtdichte, wobei das Verhältnis der Leuchtdichten der Leuchtelemente zueinander eine bestimmte aus den Grundfarben RGB additiv zusammengesetzte Farbe definiert. Soweit hier von einer Modulation der Leuchtdichte bzw. des daraus resultierenden Sinneseindrucks "Helligkeit" die Rede ist, ist damit eine synchrone Modulation der Leuchtdichte aller Leuchtelemente eines Pixels gemeint, ohne das Leuchtdichteverhältnis der Leuchtelemente untereinander, d.h. die Farbe eines Pixels zu verändern.
- Gleichwohl ist es auch möglich und fallspezifisch auch zweckdienlich, alternativ oder zusätzlich zur Modulation der Leuchtdichte die Farbe eines Pixels zu modulieren. Dies bedeutet, dass die übertragenen Daten durch Farbdifferenzen anstelle von Leuchtdichtedifferenzen codiert werden. Dies kann beispielsweise dadurch erfolgen, dass -wie zuvor- einem Datenbit "1" ein bestimmter Leuchtdichtedifferenzwert oder Modulationswert zugeordnet ist, der jedoch nicht global auf alle Leuchtelemente eines Pixels gleichermaßen, sondern nur auf ein oder zwei der RGB-Leuchtelemente angewendet wird. Dies führt dazu, dass die Farbe eines Bildpunktes geändert wird. Es ist dann erforderlich, für jede der drei Grundfarben der Pixel ein Datenteilsignal zu verwenden und folglich aus den Datenpaketen auch drei einzelne Datenfolgen zu definieren. Diese können als RGB-Datenfolgetripel zusammengefasst werden. Die Farbänderung zwischen zwei auf einander folgenden Bildern bleibt bei der Anwendung der farblich differenziellen Modulation im Mittel wieder unverändert.
- Anstelle oder zusätzlich zu der beschriebenen zeitlich differenziellen Modulation, kann eine räumlich differenzielle Modulation erfolgen. Hierbei werden zur Übertragung eines Datenbits zwei Pixel innerhalb desselben Bildes verwendet, die insbesondere benachbart zueinander liegen. Diese beiden Pixel bilden somit ein Pixelpaar. Die Modulation kann nun dadurch erfolgen, dass die einzelnen Datenbits eines Datenpakets auf diejenigen Teilbildsignale aufmoduliert werden, die jeweils das erste Pixel eines Pixelpaares ansteuern. Die anderen Teilbildsignale, die jeweils das zweite Pixel eines Pixelpaares ansteuern, können jeweils invertiert moduliert werden. Die Leuchtdichtedifferenz oder Farbdifferenz der Pixel eines Pixelpaares zueinander liefert den Wert des zu übertragenden Bits. Sind die Pixel eines Pixelpaares unmittelbare Nachbarn, kann die Modulation dadurch erfolgen, dass die einzelnen Datenbits eines Datenpakets auf diejenigen Teilbildsignale aufmoduliert werden, die jeweils jedes zweite Pixel ansteuern, wohingegen die anderen Teilbildsignale, die jeweils ein jedes benachbartes erstes Pixel ansteuern, jeweils invertiert moduliert werden.
- Durch die Verwendung der räumlichen differenziellen Modulation können in jedem Bild der Bildfolge andere Datenbits übertragen werden, d.h. bei einer Bildfrequenz von 200Hz auch 200 Datenbits pro Bildpunkt. Allerdings steht innerhalb eines Bildes nur die Hälfte der Bildpunkte für die Modulation, d.h. innerhalb eines Bildes nur die Hälfte der Pixel zur Verfügung, so dass die maximale Übertragungsrate identisch ist zur Übertragungsrate bei der zeitlich differenziellen Modulation. Bei geeigneten Betrachtungsparametern kann diese räumlich differenzielle Modulation von menschlichen Betrachtern nicht wahrgenommen werden, da das räumliche Auflösungsvermögen des menschlichen Gesichtssinns für hohe Ortsfrequenzen begrenzt ist.
- Auch bei der räumlich differenziellen Modulation kann eine Modulation der Leuchtdichte der Pixel und/ oder deren Farbe vorgenommenen werden. Die dadurch bedingte Reduktion der Auflösung ist insbesondere für die Farbdifferenzen benachbarter Pixel akzeptabel, so dass eine farblich differenzielle Modulation die eventuelle Wahrnehmung von Störungen besonders effizient einschränkt.
- Es sei angemerkt, dass es bei den beschriebenen Modulationsverfahren nicht zwingend erforderlich ist, jedes der Pixel des Bildschirms moduliert anzusteuern. So kann die Anzahl der Datenbits eines Datenpakets und folgemäßig die Anzahl der Datenteilsignale kleiner als die Anzahl der Pixel sein. In diesem Fall wird beispielsweise nur ein Teil der Pixel moduliert angesteuert. Der übrige Teil der Bildpunkte wird dagegen nicht moduliert angesteuert, d.h. für die optische Freiraumübertragung nicht genutzt. Auf diese Weise wird nur ein Ausschnitt des Bildschirms der bildgebenden Vorrichtung verwendet, nicht dagegen der gesamte Bildschirm. Beispielsweise kann ein rechteckiger Ausschnitt verwendet werden.
- Alternativ zur Nichtnutzung von Pixeln zur Datenübertragung kann bei Verwendung einer kleineren Anzahl an Datenbits bzw. Datenteilsignalen als Pixel eine gemeinsame Modulation mehrerer benachbarter Bildpunkte vorgenommen werden. So ist es von Vorteil, wenn eine Vielzahl an Gruppen, insbesondere Blöcken, aus jeweils mehreren Pixeln gebildet ist, und die Anzahl der Datenbits bzw. Datenteilsignale der Anzahl der gebildeten Gruppen entspricht. Es wird dann jede Gruppe individuell moduliert, aber jedes Pixel innerhalb einer Gruppe identisch moduliert angesteuert.
- Unter ,Blöcken' sind in diesem Zusammenhang zusammenhängende Bereiche des Bildschirms, d.h. eine rechteckige, insbesondere quadratische Gruppe von Bildelementen zu verstehen, beispielsweise 2x2, 2x3, 3x3, 4x4 usw. Pixel. Die Bildung von Gruppen und gemeinsame Modulation der Lichtemission der Pixel einer Gruppe hat den Vorteil, dass die räumliche Auflösung der codierten Daten reduziert wird, so dass geringere Anforderungen an die Auflösung der Kamera des Empfängers und die Ausrichtung seiner optischen Erfassung des Bildschirms gestellt werden können.
- Anstelle einer einfachen Wiederholung von Informationen innerhalb eines Blocks kann auch eine Tiefpassfilterung eingesetzt werden, um die Bilder eines Bildpaares mit begrenzter räumlicher Auflösung zu generieren. Eine Tiefpassfilterung bewirkt hierbei, dass z.B. nur eines von vier Pixeln aus einer Gruppe von 2x2 Pixeln die volle Modulationsamplitude aufweist, während die Modulationsamplituden der anderen Pixel über eine Interpolation bestimmt werden. Dieses kann z.B. eine lineare Interpolation sein.
- Die Übertragung der Daten ist naturgemäß Störeinflüssen unterworfen. So ist es beispielsweise problematisch, wenn der Lichtemission der Pixel Licht einer flackernden Leuchtstoffröhre überlagert ist. Es ist daher von Vorteil, die Fehlerrate der Übertragung zu reduzieren. Dies kann beispielsweise durch ein Verfahren der Vorwärtsfehlerkorretur (Forward Error Correction), mittels LDPC-Codes (Low-Density-Parity-Check-Codes), Paritätsbits oder eine zyklische Redundanzprüfung (CRC) erfolgen. Diese Verfahren sind im Stand der Technik grundsätzlich bekannt.
- Damit die Kamera die durch die aufgenommenen Lichtemissionen der Pixel empfangenen Bildinformationen korrekt auswertet, d.h. korrekt decodiert und in die ursprünglichen Daten zurückwandelt, muss eine Synchronisation zwischen der Kamera und der bildgebenden Vorrichtung erfolgen. Eine solche Synchronisation kann dadurch unterstützt werden, dass in die Modulation der Pixel Referenzmarken eingebracht werden. Solche Referenzmarken können von einem einzigen, von mehreren, einer Vielzahl oder sogar von allen Pixeln oder Pixelgruppen übertragen werden.
- In räumlicher Hinsicht können dabei bestimmte Pixel verwendet werden, die eine bestimmte ausgezeichnete Lage innerhalb des Bildschirms besitzen, oder aber beliebige, insbesondere willkürlich gewählte Bildpunkte.
- In zeitlicher Hinsicht können die Referenzmarken in Bezug zu einer globalen Zeit zu festen Zeitpunkten, insbesondere regelmäßig in der Art eines Takts angezeigt werden. Alternativ können die Referenzmarken relativ bezogen auf die Datenübertragung gesetzt werden, beispielsweise als Marker, die einen Anfang und ein Ende eines übertragenen Datenpakets markieren. Entsprechende Verfahren sind aus der digitalen Übertragungstechnik über gewöhnliche Übertragungskanäle grundsätzlich bekannt.
- Die Verwendung von Referenzmarken kann auch dazu dienen, eine Ausrichtung der aufgenommenen Bilder im Erfassungsbereich des Empfängers bzw. der Kamera zu erleichtern. Hierzu ist es erforderlich, dass die Marker an einer oder mehreren bestimmten Stellen erscheinen, d.h. von bestimmten Pixeln angezeigt werden, die die Kamera kennt und erwartet. Diese Marker sollen wiederum so moduliert werden, dass sie für den Betrachter unsichtbar sind.
- Eine Referenzmarke kann beispielsweise durch ein räumliches Muster gebildet sein, das auf einem Teilbereich des Bildschirms oder auf dem gesamten Bildschirm dargestellt wird. Das Anzeigen von Referenzmarken kann dann dadurch erfolgen, dass den Teilbildsignalen der dazu bestimmten oder aller Pixel zusätzlich oder alternativ zu den Datenteilsignalen ein bestimmter Wert addiert oder subtrahiert wird. Insbesondere kann ein solches Muster erreicht werden, indem einigen der Teilbildsignale ein bestimmter Wert addiert und anderen Teilbildsignalen desselben Bildes, d.h. räumlich, oder des nachfolgenden Bildes, d.h. zeitlich, ein bestimmter Wert, insbesondere gleichen Betrages subtrahiert wird.
- Für den räumlichen Fall kann beispielsweise entlang einer Pixelreihe oder Pixelspalte abwechselnd ein Pixel mit einem um einen Wert erhöhten Teilbildsignal und das benachbarte Pixel mit einem betraglich um den Wert reduzierten Teilbildsignal angesteuert werden, so dass sich, verdeckt in der Bildfolge, ein Streifenmuster ergibt. Dieses kann als Zeitmarke verwendet werden, die die Kamera befähigt, sich mit der bildgebenden Vorrichtung zu synchronisieren. Natürlich ist es auch möglich, dass das Muster differenziell in der Bildfolge codiert wird, d.h. sich aus der Differenz zweier aufeinanderfolgender Bilder eines Bildpaares oder aus der Differenz benachbarter Pixel desselben Bildes ergibt.
- Der Empfänger kann eine beabstandet zur bildgebenden Vorrichtung anzuordnende videoaufnahmefähige Kamera (Bewegtbildkamera), insbesondere eine hochauflösende Kamera sein, die zumindest für den Zeitraum der Datenübertragung die Pixel aufnimmt und aus den Lichtemissionen der Pixel die Datenteilsignale bzw. Datenpakete decodiert und in die ursprünglichen Daten zurückwandelt. Die Kamera kann eine handelsübliche CMOS-Kamera sein, wie sie heutzutage in Smartphones und Tablets integriert ist. Sie ist leistungsfähig und besitzt in der Regel hohe Auflösungen durch optische Sensoren mit derzeit 5-10 Megapixeln. Gleichzeitig sind in die Smartphones und Tablets leistungsfähige Prozessoren eingebaut, die komplexe Applikationen und Signalverarbeitungsschritte für die Analyse der aufgenommenen Bilddaten ermöglichen. Der Empfänger weist einen Prozessor auf, auf dem Software zur Demodulation und Decodierung der Datenteilsignale implementiert ist, um die Datenpakete zu rekonstruieren.
- Die Auswertung der Bilddaten im Empfänger kann dadurch erfolgen, dass sich die Kamera durch geeignete Maßnahmen wie beispielsweise die Verwendung von Referenzmarken, zunächst auf die Sendesequenz synchronisiert, und anschließend die Dekodierung der in den Lichtemissionen, d.h. den erfassten Leuchtdichte- oder Farbwerten der einzelnen Bildpunkte codierten Daten erfolgt.
- Dies kann im Falle zeitlich differenziell codierter Daten durch Auswertung aufeinanderfolgender Bilder erfolgen. Im oben genannten Beispiel der zeitlich differenziellen Codierung müssen lediglich die Differenzen zwischen zwei aufeinander folgenden, ein Bildpaar bildenden Bildern gebildet werden, wobei als Differenz hier die Differenzen der Leuchtdichten oder der Farbe eines jeden Pixels zu zwei verschiedenen Zeitpunkten gemeint ist. Natürlich wird hierzu eine geeignete Abbildung der von den einzelnen Pixeln erzeugten Bildpunkte der Bilder auf die Kamera vorausgesetzt. Hierzu bietet z.B. das Display des Smartphones, das das Kamerabild zeigt, für den Nutzer eine Orientierungshilfe. Durch Interpolationsfilter und eingebettete Synchronisationsinformation kann eine automatische Optimierung durch eine Datenübertragungs-Applikation erreicht werden.
- Es sei noch darauf hingewiesen, dass für eine korrekte Demodulation die Aufnahmebildfrequenz der Kamera der Bildwiedergabefrequenz des Bildschirms angepasst sein muss. Wird also beispielsweise ein 100 Hz-Bildschirm verwendet, so muss auch die Kamera 100 Bilder pro Sekunde aufzeichnen. Herkömmliche Bewegtbildkameras sind oftmals auf die übliche Bildaufnahmefrequenz von 50 Bildern pro Sekunde ausgelegt. Gleichwohl sind sie jedoch technisch in der Anlage, höhere Bildaufnahmefrequenzen zu erreichen. Eine Anpassung auf die doppelte oder, im Fall einer 200 Hz Bildwiedergabefrequenz des Bildschirms, vierfache Aufnahmefrequenz ist mit einer CMOS-Kamera kein Problem.
- Die Vorteile der Erfindung bestehen demnach darin, dass unter Verwendung vorhandener Komponenten eine komfortable, leistungsfähige Datenübertragung möglich ist, die insbesondere für neuartige Multimediadienste nutzbar gemacht werden kann. Die oben genannte Datenrate von 200 Mbit/s ist bereits beim heutigen Stand der Technik realistisch. Über einen handelsüblichen Flachbildfernseher könnte damit in nur 15 Sekunden der Inhalt einer kompletten CD geladen werden. Für einen Internetzugang im Heimbereich wäre eine weitaus geringere Datenrate ausreichend, da z.B. der dort vorhandene DSL Anschluss ohnehin einen Flaschenhals darstellt. Das erfindungsgemäße Verfahren kann daher zusätzlich oder sogar alternativ zur Übertragung von Daten per WLAN verwendet werden.
- Der Nutzen der Erfindung liegt allerdings nicht alleine im reinen Ersatz bestehender WLAN-Netze, die in vielen Fällen bereits heute eine attraktive Vernetzungslösung bieten. Vielmehr sind wegen der prinzipiellen Vorteile der optischen Freiraumausbreitung auf der einen Seite und der Integration in moderne Endgeräte auf der anderen Seite völlig neuartige, komfortable Dienste denkbar. Der Vielzahl von Optionen stehen als begrenzende Faktoren lediglich die Notwendigkeit einer Sichtverbindung und einer zumindest groben Ausrichtung des Empfangsgeräts gegenüber. Letzteres bringt wiederum den Vorteil einer kontrollierbaren und für den Nutzer erkennbaren Abhörsicherheit.
- Die Erfindung bietet eine kostengünstige, hoch effiziente und elegante Lösung für die Freiraumdatenübertragung über kurze Strecken. Unter Nutzung weit verbreiteter Geräte, beispielsweise eines Flachbildschirms als Sender und eines Smartphones/ Tablets mit entsprechender Kamera als Empfänger, können hohe Datenraten von über 100Mbit/s über mehrere Meter Entfernung parallel zur Wiedergabe von Videos übertragen werden, indem ein millionenfacher Parallelbetrieb von Freiraumübertragungsstrecken genutzt wird, ohne dass die Bilddarstellung visuell beeinträchtigt wird.
- Weitere Vorteile und Merkmale der Erfindung werden nachfolgend anhand von Ausführungsbeispielen und der beigefügten Figuren näher erläutert. Es zeigen:
-
Figur 1 : Anordnung aus Sender und Empfänger zur Freiraumdatenübertragung -
Figur 2 : schematische Darstellung einer Bildfolge -
Figur 3 : bildgebende Vorrichtung nach dem Stand der Technik -
Figur 4 : Aufteilung der zu übertragenden Daten in Datenpakete -
Figur 4a : Bildung einer Datenfolge aus pixelbezogenen Datenpaketen -
Figur 4b : Bildung einer aufbereiteten Datenfolge mit pixelbezogenen Modulationswerten -
Figur 5 : erweiterte bildgebende Vorrichtung gemäß der Erfindung -
Figur 6 : Bildschirmausschnitte mit Leuchtdichtewerten bei zeitlich differenzieller Modulation -
Figur 7 : Bildschirmausschnitte mit Leuchtdichtewerten bei räumlich differenzieller Modulation -
Figur 8 : Bildschirmausschnitte mit Leuchtdichtewerten bei farblich differenzieller Modulation -
Figur 9 : Blockschaltbild des Empfängers -
Figur 10 : Detaildarstellung des Demodulators -
Figur 1 zeigt eine Anordnung zur optischen Übertragung von Daten im freien Raum von einem Sender 1 zu einem Empfänger 3. Der Sender 1 ist eine bildgebende Vorrichtung mit einer Vielzahl an Bildpunkten, hier in Gestalt eines Fernsehers mit Flachbildschirm. Der Empfänger 3 ist ein mobiles Endgerät zur Telekommunikation wie beispielsweise ein Smartphone mit integrierter Kamera zur Aufnahme der übertragenen Daten. Bei den vom Sender 1 zum Empfänger 3 zu übertragenden Daten handelt es sich um vom Bildsignal, das auf dem Fernseher 1 visualisiert wird und üblicherweise Bewegtbilder enthält, verschiedenen Daten. Der Fernseher 1 erhält somit neben dem üblichen Bildsignal zusätzliche Daten. - Bei den zu übertragenden Daten kann es sich um Nutzdaten oder Steuerdaten handeln. So können beispielsweise Fotos oder Musikstücke während des Fernsehens aus dem Internet oder einem lokalen Netzwerk geladen und über die erfindungsgemäße Freiraumübertragung vom Fernseher 1 zum Endgerät 3 übertragen werden. Auch können Steuerdaten beispielsweise von einem Bus der Gebäudeautomation vom Fernseher zum Endgerät übertragen werden und auf diese Weise beliebige Geräte wie Licht, Heizung, Jalousien, Beamer, etc. gesteuert werden.
- Ein Signalprozessor 6 (vgl.
Figur 5 ) im Fernseher 1 moduliert die Daten auf das Fernsehbild unsichtbar für einen Betrachter. Die Kamera 5 im Smartphone 1 nimmt das modulierte Fernsehbild auf. Ein Prozessor 32 (vgl.Figur 10 ) mit implementiertem Demodulator und Decoder führt eine Demodulation und Decodierung zur Gewinnung der Daten aus dem Fernsehbild aus und liefert die Daten für die Applikation auf dem Endgerät 3. Der Nutzer muss die Kamera 5 hierfür lediglich grob ausrichten. Der Empfänger 3 muss aber kein mobiles Endgerät sein. Er kann auch stationär im Raum angeordnet sein. - Zur Veranschaulichung des erfindungsgemäßen Verfahrens wird als Ausgangspunkt zunächst der Fall der Darstellung bewegter Bilder auf der bildgebenden Vorrichtung 1 ohne die zusätzliche Übertragung von Daten im freien Raum veranschaulicht.
- Eine Bildfolge bm(x,y) besteht üblicherweise aus einer zeitlichen Abfolge m = 0 ... i, i+1, ... M von Bildern 110, wie sie in
Figur 2 dargestellt ist. Dabei wird ein jedes Bild 110 durch entsprechende Bilddaten bi(x,y) repräsentiert, die eine Vielzahl von Leuchtdichtewerten definieren. Jedes Bild 110 besteht aus einer Vielzahl maxtrixförmig angeordneter Bildpunkte 111, die durch die Koordinaten x, y referenziert sind. Bei einem Bild in Full HD (High Definition) sind beispielsweise 1920 x 1080 Bildpunkte 111 vorhanden. Somit ergibt sich in horizontaler Richtung ein Laufindex x von 1 bis 1920 (oder 0 bis 1919) und in vertikaler Richtung: ein Laufindex y von 1 bis 1080 (oder 0 bis 1079). Jedem Bild 110 der Bildfolge bm(x,y) ist ein Indexwert m zugeordnet, der das m-te Bild der Bildfolge angibt. - Die Bilder 110 liegen zu diskreten Zeitpunkten mit einer Bildfrequenz fB = 1/T vor und stehen somit in einem zeitlichen Rahmen zueinander, so dass einem Bild 110 mit dem Index m der Zeitpunkt t0 = m·T, dem nächstfolgenden Bild 110 mit dem Index m +1 der Zeitpunkt t1 = (m+1)·T und dem vorherigen Bild 110 mit dem Index m -1 der Zeitpunkt t-1 = (m-1)·T usw. zugeordnet ist. Entsprechend ergeben sich für das vordere Bild 110 in
Figur 2 die Bildinhalte bm-1(x, y), für das mittlere Bild inFigur 1 die Bildinhalte bm(x,y) und für das hintere Bild 110 inFigur 2 die Bildinhalte bm+1(x, y). Ist die Bildfrequenz(x,y)beispielsweise 50 Hz, so beträgt der zeitliche Abstand T zwischen zwei Bildern 20ms. - Die Bildfolge bm(x,y) besteht zunächst aus Rohbilddaten, die zur Darstellung auf einer bildgebenden Vorrichtung 1 in der Regel aufbereitet werden müssen.
Figur 3 zeigt die bildgebende Vorrichtung 1 nachFigur 1 in Blockdarstellung mit einem Bildspeicher 101, der auch eine Signalverarbeitung umfasst, und einem Bildschirm 102, auf dem die Rohbildfolge bm(x,y) dargestellt werden soll. Der Bildschirm 102 kann beispielsweise ein Flachbildschirm sein, insbesondere ein TFT, LCD, Plasma, LED oder OLED Bildschirm. Er verfügt über eine Vielzahl matrixförmig angeordneter, einzeln ansteuerbarer Pixel 4. Bei einem Bildschirm in Full HD (High Definition) sind beispielsweise 1920x1080 Pixel vorhanden, die jeweils aus drei Leuchtelementen für die Farben Rot, Grün und Blau bestehen. - Wenngleich in diesem Beispiel für die Rohbildfolge bm(x,y) und den Bildschirm 102 dieselbe Auflösung genannt ist, so ist es jedoch nicht immer der Fall, dass die Bilder 110 der Rohbildfolge bm(x,y) dieselbe Anzahl an Bildpunkten 111 besitzen, wie der Bildschirm 102 an Pixeln 4 aufweist. Ist dies allerdings der Fall, bilden die Bildpunktkoordinaten x, y der Bildfolge bm(x,y) gleichzeitig Pixelkoordinaten des Bildschirms. Da dies jedoch im Allgemeinen nicht der Fall ist, ist insoweit ein Hoch- oder Herunterskalieren der Auflösung, ggf. auch ein Abschneiden von Bildpunkten 111 der Bilder 110 der Rohbildfolge bm(x,y) erforderlich, um die Bilder110 an die Bildschirmauflösung anzupassen und geeignet auf dem Bildschirm 102 anzeigen zu können.
- Wie
Figur 3 weiter zeigt, wird die Rohbildfolge bm(x,y) zunächst dem digitalen Bildspeicher und Signalverarbeitung 101 zugeführt. Die Signalverarbeitung übernimmt die Aufbereitung der Rohbildfolge bm(x,y) zum Erhalt einer aufbereiteten Bildfolge sn(x,y), die für die Darstellung auf dem Bildschirm 102 geeignet ist. Die Aufbereitung kann insbesondere die Skalierung auf die Bildschirmgröße bzw. Bildschirmauflösung, eine Leuchtdichteanpassung und/ oder die Anpassung der Bildfrequenz fB umfassen. - Die Leuchtdichteanpassung kann durch die Zuordnung eines Leuchtdichtewerts für jeden Bildpunkt 111 jedes Bildes 110 erfolgen, z.B. ein 8-Bit Leuchtdichtewert zwischen 0 und 255. So definiert nach der Aufbereitung der Rohbildfolge bm(x,y) die aufbereitete, zu visualisierende Bildfolge sn(x,y) die Leuchtdichtewerte für alle Bildschirmpixel 4 an den Stellen x, y.
- Die einzelnen Bilder 110 der aufbereiteten Bildfolge sn(x,y) können beispielsweise einen Zeitabstand von T = 10ms haben, um eine Wiedergabefrequenz fW von 100Hz zu erhalten, mit der der Fernseher 1 die aufbereitete Bildfolge sn(x,y) wiedergibt. Sofern die Bildfrequenz fB bei der Hälfte der Wiedergabefrequenz fW liegt, können die Bilder 110 aus dem Bildspeicher 101 einfach doppelt so schnell ausgelesen werden und jeweils zweimal dasselbe Bild 110 hintereinander wiedergegeben werden. In diesem Fall würde also der Index n der aufbereiteten Bildfolge sn(x,y) doppelt so schnell voranschreiten wie der Index m der Rohbildfolge bm(x,y), so dass mit n = 0 ... i, i+1, ... 2M ist.
- Die Art der Aufbereitung zum Erhalt der aufbereiteten Bildfolge, insbesondere die Zuordnung der entsprechenden Leuchtdichtewerte, ist abhängig vom verwendeten Bildschirm 102. Die aufbereitete Bildfolge sn(x,y) wird aus dem digitalen Bildspeicher 101 über eine Schnittstelle 103 an den Bildschirm 102 geliefert, der sie anschließend darstellt.
- Die zeitliche Abfolge von Leuchtdichtewerten für ein bestimmtes Pixel 4 wird als Teilbildsignal sx,y(n) verstanden. Die Bilddaten si(x, y) für ein i-tes Bild 110 stellen somit eine Vielzahl von Teilbildsignalen sx,y(n) zu einem bestimmten Zeitpunkt ti=i·T dar. Die Bilddaten si(x, y) selbst definieren die Bilder folglich örtlich und sind nicht zeitabhängig. Die Teilbildsignale sx,y(n) und die Bildfolge sn(x, y) sind dagegen zeitabhängig. Dabei bezieht sich ein Teilbildsignal sx,y(n) auf den zeitlichen Leuchtdichteverlauf eines einzelnen Pixels 4 an der Stelle x, y, wohingegen sich die Bildfolge sn(x, y) als zeitliche Folge von Bilder repräsentierenden Bilddaten si(x, y) auf die Gesamtheit aller Pixel 4 bezieht, also alle Teilbildsignale sx,y(n) umfasst. Ein Teilbildsignal sx,y(n) repräsentiert also das unmodulierte Ansteuersignal für den Pixel 4 an der Stelle x, y.
- Erfindungsgemäß werden nun zusätzliche Daten 50 den Bildern 110 der aufbereiteten Bildfolge sn(x,y) überlagert. Dies erfolgt vorteilhafterweise derart, dass die zusätzlichen Daten 50 für einen Betrachter des Bildschirms 102 nicht wahrnehmbar sind und die Wahrnehmung der Bilder 110 der aufbereiteten Bildfolge sn(x,y) unbeeinträchtigt ist.
- Die zu übertragenden Daten 50 können Nutzdaten oder Steuerdaten sein. Es kann sich dabei um eine Datei oder einen kontinuierlichen Datenstrom handeln.
Figur 4 veranschaulicht, dass die zu übertragenden Daten 50 in einer zeitlichen Reihenfolge geordnet vorliegen und zunächst in eine Anzahl N Datenpakete 51 der Länge L aufgeteilt werden. Jedes Paket 51 umfasst eine der Länge L entsprechende Anzahl an Datenbits 52, d0, d1, d2, ... dL-1, die vorzugsweise der Anzahl der Pixel 4 der bildgebenden Vorrichtung 1 entspricht. Somit erhält jedes Paket 51 dieselbe Anzahl L Bits 52, wie die bildgebende Vorrichtung 1 Pixel 4 aufweist. Dies hat den Vorteil, dass von allen Pixeln 4 Datenbits 52 eines Pakets 51 übertragen werden können und eine maximale Datenrate erreicht wird. Besitzt auch jedes Bild 110 der aufbereiteten Bildfolge sn(x,y) eine Anzahl x·y an Bildpunkten 111, die der Anzahl der Pixel 4 der bildgebenden Vorrichtung 1 entspricht, kann dem Leuchtdichtewert jedes Bildpunktes 111 genau ein Bit 52 eines Paketes 51 der zu übertragenden Daten 50 aufmoduliert werden. - Bei der erfindungsgemäßen Modulation ändert ein Datenbit 52 den Leuchtdichtewert eines bestimmten Pixels 4 um einen bestimmten Betrag. Die zeitliche Abfolge der Beträge der Leuchtdichteänderungen, die die Leuchtdichte jeweils desselben Pixels 4 an der Stelle x, y ändern, stellt ein aufbereitetes Datenteilsignal ax,y(n) dar, siehe
Figur 4b . Ein solches Datenteilsignal ax,y(n) repräsentiert das Modulationssignal, um das das unmodulierte Ansteuersignal für den Pixel 4 an der Stelle x, y zum Zeitpunkt tn= n·T moduliert wird. Es wird aus einem unaufbereiteten Datenteilsignal dx,y(h) gebildet, welches lediglich die aufzumodulierende Bitfolge für das Pixel 4 an der Stelle x, y darstellt. Ein Datenpaket 51 stellt somit eine Vielzahl von unaufbereiteten Datenteilsignalen dx,y(h) zu einem bestimmten diskreten Zeitpunkt h dar und definiert örtlich, um welchen Bitwert die Leuchtdichte der einzelnen Pixel 4 jeweils geändert werden soll. Es ist nicht zeitabhängig. Das unaufbereitete Datenteilsignal dx,y(h)und das aufbereitete Datenteilsignal ax,y(n), sowie eine aus den Datenpaketen 51 gebildete, unaufbereitete Datenfolge dh(x,y) und aufbereitete Datenfolge an(x,y) sind dagegen zeitabhängig, siehe hierzuFigur 4b . - Gemäß einer ersten Ausführungsvariante des erfindungsgemäßen Verfahrens wird für die Integration der zu übertragenden Daten 50 in die zu visualisierende Bildfolge sn(x,y) eine zeitlich differenzielle Modulation der Leuchtdichte der einzelnen Pixel 4 vorgenommen. Eine Alternative hierzu besteht in einer räumlich differenziellen Modulation. Bei beiden Modulationsarten kann eine reine Leuchtdichtemodulation oder eine Modulation der Farbe erfolgen. Dabei sei angemerkt, dass auch die Farbmodulation eine Modulation der Leuchtdichte umfasst, jedoch werden hier die Leuchtdichten der einzelnen RGB-Leuchtelemente der Pixel 4 unterschiedlich moduliert, wohingegen bei der reinen Leuchtdichtemodulation alle RGB-Leuchtelemente eines Pixels identisch moduliert werden.
- Vorzugsweise werden alle Pixel des Bildschirms 102 einzeln moduliert, um eine maximale Übertragungsrate zu erhalten. Unter Verwendung des bereits genannten Beispiels eines Full HD Bildschirms 102 mit 1920 x 1080 Pixeln und 100 Hz Bildfrequenz bedeutet dies, dass auch die Länge L der Pakete 51 1920 x 1080 = 2.073.600 Bits 52 umfassen kann. Es besteht aber auch die Möglichkeit, Pixel zusammenzufassen, beispielsweise Gruppen von 2x2 oder 3x3, etc. ein Rechteck bildende Pixel identisch zu modulieren. Dies hat den Vorteil, dass geringere Anforderungen an die Qualität der Kamera 5 im Empfänger 3 gestellt werden können. Hierdurch reduziert sich entsprechend die Anzahl der Bits 51 in einem Paket 52.
- Eine zeitlich differenzielle Modulation erfolgt dadurch, dass zwei aufeinander folgende Bilder si(x, y) und si+1(x, y) der aufbereiteten Bildfolge sn(x,y) als ein Bildpaar 112 verwendet werden und die Bits 52 eines der Pakete 51 jeweils durch eine aus zwei Amplitudenwerten bestehende Sequenz in die beiden Bilder integriert werden, so dass die Differenz der Bilder si(x, y) und si+1(x, y) dieses Bildpaares 112 in jedem Pixel 4 den Wert eines bestimmten Bits 52 angibt, das diesem entsprechenden Pixel 4 zuvor zugeordnet wurde.
- Ein Bildpaar 112 benötigt bei 100Hz Bildfrequenz einen Zeitraum von 20ms. Werden alle Pixel 4 des Bildschirms 102 zur Datenübertragung verwendet, können pro Bildpaar 1920 x 1080 = 2.073.600 Bits übertragen werden. Die Datenrate beträgt dann 103,68 Mbit/s. Es sei angemerkt, dass die Nutzung von Maßnahmen zur Synchronisation und/ oder zum Fehlerschutz die Anzahl für die Datenübertragung verfügbarer Pixel 4 reduzieren können, wodurch auch die maximale Übertragungsrate reduziert ist.
-
Figur 5 veranschaulicht, wie die zu übertragenden Daten 50 in die Bilder 110 der aufbereiteten Bildfolge sn(x,y) integriert werden, d.h. wie die Aufmodulation der zu übertragenden Daten 50 auf die aufbereitete Bildfolge sn(x,y) erfolgt. Dies erfolgt in einem Signalprozessor 6. Hierzu umfasst die bildgebende Vorrichtung 1 im Vergleich zuFigur 3 einen zusätzlichen Datenspeicher 104 mit einer Signalverarbeitung zur Zwischenspeicherung und Aufbereitung der zu übertragenden Daten 50 und einen Addierer 105 zu deren Aufmodulation auf die aufbereitete Bildfolge sn(x,y). - Die zu übertragenden Daten 50 können beispielsweise aus dem Internet, einem lokalen Netzwerk oder von einer Festplatte kommen und werden zunächst in dem Datenspeicher 104 zwischengespeichert.
- Anschließend werden sie von der Signalverarbeitung, wie in Bezug zu
Figur 4 erläutert, zunächst in Pakete 51 der Länge L eingeteilt, die jeweils aus Bits [d0, d1, d2 ... dL-1] bestehen. Die Paketlänge L entspricht der Anzahl der Bits 51 in einem Paket 52. Sie entspricht maximal der Pixelanzahl der bildgebenden Vorrichtung 1, kann jedoch auch geringer sein, beispielswiese um ¼ oder 1/9 geringer, wenn Pixelgruppen einer Größe von 2x2 oder 3x3 Pixeln 4 gemeinsam angesteuert werden. - Anschließend werden die Paketbits 51 den anzusteuernden Pixeln 4 zugeordnet. Dies kann im einfachsten Fall der Reihe nach zeilenweise erfolgen wie in
Figur 4a veranschaulicht ist. D.h., dass die einzelnen Bits 51 eines Pakets 52 der Reihe nach den einzelnen Pixeln 4 einer Zeile des Bildschirms 102 zugeordnet werden. Am Ende dieser Zeile wird dann auf die nächste Zeile gewechselt. Alternativ kann die Zuordnung auch reihenweise erfolgen. Man erhält dadurch ein pixelbezogenes Paket di(x,y), Dies ist nachfolgend anhand der L=1920x1080 Bits 52 des i-ten Pakts 51 Pi und in denFiguren 4a ,4b anhand von drei aufeinander folgenden pixelbezogenen Datenpaketen di(x,y) veranschaulicht:Pi = [d0, d1, d2 ... dL-1] → di(1,1) = d0, (erstes Pixel 4 links oben) di(1,2) = d1, ... di(1,1920) = d1919, (Zeilenende) di(2,1) = d1920, (nächster Zeilenanfang) di(2,2) = d1921, ... di(1080,1919) = dL-2 (letzte Zeile) di(1080,1920) = dL-1, (letztes Pixel 4 rechts unten) - Würden 2x2 Gruppen von Pixeln 4 identisch moduliert, wäre die Zuordnung bei L=960x540 Bits 52 wie folgt:
Pi = [d0, d1, d2... dL-1] → di(1,1) = d0, (erstes Pixel 4 links oben) di(1,2) = d0 di(1,3) = d1, ... di(2,1) = d0, (nächster Zeilenanfang) di(2,2) = d0, di(2,3) = d1, ... di(3,1) = d960, ... di(1080,1919) = dL-1 (letzte Zeile) di(1080,1920) = dL-1, (letztes Pixel 4 rechts unten) - Betrachtet man die zeitliche Abfolge der Datenbits, die einem bestimmten Pixel an der Stelle x, y zugeordnet sind, ergibt sich die Datenteilfolge dx,y(n). Dies ist in
Figur 4a für das erste Bit d0 veranschaulicht, dem das erste Pixel mit den Koordinaten 1, 1 zugeordnet ist. Die Datenteilfolge ist hier entsprechend d1,1(n). - Jedes pixelbezogene Paket di(x,y) wird anschließend einem Bildpaar 112 der aufbereiteten Bildfolge sn(x,y) zugeordnet, dessen beide Bilder 110 identische Bildinformationen enthalten, um die übertragenen Daten 50 später wieder ermitteln zu können. Die beiden Bilder 110 folgen idealerweise aufeinander. Es gilt dann sj(x, y) = sj+1(x, y).
- Sofern die Bildpaare 112 identischen Inhalts in der aufbereiteten Bildfolge sn(x,y) noch nicht vorhanden sind, können die Bildpaare dadurch erzeugt werden, dass nur ein Bild der aufbereiteten Bildfolge sn(x,y) verwendet und dieses zur Bildung eines Paares verdoppelt, d.h. wiederholt wird. Dies führt zwar zu einer halbierten Bildwiederholrate. Im Allgemeinen führt dies bei einer Bildfrequenz von 100 Hz oder mehr aber nur bei extremen Bildinhalten zu einer begrenzten Bildqualität, die immer noch wesentlich höher ist als z.B. bei Kinofilmen. Dort werden üblicherweise 24 bzw. 25 Bilder pro Sekunde verwendet, die mit mindestens verdoppelter Wiedergabefrequenz auf einem Bildschirm gezeigt werden.
- Um eine Überlagerung der Bildinformation in differenzieller Weise zu erreichen, wird ein pixelbezogenes Paket di(x,y) der Datenfolge dh(x,y) zu einem der beiden Bilder 110 des Bildpaares 112 pixelweise addiert und von dem anderen Bild 110 pixelweise subtrahiert, so dass die Bildinhalte im Mittel gegenüber den Einzelbildern unverändert bleiben.
- Zusammengefasst wird bei der zeitlich differentiellen Modulation die Bildfolge sn(x,y) aus Bildpaaren 112 aufeinander folgender identischer Bilder 110 mit identischen Bilddaten si(x,y) gebildet und die Datenfolge dh(x,y) aus pixelbezogenen Paketen di(x,y) gebildet, von denen jedes zweite pixelbezogene Paket d2i+1(x,y) dem vorgehenden ersten pixelbezogene Paket d2i (x,y) mit umgekehrtem Vorzeichen entspricht, wobei jedes erste pixelbezogene Paket d2i (x,y) jedem ersten Bild eines Bildpaares 112 und jedes zweite pixelbezogene Paket d2i+1(x,y)) jedem zweiten Bild des Bildpaares 112 überlagert wird.
- Die Addition und Subtraktion kann auf zwei Arten erfolgen, wodurch eine unipolare oder eine bipolare Modulation realisierbar ist. Hierfür sei zum Verständnis erläutert, dass die einzelnen Werte eines Bildes 110 der aufbereiteten Bildfolge sn(x,y) an den Stellen x, y Leuchtdichtewerte für die Bildpunkte sind. Diese Leuchtdichtewerte können beispielsweise mit einer 8-Bit Signalamplitude beschrieben sein, d.h. im Wertebereich von 0 bis 255 liegen. Demgegenüber können die Bits 51 eines Datenpakets 52 logische Datenbits mit Werten von 0 und 1 sein.
- Bei einem Datenbit von 1 würde dann beispielsweise dem Leuchtdichtewert eines Bildpunktes im ersten Bild eines Bildpaares eins addiert und dem Leuchtdichtewert desselben Bildpunktes im zweiten Bild des Bildpaares eins subtrahiert. Bei einem Datenbit von 0 würden dagegen die Leuchtdichtewerte keine Änderung erfahren. Hierdurch wird eine unipolare Modulation erreicht, da eine Leuchtdichteänderung nur im Falle eines Datenbits mit einer logischen eins erreicht wird. Da sich die Leuchtdichtewerte eines Bildpunktes in den Bildern des Bildpaares im Falle einer logischen null nicht unterscheiden, diese logische null aber ebenfalls Träger einer Information ist, welche beim Empfänger aber nur durch das Fehlen einer Modulation identifizierbar ist, besitzt die unipolare Modulation einen vergleichsweise geringen Störabstand.
- Um den Störabstand um 3dB zu erhöhen, kann eine bipolare Modulation verwendet werden. Hierzu wird das durch den Abstand von null und eins gebildete Fenster um null zentriert. Dies erfolgt dadurch, dass allen Bitwerten eines pixelbezogenen Pakets di(x,y) die halbe Amplitude abgezogen wird. Bei Bitwerten von null und eins ist die Amplitude 1, so dass dann der Wert 0,5 von allen Bitwerten subtrahiert wird.
- Um darüber hinaus die Modulationshöhe vorgeben zu können, wird vorgeschlagen, die den Leuchtdichtewerten aufzuaddierenden bzw. zu subtrahierenden Datenbitwerte vorher mit einem Modulationsfaktor c zu multiplizieren. Der Modulationsfaktor c kann beispielsweise zwischen 3 und 8 liegen.
- Nach der oben beschriebenen Zuordnung der Bits 52 eines Pakets 51 zu den Pixeln 4 erfolgt folglich eine weitere Verarbeitung der pixelbezogenen Pakete di(x,y), bevor sie in die Bilder der aufbereiteten Bildfolge sn(x, y) integriert werden, nämlich eine Korrektur um die halbe Datenbitamplitude (-0,5), eine Multiplikation des korrigierten pixelbezogenen Pakets di(x,y) mit dem Modulationsfaktor c sowie die Verdopplung jedes pixelbezogenen Pakets di(x,y) und die Negierung des jeweiligen Doppels. Im Ergebnis wird bei einer Anzahl von N Paketen 51 eine aufbereitete Datenfolge an(x,y) mit n = 1 ... j,j+1, ... 2N aufbereiteten, pixelbezogenen Datenpaketen erhalten, die mit der aufbereiteten Bildfolge sn(x,y) addiert werden kann. Dies ist nachfolgend mathematisch sowie in
Figur 4b grafisch für c = 8 und konkrete Bitwerte veranschaulicht: - Aus der unaufbereiteten Datenfolge dh(x,y) aus pixelbezogenen Datenpaketen di(x,y) wird dadurch die aufbereitete Datenfolge an(x,y), deren Laufindex n, demjenigen der aufbereiteten Bildfolge sn(x,y) entspricht und die die tatsächlichen Modulationswerte für die einzelnen Pixel 4 enthält. Rein beispielhaft ist eine aufbereitetet Datenteilfolge ax, y(n) für das erste Pixel mit den Koordinaten 1,1 in
Figur 4b angegeben, deren Modulationswerte a1,1(n) = [-4, 4, 4, -4, 4 ...] sind. - Die Integration der zu übertragenden Daten 50 in Gestalt der aufbereiteten Datenfolge an(x,y) in die aufbereitete Bildfolge sn(x,y) erfolgt, wie
Figur 5 zu entnehmen ist, mittels eines Addierers 105, der jedem Bild 110 der aufbereiteten Bildfolge sn(x,y) ein aufbereitetes pixelbezogenes Datenpaket ai(x,y) der aufbereiteten Datenfolge an(x,y) addiert. - Die resultierende, modulierte Bildfolge sn*(x,y) besteht dann aus einer Folge von Bildpaaren 112, wobei die Differenz der beiden Bilder 110 eines Bildpaares 112 für jedes einzelne Pixel 4 gerade den Wert des dem entsprechenden Pixel 4 zugeordneten Bits 52 eines Pakets 51 ergibt.
- Für die Bildpunkte an den Koordinaten x=1, y=1 des n-ten und n+1ten Bildes 110 der aufbereiteten Bildfolge sn(x,y), in denen das Datenbit d0 des i-ten Pakets 51 codiert wird, bedeutet dies eine Modulation des Leuchtdichtewerts wie folgt:
- Die resultierende modulierte Bildfolge sn*(x,y) bildet das Bildschirmsignal (Ansteuersignal für die Pixel) und enthält zeitlich modulierte Leuchtdichteinformationen, mit denen die einzelnen Pixel 4 des Bildschirms 102 der bildgebenden Vorrichtung 1 angesteuert werden.
Figur 6 veranschaulicht diese zeitlich differenzielle Leuchtdichtemodulation bei 8-Bit Signalamplituden (0 bis 255). -
Figur 6 zeigt zwölfmal denselben Ausschnitt des Bildschirms 102, der drei nebeneinander liegende Pixel 4a, 4b, 4c enthält. Jedes Pixel 4a, 4b, 4c besteht aus drei Licht emittierenden Elementen, beispielsweise LEDs, die Licht in den Farben rot, grün und blau emittieren. Daher können die Pixel 4a, 4b, 4c auch als RGB-Pixel und die Leuchtdichtewerte der einzelnen Elemente eines Pixels 4a, 4b, 4 als RGB-Tripel bezeichnet werden. Die erste Spalte zeigt einen Ausschnitt von Bildinformationen der zu visualisierenden aufbereiteten Bildfolge sn(x,y). Die Bildinformationen sind Leuchtdichtewerte für die einzelnen Licht emittierenden Elemente der RGB Pixel 4a, 4b, 4c. Die zweite Spalte zeigt einen Ausschnitt von Werten der aufbereiteten Datenfolge an(x,y), die den Pixeln 4a, 4b, 4c zugeordnet sind. Die dritte Spalte zeigt die Summe der Werte der ersten und zweiten Spalte, d.h. die Werte der modulierten Bildfolge sn*(x,y), mit denen die Pixel 4a, 4b, 4c angesteuert werden. - Die erste Zeile der
Figur 6 zeigt einen ersten Zeitpunkt t0, zu dem ein erstes Bild s0(x,y) der aufbereiteten Bildfolge sn(x,y) und ein erstes pixelbezogenes Paket a0(x,y) der aufbereiteten Datenfolge an(x,y) vorliegt. Es gilt tn = nT mit n = 0, wobei n das n-te Bild und T der zeitliche Abstand zweier Bilder ist, z.B. 10ms. Die zweite Zeile zeigt einen zweiten Zeitpunkt t1=t0 + T, zu dem ein zweites Bild s1(x,y) der aufbereiteten Bildfolge sn(x,y) und ein zweites pixelbezogenes Paket a1(x,y) der aufbereiteten Datenfolge an(x,y) vorliegt. Wie man anhand der identischen Leuchtdichtewerte der Pixel 4a, 4b, 4c erkennen kann, sind das erste und das zweite Bild identisch. Entsprechend zeigen die dritte und vierte Zeile einen dritten und vierten Zeitpunkt t2=t0 + 2T, t3=t0 + 3T, zu denen ein drittes Bild s2(x,y) und ein viertes Bild s3(x,y) der aufbereiteten Bildfolge sn(x,y) sowie ein drittes pixelbezogenes Paket a2(x,y) und ein viertes pixelbezogenes Paket a3(x,y) der aufbereiteten Datenfolge an(x,y) vorliegen. Auch bei dem dritten und vierten Bild wird anhand der identischen Leuchtdichtewerte der Pixel 4a, 4b, 4c in der ersten Spalte deutlich, dass diese identisch sind. Somit bilden das erste und das zweite Bild s0(x,y), s1(x,y) und das dritte und das vierte Bild s2(x,y), s3(x,y) jeweils ein Bildpaar 112. - Bei den in der zweiten Spalte auszugsweise dargestellten Werten der aufbereiteten Datenfolge an(x,y) ist eine bipolare Modulation und ein Modulationsfaktor c= 8 verwendet. Die den drei Pixeln 4a, 4b, 4c zugeordneten Bits, die in dem Bildpaar 112 codiert werden, haben die logischen Werte 1, 1 und 0. Nach der zuvor dargestellten Verarbeitungsvorschrift ergibt sich deshalb bei der aufbereiteten Datenfolge an(x,y) für das erste pixelbezogene Paket a0(x,y) für den ersten Pixel 4a und den zweiten Pixel 4b jeweils der Wert +8(1 - 0,5) = 4, und für den dritten Pixel 4c der Wert +8(0 - 0,5) = -4. Für das zweite pixelbezogene Paket a1(x,y) ergibt sich für den ersten Pixel 4a und den zweiten Pixel 4b jeweils entsprechend der Wert -8(1 - 0,5)= -4, und für den dritten Pixel 4c der Wert -8(0 - 0,5) = +4. Es ist erkennbar, dass in diesem Beispiel allen einen RGB-Pixel 4 bildenden, Licht emittierenden Elementen derselbe Wert zugeordnet ist. Den einzelnen RGB-Elementen sind also keine verschiedenen Modulationswerte zugeordnet. Dies bedeutet, dass die Farbe eines Pixels 4a, 4b, 4c, die sich gerade durch das Verhältnis der Helligkeiten der RGB-Elemente zueinander ergibt, durch die Modulation nicht verändert wird. Es wird also in diesem Beispiel lediglich die Gesamthelligkeit eines RGB-Pixels 4 verändert.
- Die den Pixeln 4a, 4b, 4c zugeordneten logischen Werte des pixelbezogenen Pakets zum dritten Zeitpunkt sind 1, 0 und 1. Entsprechend ergibt sich nach der zuvor dargestellten Verarbeitungsvorschrift in der aufbereiteten Datenfolge an(x,y) für das dritte pixelbezogene Paket a2(x,y) für das erste Pixel 4a und das dritte Pixel 4c jeweils der Wert +8(1 - 0,5)= 4, und für das zweite Pixel 4b der Wert +8(0 - 0,5) = -4. Für das vierte pixelbezogene Paket a3(x,y) ergibt sich für das erste Pixel 4a und das dritte Pixel 4c entsprechend jeweils der Wert -8(1 - 0,5)= -4, und für das zweite Pixel 4b der Wert -8(0 - 0,5) = +4.
- Die in der dritten Spalte gezeigten Werte der modulierten Bildfolge sn*(x,y) ergeben sich aus der Summenbildung der Werte in der ersten und zweiten Spalte für jedes Pixel 4a, 4b, 4c respektive für jedes Licht emittierende Element eines jeden Pixels 4a, 4b, 4c. Die Werte in der dritten Spalte sind diejenigen Leuchtdichtewerte, mit denen die Pixel 4a, 4b, 4c des Bildschirms 102 angesteuert werden. Erfolgt dies für alle Pixel eines HD-Fernsehers 1, d.h. bei für 1920x1080 = 2.073.600 Pixel, ergibt sich bei einer Bildfrequenz von 100 Hz, d.h. einem zeitlichen Bildabstand von 10ms unter Verwendung eines Bildpaares (20ms) zur Codierung eines Datenpakets eine Datenrate von ca. 50 Bit/s pro Pixel 4 (pro RGB-Tripel) und eine Gesamtdatenrate von ca. 100Mbit/s.
-
Figur 7 zeigt eine zweite Ausführungsvariante, bei der eine räumlich differenzielle Modulation der Daten 50 mit einer Signalamplitude der Leuchtdichtewerte von 0-255 erfolgt. - Die erste Zeile veranschaulicht einen Ausschnitt des Bildschirms 102 mit sechs RGB-Pixeln 4a bis 4f, die mit den Leuchtdichtewerten der aufbereiteten Bildfolge sn(x,y) angesteuert werden. Die zweite Zeile zeigt die Werte der Datenfolge, mit denen diese Pixel 4a bis 4f moduliert werden. Die dritte Zeile zeigt die sechs Pixel 4a bis 4f, wie sie mit den Leuchtdichtewerten der resultierenden modulierten Bildfolge s*n(x,y) angesteuert werden.
- Sowohl die aufbereitetete Bildfolge sn(x,y) als auch die aufbereitete Datenfolge an(x,y) sind hier anders ausgebildet, um die zu übertragenden Daten in die auf dem Bildschirm 102 zu visualisierenden Bilder 110 zu integrieren bzw. in diesen Bildern 110 zu codieren. Die Codierung eines Pakets 51 an Daten 50 erfolgt hier nicht in einem Bildpaar 112 aufeinanderfolgender identischer Bilder 110, sondern in einem einzigen Bild 110. In dem diesem Bild 110 zeitlich nächstfolgenden Bild 110 werden dann die Bits 52 des nächsten Pakets 51 codiert.
- Die Bilddaten der Rohbilddatenfolge bm(x,y) werden derart aufbereitet, dass die Zeilen und/ oder Spalten der Bilder 110 der Rohbilddatenfolge bm(x,y) gedoppelt werden, so dass neben jedem Bildpunkt 111 ein identischer zweiter Bildpunkt liegt. Dies bedeutet, dass zwei nebeneinanderliegende Pixel 4 mit denselben Leuchtdichtewerten angesteuert werden. Es gilt dann bei der aufbereiteten Bildfolge sn(x,y): sn(i,j) = sn(i+1,j). Dies ist in
Figur 7 für eine spaltenweise Bildpunktdopplung veranschaulicht, so dass identische Bildpunktpaare bzw. identisch angesteuerte Pixelpaare 113 vorliegen. Die identische Ansteuerung ist anhand der gleichen Leuchtdichtewerte zweier hier horizontal benachbarter Pixel 4 erkennbar. So besitzen das erste und zweite Pixel 4a, 4b, das dritte und vierte Pixel 4c, 4d und das fünfte und sechste Pixel 4e und 4f gleiche Leuchtdichtewerte. - Da bei einer Bildpunktdopplung in nur eine Raumdimension die zu visualisierenden Bilder auch nur in einer Bildrichtung hinsichtlich der darstellbaren örtlichen Auflösung reduziert werden, ist es sinnvoll die Bildpunktdopplung zusätzlich auch in die andere Raumdimension vorzunehmen, so dass aus einem Bildpunkt 111 eine 2x2 Bildpunktgruppe entsteht, deren vier Bildpunkte identische Bildinformationen enthalten. Entsprechend werden dann bei der bildgebenden Vorrichtung 1 immer 2x2 Pixelgruppen identisch angesteuert. Es gilt dann bei der aufbereiteten Bildfolge sn(x,y):
- Da bei der räumlich differenziellen Modulation keine Bilddoppel erzeugt werden müssen, können die Rohbildfolge bm(x,y) und die aufbereitete Bildfolge sn(x, y) dieselbe Zeitbasis bzw. denselben Index und folglich dieselbe Bildfrequenz haben, so dass m = n gilt.
- Die Verarbeitung und Aufbereitung der zu übertragenden Daten 50 unterscheidet sich ebenfalls gegenüber der Ausführungsvariante "zeitlich differenzielle Modulation". Die zu übertragenden Daten 50 werden zwar zunächst wie in
Figur 4 dargestellt in Pakete 51 der Länge L geteilt, die Länge L, d.h. die Anzahl Bits 52 in einem Paket 51 unterscheidet sich jedoch, da nicht jedes Pixel der bildgebenden Vorrichtung 1 zur Codierung eines Bits verwendet werden kann. Erfolgt die Bildpunktdopplung nur in eine Raumdimension, so kann nur jedes zweite Pixel 4, bei einer Bildpunktdopplung in beide Raumdimensionen nur jedes vierte Pixel 4 zur Codierung eines Bits 52 verwendet werden. Entsprechend beträgt die Länge L = 0,5·1920x1080 bzw. L = 0,25·1920x1080 Bits 52. - Die der Paketeinteilung folgende Pixelzuordnung der Bits 52 erfolgt derart, dass die zu übertragenden Bits 52 eines i-ten Pakets Pi der Reihe nach jedem zweiten Pixel einer Zeile eines Bildes zugeordnet sind. Da der Grundgedanke der räumlich differenziellen Modulation darin besteht, den Wert eines Bits 52 innerhalb desselben Bildes 110 als Differenz der Helligkeiten zweier identischer, insbesondere benachbarter Bildpunkte eines Bildpunktpaares zu codieren bzw. als Differenz der Leuchtdichten zweier identischer, insbesondere benachbarter Pixel eines Pixelpaares 113 zu codieren, wird dem ersten Bildpunkt dieses Bildpunktpaares ein den Bitwert des entsprechenden Bits 52 angebender Wert addiert und vom dem zweiten Bildpunkt dieser Wert subtrahiert.
- Es wird somit ein pixelbezogenes Paket di(x,y) gebildet, in dem die Datenbits d0, d1, d2 ... dL-1 wie folgt enthalten sind:
Pi = [d0, d1, d2 ... dL-1] → di(1,1) = d0, (erstes Pixel 4 links oben) di(1,2) = -d0, di(1,3) = d1, di(1,4) = -d1, ... di(1080,1919) = dL-1 (letzte Zeile) di(1080,1920) = -dL-1, (letztes Pixel 4 rechts unten) - Sofern in beiden Raumdimensionen eine Dopplung der Bildpunkte erfolgt, gilt zusätzlich: di(2,1) = d0, di(2,2) = -d0. Dies bedeutet, dass jede zweite Zeile des pixelbezogenen Paketes di(x,y) identisch zur vorherigen Zeile ist. Es ist jedoch auch möglich, dass jede zweite Zeile zur unmittelbar vorherigen Zeile invertiert ist, so dass sich ein einem bestimmten Bitwert entsprechender Modulationswert nicht nur aus der Differenz der Leuchtdichtewerte zweier horizontal benachbarter Pixel 4, sondern auch aus der Differenz zweier vertikal benachbarter Pixel 4 ergibt.
- Auch bei der zweiten Ausführungsvariante kann eine unipolare oder eine bipolare Modulation erfolgen. Wie zuvor erläutert, wird bei einer unipolaren Modulation nur im Falle einer logischen Eins eines Bits 52 ein Leuchtdichtewert verändert, nicht dagegen bei einer logischen Null. Dagegen erfolgt bei einer bipolaren Modulation sowohl bei einer logischen Eins als auch bei einer logischen Null eine Leuchtdichteänderung. Das Beispiel gemäß
Figur 7 zeigt eine bipolare Modulation. Dies ist an den den RGB-Pixeln 4a bis 4f zugeordneten Modulationswerten (siehe zweite Zeile) erkennbar, die sowohl bei einer logischen Eins, die dem ersten und dem dritten Bildpunktpaar bzw. Pixelpaar 113 zugeordnet sind, als auch bei einer logischen Null, die dem zweiten Bildpunktpaar bzw. Pixelpaar 113 zugeordnet ist, von null verschieden sind. Um dies zu erreichen, erfolgt eine Korrektur des unaufbereiteten pixelbezogenen Pakets di(x,y), indem ihm die halbe Datenbitamplitude (-0,5) abgezogen wird. Eine logische Eins wird dann zu +0,5 und eine logische Null zu -0,5. - Darüber hinaus kann auch bei der zweiten Ausführungsvariante ein Modulationsfaktor c verwendet werden, um die Modulationsamplitude einzustellen. Dies erfolgt, indem das korrigierte pixelbezogene Paket di(x,y) mit dem Modulationsfaktor c multipliziert wird. Wenn die Bits 52 des i-ten Pakets 51 dem n-ten Bild der aufbereiteten Bildfolge sn(x,y) zugeordnet werden, ergibt sich dann als aufbereitete Datenfolge an(x,y) = c(di(x,y) - 0,5).
- Im Ergebnis enthält bei einer Anzahl von N Paketen die aufbereitete Datenfolge an(x,y) auch N aufbereitete pixelbezogene Datenpakete ai(x,y), die mit N Bildern der aufbereiteten Bildfolge sn(x,y) addiert werden können.
- In
Figur 7 zeigt die zweite Zeile, dass den Pixelpaaren 113 die logischen Werte Eins, Null und Eins aufmoduliert werden sollen. Dabei wird wie im Beispiel nachFigur 6 ein Modulationsfaktor der Höhe c = 8 verwendet. Hierdurch wird aus einer logischen Eins ein Modulationswert +4 und aus einer logischen Null ein Modulationswert -4. Dem jeweils ersten RGB-Pixel 4a, 4c, 4e eines Pixelpaares 113 wird dadurch jeweils der im Vorzeichen nicht veränderte Bitwert, dem jeweils zweiten RGB-Pixel 4b, 4d, 4f eines Pixelpaares 113 dagegen jeweils der im Vorzeichen veränderte Bitwert zugewiesen, - Die Integration der zu übertragenden Daten 50 in Gestalt der aufbereiteten Datenfolge an(x,y) in die aufbereitete Bildfolge sn(x,y) erfolgt wieder wie in
Figur 5 gezeigt mittels des Addierers 105, der jedem Bild 110 der aufbereiteten Bildfolge sn(x,y) ein aufbereitetes pixelbezogenes Datenpaket ai(x,y) der Datenfolge an(x,y) addiert. - Die resultierende, modulierte Bildfolge sn*(x,y) besteht dann aus einer Folge von Bildern 110, wobei in jedem Bild die Differenz jeweils zweier benachbarter Bildpunkte 111 den Wert des dem ersten dieser Bildpunkte 111 zugeordneten Bits 52 des in dem entsprechenden Bild codierten Datenpakets 51 trägt.
-
- Die aus der Addition resultierende modulierte Bildfolge sn*(x,y) ist in der dritten Zeile in
Figur 7 dargestellt. Sie bildet das Bildschirmsignal (Ansteuersignal für die Pixel) und enthält räumlich modulierte Leuchtdichteinformationen, mit denen die einzelnen Pixel 4 des Bildschirms 102 der bildgebenden Vorrichtung 1 angesteuert werden.Figur 7 veranschaulicht diese räumlich differenzielle Leuchtdichtemodulation bei einer 8-Bit Signalamplitude (Werte von 0 bis 255) und einer Modulationsamplitude der Höhe 4. - Es sei noch angemerkt, dass auch bei der zweiten Variante alle Licht emittierenden Elemente, d.h. die Leuchtpunkte in den Farben rot, grün und blau eines Pixels 4, identisch moduliert werden. Die Farbe eines Pixels 4 wird folglich bei der hier beispielshaft beschriebenen räumlichen Modulation nicht verändert. Daher ist allen drei Leuchtelementen eines Pixels 4 stets derselbe Wert zugeordnet, der einem Pixel 4 eines pixelbezogenen Pakets ai(x,y) aus der aufbereiteten Datenfolge an(x,y) zur Modulation zugeordnet ist.
- Dies ist bei der dritten Ausführungsvariante anders, bei der bewusst eine räumlichfarbliche Modulation erfolgt. Dies wird anhand von
Figur 8 veranschaulicht. - Die aufbereitete Bildfolge sn(x,y) ist hier zunächst auf dieselbe Art gebildet wie bei der zweiten Variante, weil auch die farbliche Modulation räumlich, d.h. in demselben Bild 110 erfolgt. Aus diesem Grunde ist die erste Zeile der
Figur 8 identisch zur ersten Zeile derFigur 7 . Somit ist auch bei der dritten Variante in den Bildern 110 der aufbereiteten Bildfolge sn(x,y) die Spalten y und/ oder Zeilen x gedoppelt, so dass zwei nebeneinander liegende Bildpunkte 111 identisch sind. - Ein Unterschied besteht jedoch in der Bildung der aufbereiteten Datenfolge an(x,y), die nun nicht mehr für alle RGB-Leuchtelemente eines Pixels 4 denselben Modulationswert vorsieht, sondern zumindest einem der RGB-Leuchtelemente einen anderen Modulationswert als den anderen RGB-Leuchtelementen aufprägt. Im Ergebnis ändert sich dadurch die Farbe des entsprechenden Pixels 4. Die aufbereitete Datenfolge an(x,y) muss daher für die einzelnen Leuchtelemente der einzelnen Pixel 4 gebildet werden. Dies kann dadurch erfolgen, dass jedes pixelbezogene Paket ai(x,y) der Datenfolge an(x,y) als Tripel dargestellt wird, dessen Elemente den Leuchtelementen rot, grün und blau der Pixel 4 zugeordnet sind:
- In dem Beispiel gemäß
Figur 8 haben die von den drei dargestellten Pixelpaaren 113 zu übertragenden Bits 52 wie im vorherigen Beispiel die logischen Werte Eins, Null und Eins. Die in dem Beispiel der räumlichen Modulation gebildete aufbereitete Datenfolge an(x,y) kann einem der Tripelelemente an,R(x,y), an,G(x,y), an,B(x,y) entsprechen, so dass an dieser Stelle auf die vorherigen Ausführungen zur Bildung der Datenfolge an(x,y) verweisen wird. -
- Es könnte jedoch auch ein anderes Tripelelement mit der zuvor bestimmten Datenfolge an(x,y) gleichgesetzt werden. Die anderen beiden Tripelelemente an,R(x,y), an,B(x,y) können gemäß einer einfachen Variante eine invertierte Folge des zuvor zugewiesenen ersten Tripelelements an,G(x,y) sein, so dass sich dann entsprechend ergibt:
- Es sei auch hier angemerkt, dass eine bipolare Modulation (Korrektur um 0,5, d.h. einen halben Bitwert) bei der farblichen Modulation angewendet werden kann, jedoch nicht zwingend muss.
- Ferner sei angemerkt, dass der Modulationsfaktor c für alle drei RGB-Leuchtelemente, d.h. bei allen drei Tripelelementen, identisch sein kann, jedoch alternativ auch unterschiedliche Modulationsfaktoren aR, aG, aB für die den einzelnen RGB-Leuchtelementen jeweils zugeordneten aufbereiteten Datenfolgen an,R(x,y), an,G(x,y), an,B(x,y) verwendet werden können, die jeweils vorzugsweise zwischen 3 und 8 liegen können. Bei dem in
Figur 8 dargestellten Beispiel sind identische Modulationsfaktoren cR = cG= cB = 8 gewählt. - Die Rückgewinnung der in den Bildern 110 codierten Daten, die auf dem Bildschirm 102 der bildgebenden Vorrichtung 1 visualisiert werden, erfolgt, indem die Kamera 5 des Empfängers 3 auf den Bildschirm 102 gerichtet wird und die visualisierten Bilder 110 als Bewegtbilder aufnimmt. Dies ist anhand von
Figur 9 veranschaulicht, die die hierfür notwendigen Funktionseinheiten des Empfängers 3 zeigt. Der Empfänger 3 umfasst die Kamera 5, einen Bildspeicher 31, einen Demodulator 32 mit Decoder und eine Kamerasteuerung 33. - Es sei angemerkt, dass die Kamera 5 nicht unbedingt integrativer Bestandteil des die Verarbeitungs- und Steuerungseinheiten umfassenden Teils des Empfängers 3 sein muss. Sie kann vielmehr auch eine extern hierzu angeordnete Kamera sein, die über Kabel oder per Funk mit den anderen Komponenten des Empfängers 3 verbunden ist.
- Die auf den Bildschirm 102 gerichtete Kamera 5 zeichnet die mit den integrierten Daten 50 modulierten Bilder 110 mit einer entsprechenden Abtastfrequenz auf und speichert sie als Bildfolge sk"(x, y) in dem Bildspeicher 31 ab.
- Die aufgezeichnete Bildfolge sk"(x, y) im Bildspeicher 31 umfasst bei zeitlich differenzieller Modulation eine Folge von paarweise modulierten Bildern si-1"(x, y), si"(x, y) d.h. jeweils zwei zusammengehörige Bilder, in denen jeweils ein Datenpaket Pi codiert ist. Die Decodierung erfolgt über die Differenzbildung der jeweils paarweise modulierten Bilder si-1"(x, y), si"(x, y), die im Bildspeicher 31 gleichzeitig vorliegen müssen, um die Decodierung vornehmen zu können. Die paarweise modulierten Bilder si-1"(x, y), si"(x, y) werden hierzu aus dem Bildspeicher 31 ausgelesen und dem Demodulator 32 zugeführt, der die Differenzbildung vornimmt.
-
- Damit bei einer zeitlich differenziellen Modulation keine Verwischung der Daten 50 auftritt, ist eine möglichst gute zeitliche Synchronisation mit dem Bildschirm 102 sinnvoll. Hierzu kann die Signalqualität im Demodulator 32 ausgewertet und zur Regelung der Abtastzeitpunkte genutzt werden. Je höher die örtliche Auflösung der Kamera, d.h. je mehr Kamerapixel im Vergleich zur Feinheit des Datenmusters zur Verfügung stehen, und je besser der Bildausschnitt gewählt wird, desto zuverlässiger erfolgt die Decodierung. "Feinheit des Datenmusters" bezieht sich hier auf die Anzahl der auf die Bildschirmfläche verteilten Bits 52 eines Pakets 51, bzw. auf die Anzahl der einem Bit jeweils zugeordneten Bildschirmpixel 4. So ist die Feinheit umso geringer, je größer die Pixelgruppen, beispielsweise von 2x2, 3x3, 4x4 usw. Pixeln 4, gewählt werden, die mit demselben Bit 52 moduliert, d.h. identisch angesteuert werden.
- Der Demodulator 32 kann Informationen zur Steuerung des Bildausschnitts liefern, die über eine Zoomfunktion der Kamera 5 realisiert werden kann. Die Steuerung des Bildausschnitts und das Zoomen werden von der Kamerasteuerung 33 übernommen, die die Informationen zur Steuerung vom Demodulator 32 erhält.
- Eine unvermeidliche Fehlanpassung zwischen dem Bildpunktraster des Bildschirms 102 und dem Bildpunktraster der Kamera 5 kann durch eine Interpolationsfilterung im Demodulator 32 kompensiert werden. Hierzu sind verschiedene Verfahren denkbar. Besonders einfach und robust gelingt diese Interpolation, wenn die Auflösung des Kamerabildes deutlich höher ist als die des Datenrasters. So kann beispielsweise eine 8 Megapixel Kamera 5 mit einer Auflösung von 3840x 2160 Pixel verwendet werden, die entsprechend viermal so hoch ist wie das Datenraster, das durch Modulation jedes Pixels eines HD-Fernsehers entsteht. Es kommen dann vier Kamerapixel auf einen Bildschirmpixel 4. Zusätzlich kann auch die Auflösung des Datenrasters auf 25% reduziert werden, indem beispielsweise Pixelgruppen von 2x2 Pixeln identisch angesteuert werden. Damit würde die Auflösung des Kamerabildes 16x höher als die Auflösung des Datenrasters sein.
- Vorzugsweise kann bei der Aufzeichnung der Bilder durch die Kamera 5 die im Stand der Technik hinreichend bekannte Bildstabilisierung zur Anwendung kommen, um zwischen den beiden Bildern eines Bildpaares eine örtliche Verschiebung, d.h. ein Verwackeln zu vermeiden. Sofern die Anordnung von Empfänger 3 relativ zum Sender 1 jedoch stationär ist, kann auf eine Bildstabilisierung verzichtet werden.
-
Figur 10 zeigt eine Detaildarstellung des Demodulators 32 vonFigur 9 . Er umfasst einen Subtrahierer 37 zur Bildung der Differenz der aufgenommenen Bildpaare sk-1"(x, y, k-1) - sk"(y, x, k), ein 2D Interpolationsfilter 34, einen Detektor 35 und eine Signalqualitätsauswertung 36. Das 2D Interpolationsfilter 34 ist bevorzugt ein räumlich zweidimensionaler Tiefpass, wie er bei der Konvertierung von Videosignalen in bekannter Weise eingesetzt wird, um unterschiedliche Abtastraster anzupassen. Der Detektor 35 tastet das gefilterte Signal ab und trifft die Entscheidung, ob die Amplitudendifferenz positiv oder negativ ist, um daraus eine logische Null bzw. Eins zu detektieren. - Die Funktionsweise der Signalqualitätsauswertung 36 ist wie folgt: bei geringen Differenzwerten ist offenbar die Kamera 5 zeitlich nicht gut synchronisiert. Durch Verschieben der Aufnahmezeitpunkte kann die Amplitude vergrößert werden. Zur zeitlichen Synchronisation kann allerdings auch der eigentliche Bildinhalt genutzt werden, da insbesondere bei stark bewegten Szenen oder Szenenwechseln hier größere Amplitudenänderungen auftreten.
- Sind die Bildpunkte in der Abbildung zu klein, so kann durch Zoomen der Ausschnitt besser angepasst werden. Zur Unterstützung einer Regelung des Zoomobjektivs können auf der Sendeseite zusätzlich zu den Nutzdaten 50 spezielle Informationen im Sinne eines Rahmens um den genutzten Bildbereich hinzugefügt werden und/ oder Information über maximale, insbesondere zeitliche Differenz und/ oder räumliche Verteilung als Input für die Kamerasteuerung 33. Alternativ können Informationen über maximale, insbesondere zeitliche Differenz und/ oder räumliche Verteilung auch von der Signalqualitätsauswertung 36 ermittelt werden und als Input für die Kamerasteuerung 33 dienen.
Claims (12)
- Optisches Daten (50)-Freiraum-Übertragungsverfahren von einem Sender (1) zu mindestens einem Empfänger (3), bei dem der Sender (1) eine bildgebende Vorrichtung mit einer Vielzahl an Pixeln (4) ist, die von Bilder (110) repräsentierenden Bilddaten (si(x,y)) einer Bildfolge (sn(x,y)) angesteuert werden und die zur Übertragung vorgesehenen Daten (50) in eine Datenfolge (dn(x,y)) aus einer eine Anzahl (L) Datenbits (52) umfassender Datenpakete (51) aufgeteilt werden und jedes Datenbit (52) mindestens einem der Pixel (4) zugeordnet wird, wobei die Datenpakete (51) jeweils auf die Bilddaten (si(x,y)) mindestens eines Bildes (110) der Bildfolge (sn(x,y)) pixelbezogen aufmoduliert werden, und die Modulation der Bilddaten (si(x,y)) zeitlich und/ oder räumlich differenziell erfolgt, wobei der Wert eines Datenbits (52) auf zwei Amplitudenwerte derart aufgeteilt wird, dass durch die Bildung der Differenz dieser Amplitudenwerte das zu übertragende Datenbit (52) zurückgewonnen wird, dadurch gekennzeichnet, dass- bei der zeitlich differenziellen Modulation in der Bildfolge (sn(x,y)) zwei zeitlich auf einander folgende Bilder (110) mit gleichen Bilddaten (si(x,y)) versehen werden, und die Aufmodulation den Bildinhalt der beiden Bilder (110) derart ändert, dass die Differenz der beiden Bilder (110) in jedem Pixel (4) dem Wert des von dem jeweiligen Pixel (4) jeweils zu übertragenden Datenbits (52) entspricht und das Mittel der beiden Bilder (110) für jedes Pixel (4) gleich bleibt, oder- bei der räumlich differenziellen Modulation die Zeilen und/ oder Spalten der Bilder (110) in der Bildfolge (sn(x,y)) gedoppelt werden, so dass neben jedem Bildpunkt ein identischer zweiter Bildpunkt liegt und zwei nebeneinander liegende Pixel (4) mit identischen Teilbildsignalen angesteuert werden, und zur Übertragung eines Datenbits (52) zwei nebeneinander liegende, ein Pixelpaar bildende Pixel (4) innerhalb desselben Bildes (110) verwendet werden, wobei die einzelnen Datenbits (52) eines Datenpakets (51) auf diejenigen Teilbildsignale aufmoduliert werden, die jeweils das erste Pixel (4) des Pixelpaares ansteuern und die anderen Teilbildsignale, die jeweils das zweite Pixel (4) des Pixelpaares ansteuern, jeweils invertiert moduliert werden,und dass der Empfänger (3) eine beabstandet zur bildgebenden Vorrichtung (1) anzuordnende videoaufnahmefähige Kamera (5) ist, die die Pixel (4) aufnimmt und aus den Lichtemissionen der Pixel (4) die Datenbits (52) eines Pakets (51) decodiert und in die ursprünglichen Daten (50) zurückwandelt.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der zeitlich differentiellen Modulation die Anzahl (L) Datenbits (52) der Pakete (51) der Anzahl der Pixel (4) der bildgebenden Vorrichtung (1) entspricht, so dass jeder Pixel (4) von jeweils einem der Datenbits (52) individuell moduliert angesteuert wird.
- Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei der zeitlich differentiellen Modulation die Anzahl (L) Datenbits (52) der Pakete (51) kleiner als die Anzahl der Pixel (4) ist und nur ein Teil der Pixel (4) von jeweils einem der Datenbits (52) individuell moduliert angesteuert wird.
- Verfahren nach einem der Ansprüche 1 oder 3, dadurch gekennzeichnet, dass bei der zeitlich differentiellen Modulation eine Vielzahl an Gruppen, insbesondere Blöcken, aus jeweils mehreren Pixeln (4) gebildet ist und die Anzahl (L) Datenbits (52) der Pakete (51) der Anzahl der gebildeten Gruppen entspricht, wobei jede Gruppe von jeweils einem der Datenbits individuell moduliert angesteuert und alle Pixel (4) derselben Gruppe identisch moduliert angesteuert werden.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass durch die Datenfolge (dn(x,y)) die Leuchtdichte und/ oder die Farbe der Pixel (4) moduliert wird.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass die Modulation bipolar erfolgt.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass den Bilddaten eines jeden Bildes (110) der Bildfolge (sn(x,y)) ein pixelbezogenes Paket (di(x,y)) der Datenfolge (dn(x,y)) überlagert wird.
- Verfahren nach einem der vorherigen Ansprüche, dadurch gekennzeichnet, dass im Falle einer zeitlich differentiellen Modulation die Bildfolge (sn(x,y)) aus Bildpaaren (112) aufeinander folgender identischer Bilder (110) mit identischen Bilddaten (si(x,y)) gebildet wird und dass die Datenfolge (dn(x,y)) aus pixelbezogenen Paketen (di(x,y)) gebildet ist, von denen jedes zweite pixelbezogene Paket (d2i+1(x,y)) dem vorhergehenden ersten pixelbezogenen Paket (d2i(x,y)) mit umgekehrtem Vorzeichen entspricht, und dass jedes erste pixelbezogene Paket (d2i(x,y)) jedem ersten Bild eines Bildpaares (112) und jedes zweite pixelbezogene Paket (d2i+1(x,y)) jedem zweiten Bild des Bildpaares (112) überlagert wird.
- Bildgebende Vorrichtung (1) zur optischen Übertragung von Daten (50) im freien Raum (2) zu einem Empfänger (3), dadurch gekennzeichnet, dass sie zur Ausführung des Verfahrens nach einem der Ansprüche 1 bis 8 eingerichtet ist.
- Bildgebende Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass sie ein Flachbildfernseher, Monitor oder grafisches Display ist.
- Videoaufnahmefähige Kamera (5) zum Empfang von optisch von einem Sender (1) im freien Raum (2) übertragenen Daten (50), dadurch gekennzeichnet, dass sie dazu eingerichtet ist, aus den Lichtemissionen von Pixeln (4) des Senders (1) die gemäß dem Verfahren nach einem der Ansprüche 1 bis 8 moduliert angesteuert werden, die zur Modulation verwendeten Datenbits (52) zu decodieren und in die ursprünglichen Daten (50) zurück zu wandeln.
- Videoaufnahmefähige Kamera nach Anspruch 12, dadurch gekennzeichnet, dass sie eine CMOS-Kamera (5) eines Smartphones (3) oder Tablets ist.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014008405.1A DE102014008405A1 (de) | 2014-06-13 | 2014-06-13 | Optische Freiraumübertragung |
PCT/EP2015/001198 WO2015188948A1 (de) | 2014-06-13 | 2015-06-15 | Optische freiraumübertragung |
Publications (3)
Publication Number | Publication Date |
---|---|
EP3155732A1 EP3155732A1 (de) | 2017-04-19 |
EP3155732B1 true EP3155732B1 (de) | 2019-08-07 |
EP3155732B8 EP3155732B8 (de) | 2019-12-11 |
Family
ID=53719738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EP15741496.2A Active EP3155732B8 (de) | 2014-06-13 | 2015-06-15 | Optische freiraumübertragung |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3155732B8 (de) |
DE (1) | DE102014008405A1 (de) |
WO (1) | WO2015188948A1 (de) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017117519A1 (en) | 2015-12-30 | 2017-07-06 | Surefire Llc | Optical narrowcasting |
CN106713751A (zh) * | 2016-12-20 | 2017-05-24 | 惠州Tcl移动通信有限公司 | 一种基于移动终端的图像数据传输控制方法及系统 |
US9917652B1 (en) | 2017-06-06 | 2018-03-13 | Surefire Llc | Adaptive communications focal plane array |
DE102017130903A1 (de) * | 2017-12-21 | 2019-06-27 | Christian-Albrechts-Universität Zu Kiel | Optische Freiraum-Signalübertragung |
US10236986B1 (en) | 2018-01-05 | 2019-03-19 | Aron Surefire, Llc | Systems and methods for tiling free space optical transmissions |
US10250948B1 (en) | 2018-01-05 | 2019-04-02 | Aron Surefire, Llc | Social media with optical narrowcasting |
US10473439B2 (en) | 2018-01-05 | 2019-11-12 | Aron Surefire, Llc | Gaming systems and methods using optical narrowcasting |
DE102018124339A1 (de) | 2018-10-02 | 2020-04-02 | Technische Universität Dortmund | Verfahren und Vorrichtung zur zeitlichen Synchronisation der optischen Übertragung von Daten im freien Raum |
DE102020130929A1 (de) | 2020-07-31 | 2022-02-03 | Technische Universität Dortmund | Verfahren und Vorrichtung zur Auswertung von Matrixcodes |
DE102022100257B4 (de) | 2022-01-06 | 2023-12-07 | Biosign Medical Ug (Haftungsbegrenzt) | Messaufnehmer zum Messen einer optisch messbaren, dynamischen Größe, insbesondere eines Pulses, sowie System und Verfahren zur Messung und Auswertung eines Pulses bzw. einer optisch messbaren, dynamischen Größe |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6661905B1 (en) * | 1998-03-23 | 2003-12-09 | Koplar Interactive Systems International Llc | Method for transmitting data on a viewable portion of a video signal |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2003250523A1 (en) * | 2002-08-20 | 2004-03-11 | Optinetix (Israel) Ltd. | Method and apparatus for transferring data within viewable portion of video signal |
US20050254714A1 (en) * | 2004-05-13 | 2005-11-17 | Ramakrishna Anne | Systems and methods for data transfer with camera-enabled devices |
KR101442836B1 (ko) * | 2008-01-07 | 2014-11-04 | 삼성전자주식회사 | 가시광 통신을 이용한 영상 부가정보 제공방법 및 장치 |
US8521035B2 (en) * | 2008-09-05 | 2013-08-27 | Ketra, Inc. | Systems and methods for visible light communication |
US8879735B2 (en) * | 2012-01-20 | 2014-11-04 | Digimarc Corporation | Shared secret arrangements and optical data transfer |
KR101621095B1 (ko) * | 2009-09-16 | 2016-05-16 | 삼성전자주식회사 | 디스플레이를 통한 부가 정보 제공 방법 및 장치 |
EP2524576B1 (de) * | 2010-01-15 | 2016-04-13 | Koninklijke Philips N.V. | Datenerkennung für kommunikationen mit sichtbarem licht unter verwendung eines sensors mit einer konventionellen kamera |
-
2014
- 2014-06-13 DE DE102014008405.1A patent/DE102014008405A1/de not_active Withdrawn
-
2015
- 2015-06-15 EP EP15741496.2A patent/EP3155732B8/de active Active
- 2015-06-15 WO PCT/EP2015/001198 patent/WO2015188948A1/de active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6661905B1 (en) * | 1998-03-23 | 2003-12-09 | Koplar Interactive Systems International Llc | Method for transmitting data on a viewable portion of a video signal |
Also Published As
Publication number | Publication date |
---|---|
EP3155732B8 (de) | 2019-12-11 |
DE102014008405A1 (de) | 2015-12-17 |
WO2015188948A1 (de) | 2015-12-17 |
EP3155732A1 (de) | 2017-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3155732B1 (de) | Optische freiraumübertragung | |
EP2619975B1 (de) | Verfahren zum unterscheiden von hintergrund und vordergrund einer szenerie sowie verfahren zum ersetzen eines hintergrundes in bildern einer szenerie | |
DE69228715T2 (de) | Verfahren und Vorrichtung zur Übertragung von komprimierten, digitalen Videosignalen mittels mehrerer Prozessoren | |
DE69810977T2 (de) | Transparenter Dateneinbau in einem Videosignal | |
DE69618065T2 (de) | Umsetzung von Film-Mode zur Zeilenfolgeabtastung | |
EP3634003B1 (de) | Verfahren und vorrichtung zur zeitlichen synchronisation der optischen übertragung von daten im freien raum | |
DE3133399C2 (de) | Signalkorrekturschaltung für eine Farbfernsehkamera | |
DE3233882C2 (de) | ||
DE112008004040T5 (de) | Verfahren und System zum Erhöhen einer Rahmenanzeigerate | |
DE102006001904A1 (de) | Verfahren und Gerät für das automatische Anpassen von Überwachungsbildfeldern basierend auf Bildänderung | |
DE102014211612A1 (de) | Methode und Vorrichtung zur Erzeugung, Speicherung, Übertragung, zum Empfang und zur Wiedergabe von Tiefenkarten unter Nutzung der Farbkomponenten eines Bildes, das Teil eines dreidimensionalen Videostroms ist | |
DE112013005599T5 (de) | Bildaufnahmevorrichtung und Fokussiersteuerverfahren | |
WO2016008953A1 (de) | Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor | |
DE3306328C2 (de) | ||
DE112010005619T5 (de) | Dreidimensionale Bilderzeugung | |
CN105263019B (zh) | 一种多路无线远程视频实时传输自适应方法 | |
Kays et al. | Modulation concepts for high-rate display-camera data transmission | |
WO2011032642A1 (de) | Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe | |
DE3890725C2 (de) | ||
Kays | Modulation concepts for visible light communication using video displays | |
Tokimoto et al. | A novel super-resolution display technique by use of spatiotemporal coding | |
DE3401809A1 (de) | Kompatibles hochaufloesendes fernsehsystem unter verwendung von hadamard-basisfunktionen | |
DE102005036744B4 (de) | Verfahren und Vorrichtung zur autostereoskopischen Wiedergabe von 3D-Darstellungen | |
DE3400216A1 (de) | Fernsehkamera mit einer feststoffaufnahmeanordnung | |
DE4039514A1 (de) | Anordnungen zur codierung und decodierung zusaetzlicher information in einem fernsehsystem |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE |
|
PUAI | Public reference made under article 153(3) epc to a published international application that has entered the european phase |
Free format text: ORIGINAL CODE: 0009012 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE |
|
17P | Request for examination filed |
Effective date: 20161114 |
|
AK | Designated contracting states |
Kind code of ref document: A1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
AX | Request for extension of the european patent |
Extension state: BA ME |
|
DAV | Request for validation of the european patent (deleted) | ||
DAX | Request for extension of the european patent (deleted) | ||
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: EXAMINATION IS IN PROGRESS |
|
17Q | First examination report despatched |
Effective date: 20180216 |
|
GRAP | Despatch of communication of intention to grant a patent |
Free format text: ORIGINAL CODE: EPIDOSNIGR1 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: GRANT OF PATENT IS INTENDED |
|
INTG | Intention to grant announced |
Effective date: 20190219 |
|
GRAS | Grant fee paid |
Free format text: ORIGINAL CODE: EPIDOSNIGR3 |
|
GRAA | (expected) grant |
Free format text: ORIGINAL CODE: 0009210 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: THE PATENT HAS BEEN GRANTED |
|
AK | Designated contracting states |
Kind code of ref document: B1 Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR |
|
REG | Reference to a national code |
Ref country code: GB Ref legal event code: FG4D Free format text: NOT ENGLISH |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: EP Ref country code: AT Ref legal event code: REF Ref document number: 1165435 Country of ref document: AT Kind code of ref document: T Effective date: 20190815 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R096 Ref document number: 502015009909 Country of ref document: DE |
|
REG | Reference to a national code |
Ref country code: IE Ref legal event code: FG4D Free format text: LANGUAGE OF EP DOCUMENT: GERMAN |
|
GRAT | Correction requested after decision to grant or after decision to maintain patent in amended form |
Free format text: ORIGINAL CODE: EPIDOSNCDEC |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PK Free format text: BERICHTIGUNGEN |
|
RIN2 | Information on inventor provided after grant (corrected) |
Inventor name: KAYS, RUEDIGER |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PK Free format text: BERICHTIGUNG B8 |
|
REG | Reference to a national code |
Ref country code: NL Ref legal event code: MP Effective date: 20190807 |
|
REG | Reference to a national code |
Ref country code: LT Ref legal event code: MG4D |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: FI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: NO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191107 Ref country code: BG Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191107 Ref country code: PT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191209 Ref country code: SE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: LT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: HR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: NL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: RS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: AL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: LV Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: ES Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: GR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191108 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20191207 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: TR Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: PL Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: RO Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: IT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: DK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: EE Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SM Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: CZ Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: IS Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20200224 Ref country code: SK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R097 Ref document number: 502015009909 Country of ref document: DE |
|
PLBE | No opposition filed within time limit |
Free format text: ORIGINAL CODE: 0009261 |
|
STAA | Information on the status of an ep patent application or granted ep patent |
Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT |
|
PG2D | Information on lapse in contracting state deleted |
Ref country code: IS |
|
26N | No opposition filed |
Effective date: 20200603 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: SI Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MC Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
REG | Reference to a national code |
Ref country code: CH Ref legal event code: PL |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: LU Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200615 |
|
REG | Reference to a national code |
Ref country code: BE Ref legal event code: MM Effective date: 20200630 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: CH Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200630 Ref country code: IE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200615 Ref country code: LI Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200630 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: BE Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200630 |
|
REG | Reference to a national code |
Ref country code: AT Ref legal event code: MM01 Ref document number: 1165435 Country of ref document: AT Kind code of ref document: T Effective date: 20200615 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: AT Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES Effective date: 20200615 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MT Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 Ref country code: CY Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
PG25 | Lapsed in a contracting state [announced via postgrant information from national office to epo] |
Ref country code: MK Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT Effective date: 20190807 |
|
REG | Reference to a national code |
Ref country code: DE Ref legal event code: R081 Ref document number: 502015009909 Country of ref document: DE Owner name: KAYS, RUEDIGER, PROF. DR.-ING., DE Free format text: FORMER OWNER: TECHNISCHE UNIVERSITAET DORTMUND, 44227 DORTMUND, DE |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: GB Payment date: 20240620 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: DE Payment date: 20240617 Year of fee payment: 10 |
|
PGFP | Annual fee paid to national office [announced via postgrant information from national office to epo] |
Ref country code: FR Payment date: 20240621 Year of fee payment: 10 |