CN114008684A - 车辆显示单元上的附加信息的位置正确的显现 - Google Patents

Abstract

本发明涉及一种用于在车辆(10)的显示单元(20)上产生附加信息的位置正确的显现的方法，其中，该车辆(10)配备有一定数量的传感器(130、150、170)，用于检测车辆(10)的状态和环境。在该方法中，传感器(130、150、170)的数据被周期性地处理。该方法的特征在于，预先计算车辆(10)的状态，其中，预先计算出的状态被传送到用于计算要显示的图像的渲染过程，其中，至少根据渲染过程中的车辆(10)的状态的预先计算来计算出附加信息在显示图像中的显现的方位。在此，在渲染过程期间，再次检测车辆(10)的状态。因此，随后还对计算出的图像进行后处理，其中，变换图像内容，其中，通过车辆(10)的更新的状态确定变换计算。

Description

车辆显示单元上的附加信息的位置正确的显现

本发明涉及一种驾驶员信息系统的技术领域，驾驶员信息系统也被称为信息娱乐系统。在此尤其涉及使用HUD显示单元，利用该HUD显示单元可以将附加信息显现驾驶员的视野中。本发明还涉及一种相应设计的用于实施方法的设备，和一种相应设计的车辆。

目前集中研究将来应该能够实现自动驾驶的技术。在此，第一方案在于，不完全减轻驾驶员的任务，而是确保驾驶员可以在任何时间接管对车辆的控制。驾驶员此外感知监控功能。通过驾驶员信息系统的领域中的更新的技术、例如抬头显示器(HUD)和数据眼镜而可能的是，更好地告知驾驶员其车辆的周围环境中发生的情况。

因此，在不久的将来假设，在系统方面通过使用更新的技术(车对车通信、数据库的使用、后端连接、云服务、服务器使用、车辆传感器等)，关于在自己的车辆的可见和隐藏的/不可见的环境中的对象(尤其是车辆)的全面的信息是可用的。在车载传感器领域中，尤其提到了以下能够实现环境观察的部件：相应于无线电探测和测距的RADAR设备、相应于光探测和测距的主要用于距离检测/警告领域的LIDAR设备，以及用于对象识别领域的具有相应的图像处理的照相机。因此，这些关于环境的数据可以被考虑作为用于系统方面的驾驶建议、警告等的基础。因此，例如可以想到其他的周围的车辆想朝哪个方向(可能朝自身的轨迹)转弯的显示/警告。

通过移动通信，利用系统、例如长期演进(Long Term Evolution)或5G同时也能够实现车对车通信。在此，3GPP组织采用了一种具有名称LTE PC5的规范。作为备选方案，基于WLAN技术的系统、尤其是根据相应于IEEE 802.11p的WLAN p的系统可用于车辆直接通信。这种系统与“合作”或“自动驾驶”领域相关。

由于当前向更高的自动驾驶级别的发展，其中许多车辆仍由驾驶员控制，因此可以假设，相应的附加信息可以在中期已经用于手动控制的车辆，而不仅长期用于高度自动化的系统。

在此，对于驾驶员-车辆交互来说，问题在于如何示出这些信息，从而为人类驾驶员产生真正的增值，并且他还可以快速或直观地定位提供的信息。在此，该领域中的以下解决方案已经从现有技术中已知。

汽车行业中的未来愿景是能够为自己的车辆的挡风玻璃呈现虚拟元素，以便能够为驾驶员实现一些优点。使用所谓的“增强现实”技术(AR)或“混合现实”(MR)技术。相应的德语术语“erweiterten

”或“gemischten

”是不太常见的。在此，真实的环境充满了虚拟元素。这有多个优点：无需向下看与挡风玻璃不同的显示器，因为在观看时，通过挡风玻璃显现许多相关的信息。因此，驾驶员不必将其目光从道路上移开。此外，通过虚拟元素在真实的环境中的位置精确的定位，在驾驶员方面的更小的认知耗费是可能的，因为不必解释单独的显示器上的图形。关于自动驾驶，同样可以产生增值。在这方面指出了C.A.Wiesner、M.Ruf D.Sirim和G.Klinker在2017IEEE International Symposium onMixed and Augmented Reality中的文章“3D-FRC:Depiction of the future roadcourse in the Head-Up-Display”，在其中更详细地阐述这些优点。

因为目前技术手段是相应有限的，所以可以假设，在中期，在车辆中没有可完全呈现的挡风玻璃。抬头显示器目前使用在车辆中。这些车辆也具有以下优点，即HUD的图像看起来更接近真实环境。显示器实际上是将图像投影到挡风玻璃上的投影单元。然而，从驾驶员的角度来看，根据模块的结构类型，该图像位于车辆前方的几米到15米处。

先前已知的“增强现实”显示(AR显示)的大的优点是，可以直接在环境内示出或作为环境的一部分示出相应的显示。比较明显的示例大多与导航领域有关。虽然经典的导航显示(在传统HUD中)通常显示示意图(例如指向右侧的直角箭头作为在下一个场所中应该右转的标志)，但AR显示提供了明显更有效的可能性。因为所述显示可以示出为“环境的一部分”，所以可以针对用户实现非常快速的和直观的解释。

这种抬头显示器还具有以下缺点，即在这种抬头显示器中，HUD显现只能在驾驶员的真实的视野的通过HUD的眼盒确定的片段内进行。问题也在于，当驾驶员转动或倾斜头部时，HUD显现在其中时可见的片段从驾驶员的中间的观察区域运动出，从而对于驾驶员来说更难以理解显现的信息。

为了解决这些问题，存在也可以检测驾驶员的头部运动并且据此定位HUD显现的方案。另一方案是，将数据眼镜用于驾驶员辅助系统。在其中，驾驶员的整个视野可以被呈现以虚拟的显现。在数据眼镜中也需要检测头部运动，并且必要时也检测眼睛运动，以便相对于环境位置正确地定位AR显现。

从DE 10 2013 016 247 A1已知了一种用于在车辆环境的记录的数字图像中增强显示至少一个虚拟的附加信息的方法，其中，所记录的图像作为背景图像输出在显示器上。在目标位置上的输出图像中输出、尤其固定定位/锚固附加信息。在此，通过尤其大体的第一定位方法确定附加信息的预定位，并且通过尤其精细的第二定位方法调整预定位。

在DE 10 2014 208 973 A1中，建议在HUD中还实施用户的运动跟踪(用户跟踪)。这可以通过包含在车辆中的传感器来完成。关于用户的运动的数据可以用于正确调整AR对象的图示。因此也可以改进总延迟，从而从驾驶员或乘客的角度来看，虚拟对象130可以合理地融入环境中。

从DE 10 2015 007 518 A1已知一种用于预测车辆的方位的方法。在此使用不同的传感器类型。第一传感器类型用于检测车辆的方位。第二类型的传感器检测车身从中心方位的偏移。第三传感器类型的传感器26构造为，使得可以检测车辆的周围环境，尤其是测量车辆前方的路面的轮廓。基于车辆的通过第一传感器类型的传感器已知的速度可以确定，地面不平整什么时候直接位于车辆下方，从而信息可以有利地被预测装置12用于方位30的无延迟的确定。第三传感器类型26的传感器例如是立体照相机、超声波传感器、LIDAR系统和/或激光三角测量传感器。

从DE 10 2015 208 738 A1已知一种用于车辆的抬头显示器。特殊性在于，抬头显示器被设计为，使得补偿驾驶员的头部和抬头显示器之间的相对运动，以便减少虚拟的图像和驾驶员的头部之间的相对运动。

从DE 10 2017 001 015 A1已知具有投影的图像的低延迟的修正的抬头显示器。为此，驾驶员配备有照相机，该照相机安置在驾驶员的头部处的支架上。在车辆内部空间中安置有观察驾驶员的照相机。为了计算修正而使用从虚拟现实显示的领域已知的时间扭曲技术。

即使在数据眼镜中使用HUD的情况下重要的是，显示速度是很高的，并且由系统识别的运动与显示器上的图示的调整之间的延迟是很短的。如果不是这种情况，那么这可能导致所提到的问题、例如晕动病(Motion Sickness)以及物理世界和虚拟世界之间的错误定向。道路特性也会产生影响，因为它可以导致振动，这同样可能损害AR显现的精度。

由于不同的原因还给出其他的挑战：

从虚拟和增强现实技术的领域已知，如果显示给观察者的图像以至少90Hz(≈11毫秒/图像)的速率和小于20ms的系统延迟被产生，那么针对观察者形成无延迟的用户体验。研究表明，这些要求可以传送到抬头显示器中的增强现实显示上。

由于这些具有不同的传感器的系统的复杂的结构以及系统与用于处理传感器数据、对车辆运动的建模的必要性、由于车辆运动和在产生显示期间的运动预测图像内容的必要性等的不同的计算单元的耦合，总系统的延迟然而明显大于20毫秒。

已知的解决方案具有不同的缺点。这在本发明的范围内被识别。在当今已知的HUD中，还存在用于在考虑到车辆运动和驾驶员的头部运动的情况下在HUD显现中的进一步改进的需求。

由于系统链较长，需要一些时间(～150至250ms)，直到显示与驾驶员相关的图像。由此产生延迟，其表现为虚拟图像的“漂浮”/“颤抖”。在此，与HUD显现相关的时间延迟表示在HUD中显示的图像与环境的人类感知之间的时间偏移。

需要大量的计算耗费来从用户的角度来看，在道路上的正确的方位中显示图像。这适用于从位置确定到在HUD屏幕上显示渲染的图像的整个系统链。另一方面，存在以下问题，即仅通过快速的计算机/控制装置也无法实现无延迟的AR显示。

本发明所要解决的技术问题是，提供一种方案，利用该方案可以改进前述的问题。该技术问题通过根据权利要求1的用于在车辆的显示单元上产生附加信息的位置正确的显现的方法、根据权利要求9的用于实施该方法的设备和根据权利要求15的车辆来解决。

根据对这些措施的以下描述，从属权利要求包含本发明的有利的扩展方案和改进方案。

该解决方案基于用于同步多个流程的合适的策略。一方面是传感器数据的检测，另一方面是对车辆状态的预测，并且进一步在显示器上产生和输出AR显示。因此，总系统可以分为三个组成部分、即传感器、应用程序和显示器。

该解决方案尤其对于HUD显示单元来说是特别感兴趣的。然而，它也可以用于HMD显示单元(头戴式显示器)、尤其是数据眼镜。

在优选的变型方案中，该解决方案在于一种用于在车辆的显示单元上产生附加信息的位置正确的显现的方法，其中，该车辆配备有一定数量的传感器，用于检测车辆的状态和环境。在此，传感器的数据被周期性地处理。该方法的特征在于，预先计算车辆的状态，其中，预先计算出的状态被传送(或者说转用)到用于计算要显示的图像的渲染(Rendering)过程。在此，至少根据渲染过程中的车辆的状态的预先计算来计算出附加信息在显示图像中的显现(Einblenden或者说渐现)的位置(Lage或者说方位、位态)。然后，对计算出的图像进行后处理。在此进行完成渲染的图像的变换，其中，由车辆的更新的状态确定变换计算。车辆状态的更新也在渲染过程中继续进行，从而在渲染过程结束时已经再次检测车辆的状态。通过预先计算车辆的状态并且利用更新的状态进行后处理，可以改进显示系统的总延迟。因此，可以避免具有附加信息的图像的“漂浮”或“颤抖”。

可能的是，显现静止的图像，该图像针对车辆的乘客位置正确地定位在车辆的周围环境中。因此也避免对附加信息的错误解释和驾驶员的混淆。

特别有利的是，在附加信息的显现显示在显示单元上的时间点中，预测车辆的状态的预先计算。在该时间点中，乘客将注视该显现，并且然后应该位置正确地进行显现。

为此，此外可能有利的是，通过至少一个传感器检测车辆的乘客的观察方向(或者说视线方向)，并且车辆的乘客的观察方向在用于计算要显示的图像的渲染过程中被考虑，其中，预测驾驶员的观察方向，其中，驾驶员的观察方向被预测的时间点相应于附加信息的显现通过显示单元显示的时间点。在抬头显示器中重要的是了解观察方向，因为不能够在整个视野范围内位置正确地显现附加信息。

另一有利的措施在于，为了计算图像，前缓冲渲染过程用于产生附加信息的显现，其中，将图像直接渲染到显示单元的视频存储器中。这明显有助于延迟减小。

附加地，为了产生附加信息的显现，至少显示单元可以在“低持久性”(lowpersistence或称为短余晖)显示模式中运行，其中，在将数据写入视频存储器中期间，图像的显示被调暗(dunkel getastet或者说暗调控)，并且在写入数据后，在图像周期的与正常运行相比更短的阶段中显示图像，直到开始下一个写入过程。

这可以在优选的变型方案中利用LCD显示器或者利用OLED显示器实现，LCD显示器的背景照明在数据写入视频存储器中期间被关闭，并且在短的显示周期期间被接通；OLED显示器的照明阶段被控制为，使得其仅在短的显示周期期间发光。

在具体的示例中，显示器以至少90Hz的刷新速率(每张图像约11毫秒)工作，并且由预设时钟信号的应用程序“触发”。此外，显示器在“低持久性”模式中运行，在该模式中，显示器仅发光2毫秒(在该示例中，在90Hz下总共为11毫秒)。由此，可以减少运动模糊的显出，并且可以将显示器的“调暗”用于建立图像。这相应于通过应用程序的“前缓冲渲染”技术。因此，延迟(与传统的系统相比)可以被减少一整帧(在此为11毫秒)。

在扩展的变型方案中，计算模型用于预先计算车辆的状态，其中，考虑用于检测传感器数据的时间点以及用于处理传感器数据的系统运行时间。应用程序(包括渲染)的最小的更新速率取决于显示器的刷新速率，然而，它预设用于系统中的所有其他的部件的定时。通过内部的应用程序流程精确确定，在哪个时间点需要不同的传感器的数据以进行进一步处理。因为各个数据流的运行时间是已知的，所以可以通过传感器数据的特殊的“即时交付”确保应用程序始终利用最新的数据工作，并且没有产生附加的延迟。

通过在了解参与系统的部件的运行时间的情况下对各个应用周期的合适的排列、结合快速的传感器对车辆状态的基于模型的预测，可以将总系统的延迟减小为几毫秒。这极大地改进了在HUD中对这种AR显示的接受度。

为了确定车辆乘客的观察方向而有利的是，利用一定数量的安装在车辆中的IR照相机来检测观察方向，IR照相机确定由相应的光源产生的一定数量的光斑的位置，光源安置在乘客的头部处的支架上。因此，数据在车辆的计算装置中是快速可用的，计算装置执行对观察方向的预测。

不同的类型的传感器都利用其自己的时钟信号工作。但是，当传感器提供冗余的信息并且在应用程序级别上合并时，传感器总是在时间上彼此同步。因此，可以使用多个传感器/数据源来描述路面、车辆位置等，以便例如提高精度和/或频率。例如，该时间同步可以通过公共的时钟发生器实现，例如通过应用程序本身或在外部实现。

通过应用程序内部的时钟发生器的机制可以适应性地实现总系统。这意味着，可以在应用程序内部测量通过应用程序对数据流的要求与通过传感器/模型的交付之间的时间，和总系统的运行时间，并且可以对此起反应。因此，该系统甚至(在运行时)根据相应的情况和自身进行调整。

对于用于实施方法的具有至少一个显示单元(利用该显示单元可以将附加信息显现车辆的乘客的视野中)的设备来说有利的是，其配备有一定数量的用于检测车辆状态和车辆周围环境的传感器和计算装置，利用计算装置周期性地处理传感器的数据。特别地，计算装置设计为，使其实施车辆状态的预先计算，并且此外设计用于实施渲染过程。在此，渲染过程设计为，使得在其中，车辆的预先计算的状态被考虑用于计算要显示的图像，其中，计算装置设计用于再次检测车辆的状态，并且其中，计算装置此外设计用于对渲染的图像的后处理，在其中变换图像内容，其中，通过车辆的更新的状态确定变换计算。

从从属权利要求得到用于该设备的另外的相应的有利的措施。抬头显示器通常用作显示单元。

本发明优选可以使用在车辆中。

本发明的实施例在附图中示出并且接下来借助附图详细阐述。

其中：

图1示出了具有HUD显示单元的车辆的驾驶舱的图示；

图2示出了具有IR照相机的车辆的驾驶舱的图示，IR照相机用于外内跟踪以检测头部姿势；

图3示出了车辆的信息娱乐系统的框图；

图4示出了为AR内容的计算和输出而相互作用的不同的周期性运行的过程的系统建议；并且

图5示出了不同的周期性运行的过程的时间进程。

本说明书说明了根据本发明的公开的原理。因此要理解的是，本领域技术人员能够设计以下不同的布置，其虽然在此没有明确被描述，但体现了根据本发明的公开的原理并且应该同样在其范围内受到保护。

图1示出了车辆10的典型的驾驶舱。示出了轿车Pkw。然而，任何其他的车辆同样被考虑为车辆10。另外的车辆的示例是：公共汽车、商用车、尤其是货车Lkw、露营车、农业机械、建筑机械、轨道车辆等。本发明通常可以用于陆地车辆(包括机器人、轨道车辆)、船只和飞行器(包括飞机和无人机)。

在驾驶舱内示出了信息娱乐系统的三个显示单元。其是安置在中控台中的触敏的屏幕30、安置在仪表板中的仪表组110和安置在挡风玻璃下方和仪表组110后方的抬头显示器20。在驾驶时，中控台不在驾驶员的视野内。因此，在驾驶期间通过HUD显现附加信息。

触敏的屏幕30在此尤其用于操作车辆10的功能。例如通过该操作可以控制车辆10的收音机、导航系统、存储的音乐片段的播放和/或空调设施、其他的电子装置或其他的舒适功能或应用程序。总之，“信息娱乐系统”经常被提到。在机动车、尤其是轿车中，信息娱乐系统表示汽车收音机、导航系统、免提系统、驾驶员辅助系统和其他的功能在中央操作单元中的结合。术语信息娱乐是一个由词语：信息和娱乐组成的合成词。为了操作信息娱乐系统，主要使用触敏的屏幕30(“触摸屏”)，其中，该屏幕30尤其可以由车辆10的驾驶员以及车辆10的副驾驶员良好地查看和操作。此外，在屏幕30下方，机械操作元件、例如按钮、调整旋钮或其组合、例如转动按钮可以布置输入单元50中。通常，也可以由信息娱乐系统的某些部分实现方向盘操作。该单元未单独示出，但被视为输入单元50的一部分。

图2从不同的角度示出驾驶舱。附图标记152表示安装在仪表板中的IR探测器。这些探测器是观察驾驶员或副驾驶员的外内跟踪系统的一部分。目的是检测驾驶员或副驾驶员的准确的头部姿势。这通过利用IR探测器152测量由安置在驾驶员的眼镜上的红外光源辐射出的IR射束的强度来完成。在每次转动头部时，测量IR射束的不同的强度。可以从测得的强度值中推断出头部姿势。IR照相机可以用作IR探测器。还可想到以下实施方案，在该实施方案中，利用内部空间照相机检测驾驶员的头部姿势。在此无需为驾驶员配备眼镜。然而，为此需要更复杂的图像处理。图2还示出了由HUD 20输出的AR显现。它是目标箭头22和标记导航路线的目的地的框架。因此，车辆10几乎到达目的地，并且应该停在目标箭头22所指的点处。AR显现被计算为，使得其位置正确地定位在环境中。

图3示意性示出了信息娱乐系统200的框图，并且示意性地示出了信息娱乐系统的一些子系统或应用程序。示出了两个显示单元、触敏的显示单元30和HUD 20、计算装置40、操作单元50和存储器60。显示单元30包括用于显示可变的图形信息的显示表面和布置在显示表面上方的用于通过用户输入命令的操作表面(触敏层)。

显示单元20和30通过数据线70与计算装置40连接。数据线可以按照LVDS(低压差分信号)标准设计。通过数据线70，显示单元30从计算装置40接收用于控制触摸屏30的显示表面的控制数据。通过数据线70，输入的命令的控制数据也从触摸屏30传输到计算装置40。用于HUD 20的完成渲染的显示图像同样通过数据线70传输。操作单元50包括已经提到的操作元件、例如按钮、调整旋钮、滑动调节器或转动按钮，操作者可以借助这些操作元件通过菜单引导进行输入。输入通常理解为调用所选的菜单选项，以及改变参数、启动和关闭功能等。存储装置60通过数据线80与计算装置40连接。

信息娱乐系统的另外的部分、即照相机150、收音机140、导航装置130、电话120和仪表组110通过数据总线100与用于操作信息娱乐系统的设备连接。根据ISO标准11898-2的CAN总线的高速变型方案被考虑作为数据总线100。备选地，例如也考虑使用基于以太网技术的总线系统、例如BroadR-Reach。还可以使用通过光波导体进行数据传输的总线系统。作为示例提到MOST总线(面向媒体的系统传输)或D2B总线(家用数字总线)。车辆测量单元170也连接到数据总线100。该车辆测量单元170用于检测车辆的运动，尤其用于检测车辆的加速度。该车辆测量单元可以相应于惯性测量单元地构造为常规的IMU单元。在IMU单元中通常存在加速度传感器和转速传感器、例如激光陀螺仪或磁力计陀螺仪。在此还提及的是，照相机150可以设计为传统的摄像机。在这种情况下，它记录25个全图像/秒，这在隔行记录模块中相应于50个半图像/秒。备选地，可以使用特殊照相机，其记录更多图像/秒，以便在对象更快速地运动的情况下提高的对象识别的精度，或者记录在与可见光谱不同的光谱中的光。可以使用多个照相机来观察周围环境。此外，还可以补充地或备选地使用雷达或激光雷达系统，以便实施或扩展对周围环境的观察。里程计的传感器同样可以用于例如改进针对车辆的位置确定的精度。这种传感器的示例是车轮转速传感器、磁力计和加速度传感器。针对向内和向外的无线通信，车辆10配备有通信模块160。该模块通常也被称为车载连接单元OCU。它可以设计用于例如根据LTE(长期演进)标准或SG标准的移动无线电通信。它同样可以设计用于WLAN(无线LAN)通信、蓝牙通信，可以设计用于与车内的乘客的装置的通信，或设计用于车对车通信等。利用附图标记152表示IR探测器，其安置在仪表板的区域中。IR探测器可以构造为IR照相机。照相机产生不必具有非常高的分辨率的图像。为此，382x288像素的分辨率完全足以用于该应用目的。图像评估也可以已经在照相机中进行。在此，确定IR照相机记录的不同的光斑的坐标。现在，结合数据眼镜对这一点进行描述。

图4示出了用于不同的周期性运行的过程的系统建议，这些过程针对计算和输出AR内容而相互作用。在其中，相同的附图标记表示和在之前的附图中相同的部件。不同的方法步骤的流程通过箭头方向预设，并且在顺时针方向上进行。在最上方利用附图标记UE表示车辆乘客、通常是驾驶员的眼睛。通过所提及的IR探测器152检测眼睛的位置、即观察方向。为此需要对由IR探测器152记录的图像进行图像评估。这在上面已经描述过。针对该目的，可以为IR探测器152分配自身的计算装置。在第一近似中，可以将观察方向设置为与头部姿势相同。在使用摄像机观察驾驶员的情况下，通过对眼睛部分进行更精确的图像评估，可以通过评估眼睛位置来更精确地确定观察方向。在利用T152表示的块中，进行定期的头部跟踪，并且必要时进行眼睛跟踪以检测驾驶员的观察方向。图像检测可以以25Hz或30Hz的频率进行。这不足以减少总延迟。因此，进行内插以便计算中间值。这可以以与在Hololens中类似的方式进行，其中，针对头部姿势增加到240Hz。

利用附图标记VT表示跟踪车辆位置和定向的块。这通过评估块T130中的数据来完成，这些数据由导航系统130和车辆10的里程计提供。检测车辆位置可以精确地进行，但速度较慢。借助IMU测量单元170检测块T170中的转动可以快速进行，但会发生漂移。VS块标记当前的车辆值和对于检测车辆周围环境重要的状态。因此，它们也可提供给块RW，在块中实施车辆10的周围环境的检测。一方面，块RW包含块RW150，通过该块RW150，利用传感器(摄像机150、RADAR、LIDAR等)进行动态的环境检测。另一方面，块RW包含块RW130，通过该块RW130，借助对地图材料的评估进行静态的环境测量。块VT和RW中的处理也以自身的频率、例如用于检测车辆位置的50Hz和用于检测车辆转动的90Hz周期性地进行。环境检测例如可以以25Hz或30Hz的频率进行。

由跟踪块T152、VT和RW计算的所有信息被转发到计算装置40。传感器都以其自身的时钟周期工作。但是，当传感器提供冗余的信息并且在应用程序级别上合并时，传感器总是在时间上彼此同步。因此，可以使用多个传感器/数据源来描述路面、车辆位置等，以便例如提高精度和/或频率。例如，该时间同步可以通过公共的时钟发生器实现，例如通过应用程序本身或在外部实现。针对该目的，在图4中设置有块SY。在该块中调整由不同的传感器提供的数据。该块如下地工作：

该块测量由传感器提供的结果的周期时间。该块将所有周期时间与由在计算单元40中被处理的应用程序预设的公共的时钟信号相关联。然后，它在正确时间将传感器数据转送至应用程序的相应的处理部分。如果由于周期时间而无法做到这一点，那么对传感器数据进行预测，该预测在该时间点被提前计算出，在该时间点中，数据应该由应用程序处理。为此，必须存储过去的周期的传感器值，这些传感器值用作预测的基础，以便内插或外推中间值。

在计算单元40中运行的应用程序具有计算AR内容的主要目的，从而AR内容相对于环境位置正确地被显现驾驶员的视野中。要显示的图像的渲染也作为应用程序的一部分以开头提到的11ms节奏进行。为了输出AR图像，使用由虚拟现实已知的“前缓冲渲染”和“低持久性显示”技术。在此，完全渲染的图像利用优化的“渲染管道”传输。在渲染过程中还使用“后期锁存”技术。

图5还示出了不同的用于产生AR图像的处理周期。沿横坐标显示时间。在上方的行中示出了用于不同的传感器的两个连续的跟踪过程T_i和T_i+1。其下一行示出了由计算单元40处理的应用程序的两个工作周期A_i和R_i。应用程序实际上被分为两部分。在阶段A_i中，发生状态(AR内容的可见性、位置、内容等)的更新。虚拟场景中的显示的这种描述与车辆的运动无关，并且因此可以与通过传感器的采样平行地开始。

例如通过IMU测量单元170进行纵向和横向加速度的基于传感器的检测。驾驶员向车辆提出关于方向盘角度、油门或制动踏板位置等的要求。这同样通过传感器被检测。该应用程序创建车辆的纵向和横向加速度的基于模型的确定/预测。这种计算模型已经是已知的，并且也可以用于其他的目的。随后进行预测的数据与实际测量的数据的比较或甚至合并。

同时，确定3D路面。这可以通过立体照相机和相应的图像处理来进行。在此，也可以基于例如来自实时动态[RTK]测量的精确的位置数据访问详细的地图材料。为了提高精度，又可以实施测量的数据与地图中的条目的比较/合并。

在LL_i阶段期间，预测车辆的转动/方位。该计算同样基于描述车辆的运动的计算模型。计算模型同样可以用于驾驶员的目光的运动。对于在阶段LDP_i+1中的显示时间点，基于先前确定的纵向和横向加速度、3D路面和已知的系统运行时间，提前计算出车辆的方位。这同样适用于观察方向的提前计算。通过后期锁存过程LL_i将提前计算出的状态写入存储器中，并且替换这些参量的先前测量的值。在接下来的阶段R_i中，图像i的渲染基于在显示时间点中预测的车辆的位置和方位以及驾驶员的预测的视角进行。

与此同时，通过具有短的周期时间的传感器、例如IMU测量单元170，利用索引i+1重新测量车辆的当前的方位。在阶段LL_i+1中，数据被传递到渲染的图像的后处理(重新投影)。在这个阶段中，仍然进行对渲染的图像帧i的后处理。在该阶段中实施的操作同样从VR技术已知，并且通常被称为“时间扭曲操作”。完成渲染的图像i因此被转换为图像帧i+1。然后，在随后的阶段FBR_i+1中，将视频数据写入HUD显示单元20的显卡的前置缓存中。因此使用同样从VR技术已知的“前置缓存渲染”技术。在此，在显示器的黑屏时间中进行图像建立。该技术通常与“低持久性显示”技术结合使用。在此，在该技术中极大地延长了显示器20的黑屏时间。图像几乎在整个图像周期内都保持调暗；图像仅在图像周期结束时被调亮。因此，可以避免图像中的运动模糊。然而，缺点是图像显示得更暗。在该示例中，图像仅在2ms而不是11ms的阶段期间显示。最终显示图像的阶段在图5中利用附图标记LPD_i+1表示。总而言之，可以说传感器数据检测在11ms的图像周期内发生两次，并且利用第一次数据检测的数据渲染的图像基于第二传感器数据检测的数据被后处理并且显示。

所有在本文中提及的示例和有条件的撰写不应理解为对这种具体引用的示例的限制。例如，本领域技术人员将理解，在此示出的框图是示例性的电路布置的概念图。以类似的方式可以看出，所示的流程图、状态转换图、伪代码等表示用于示出过程的不同的变型方案，这些过程基本上可以存储在计算机可读的介质中，并且因此可以由计算机或处理器实施。在专利权利要求中提到的对象也可以明确地是指人。

应当理解的是，所提出的方法和相关的设备可以以不同的形式的硬件、软件、固件、专用处理器或其组合来实现。专用处理器可以包括专用集成电路(ASIC)、精简指令集计算机(RISC)和/或现场可编程门阵列(FPGA)。所提出的方法和设备优选实现为硬件和软件的组合。该软件优选作为应用程序安装在程序存储设备上。通常，它是一种基于计算机平台的机器，其具有以下硬件、例如一个或多个中央处理器(CPU)、随机存取存储器(RAM)和一个或多个输入/输出(I/O)接口。运行系统通常也安装在计算机平台上。在此描述的不同的过程和功能可以是应用程序的一部分，或通过运行系统实施的部分。

本公开并不局限于在此描述的实施例。对于本领域技术人员基于其专业知识以及属于本公开内容而考虑的不同的调整和修改存在空间。

在实施例中，在使用在车辆中的示例中更详细地阐述本发明。在此还指出了在飞机和直升机方面的、例如在着陆演习或搜索任务等方面的使用可能性。在HUD显示单元的示例中阐述本发明。然而，这些原理也可以传送至在数据眼镜或其他的HMD显示单元中的使用。

附图标记列表

10 车辆

20 抬头显示器

22 AR显现

30 触敏的显示单元

40 计算单元

50 输入单元

60 存储单元

70 通向显示单元的数据线

80 通向存储单元的数据线

90 通向输入单元的数据线

100 数据总线

110 仪表组

120 电话

130 导航装置

140 收音机

150 照相机

152 IR照相机

160 通信模块

170 车辆测量单元

200 信息娱乐系统

VT 车辆状态跟踪

T130 位置跟踪

T152 观察方向跟踪

T170 车辆动态跟踪

RW 环境跟踪

RW150 环境传感器评估

RW130 环境地图

SY 同步

VS 车辆状态

UE 用户的眼睛

A_i 应用程序i

T_i 传感器检测i

T_i+1 传感器检测i+1

LL_i 预测的车辆状态的传递

LL_i+1 图像后处理

FBR_i+1 前置缓存渲染i+1

LPD_i+1 低持久性显示i+1

Claims (15)

1.一种用于在车辆的显示单元上产生附加信息的位置正确的显现的方法，其中，所述车辆(10)配备有一定数量的传感器(130、150、170)，用于检测所述车辆(10)的状态和环境，其中，所述传感器(130、150、170)的数据被周期性地处理，其特征在于，预先计算所述车辆(10)的状态，其中，预先计算出的状态被传送到用于计算要显示的图像的渲染过程，其中，至少根据渲染过程中的车辆(10)的状态的预先计算来计算出附加信息在显示图像中的显现的位置，其中，在所述渲染过程期间，再次检测所述车辆(10)的状态，其中，对计算出的图像进行后处理，在后处理中变换图像内容，其中，通过所述车辆(10)的更新的状态确定变换计算。

2.根据权利要求1所述的方法，其中，对所述车辆(10)的状态的预先计算相应于对所述车辆(10)的状态的预测，其中，预测状态的时间点相应于所述附加信息的显现在显示单元(20)上显示的时间点。

3.根据权利要求1或2所述的方法，其中，通过至少一个传感器(152)检测所述车辆(10)的乘客的观察方向，其中，所述车辆(10)的乘客的观察方向在用于计算要显示的图像的渲染过程中被考虑，其中，预测驾驶员的观察方向，其中，预测所述驾驶员的观察方向的时间点相应于附加信息的显现通过显示单元(20)显示的时间点。

4.根据前述权利要求中任一项所述的方法，其中，为了计算图像，前缓冲渲染过程被实施用于产生附加信息的显现，其中，将所述图像直接渲染到所述显示单元(20)的视频存储器中。

5.根据前述权利要求中任一项所述的方法，其中，为了产生所述附加信息的显现，至少所述显示单元(20)能够在“低持久性”显示模式中运行，其中，在将数据写入所述视频存储器中期间，所述图像的显示被调暗，并且在写入数据后，在图像周期的与正常运行相比更短的阶段中显示所述图像，直到开始下一个写入过程。

6.根据权利要求5所述的方法，其中，为了实现“低持久性”显示模式，要么使用LCD显示器，要么使用OLED显示器，所述LCD显示器的背景照明在数据写入视频存储器中期间被关闭，并且在短的显示周期期间被接通；所述OLED显示器的照明阶段被控制为，使得所述OLED显示器仅在短的显示周期期间发光。

7.根据前述权利要求中任一项所述的方法，其中，为了预先计算所述车辆(10)的状态而使用计算模型，在该计算模型中，考虑用于检测传感器数据的时间点以及用于处理传感器数据的系统运行时间。

8.根据前述权利要求中任一项所述的方法，其中，利用一定数量的安装在车辆(10)中的IR照相机(152)来检测车辆(10)的乘客的观察方向，IR照相机确定由相应的光源产生的一定数量的光斑的位置，所述光源安置在乘客的头部处的支架上。

9.一种用于实施根据前述权利要求中任一项所述的方法的设备，所述设备具有至少一个显示单元(20)，利用所述显示单元能够将所述附加信息显现车辆(10)的乘客的视野中；一定数量的用于检测车辆(10)的状态和车辆(10)的周围环境的传感器(130、150、170)和计算装置(40)，利用所述计算装置周期性地处理所述传感器(130、150、170)的数据，其特征在于，所述计算装置(40)设计为，计算装置(40)实施车辆(10)的状态的预先计算，所述计算装置(40)此外设计用于实施渲染过程，其中，所述渲染过程设计为，使得在其中，所述车辆(10)的预先计算的状态被考虑用于计算要显示的图像，其中，所述计算装置(40)设计用于再次检测车辆(10)的状态，并且其中，所述计算装置(40)此外设计用于对渲染的图像的后处理，在所述后处理中变换图像内容，其中，通过所述车辆(10)的更新的状态确定变换计算。

10.根据权利要求9所述的设备，其中，所述设备具有至少一个传感器(152)，用于检测所述车辆(10)的乘客的观察方向。

11.根据权利要求10所述的设备，其中，至少一个传感器相应于红外线照相机，所述红外线照相机记录一定数量的红外线光源的光斑，所述红外线光源安置在乘客的头部处的支架上。

12.根据权利要求9至11中任一项所述的设备，其中，所述计算装置(40)具有预测算法的执行装置，利用所述预测算法来预测所述观察方向，其中，预测所述观察方向的时间点相应于所述附加信息的显现在显示单元(20)上显示的时间点。

13.根据权利要求12所述的设备，其中，所述计算装置(40)设计用于，根据预测的观察方向计算出用于所述附加信息的显现的图像。

14.根据权利要求9至13中任一项所述的设备，其中，所述显示单元相应于抬头显示器。

15.一种车辆，其特征在于，所述车辆(10)配备有根据权利要求1至8中任一项所述的设备。

Images