JP2006279648A - Image display method based on fluctuation correction and remote control system for automobile model or the like using the method - Google Patents
Image display method based on fluctuation correction and remote control system for automobile model or the like using the method Download PDFInfo
- Publication number
- JP2006279648A JP2006279648A JP2005096938A JP2005096938A JP2006279648A JP 2006279648 A JP2006279648 A JP 2006279648A JP 2005096938 A JP2005096938 A JP 2005096938A JP 2005096938 A JP2005096938 A JP 2005096938A JP 2006279648 A JP2006279648 A JP 2006279648A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- received
- operation machine
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Toys (AREA)
- Selective Calling Equipment (AREA)
Abstract
Description
本発明は、ゆらぎ補正による画像表示方法及びその方法を用いた模型自動車等用リモートコントロールシステムに係り、より詳細には、ゆらぎ補正による画像表示方法及びその方法を用いた、オペレーションマシンの操作者の操縦により、模型自動車等の走行体の走行やスピード制御等を遠隔的に行なうリモートコントロール機能を備えた模型自動車等用リモートコントロールシステムに関する。 The present invention relates to an image display method by fluctuation correction and a remote control system for a model car or the like using the method, and more specifically, an image display method by fluctuation correction and an operator of an operation machine using the method. The present invention relates to a remote control system for a model car or the like having a remote control function for remotely controlling the speed of a traveling body such as a model car or controlling the speed by maneuvering.
撮影領域等を遠隔操作で変更できる遠隔カメラ装置や遠隔監視システム装置が提案されている。このような遠隔カメラ装置として、例えば、伝送遅延や信号処理遅延による監視カメラ部の制御行き過ぎ量を補正することのできる遠隔カメラ装置が提案されている(特開平6−38087号公報)。遠隔監視システム装置としては、例えば、カメラを動作させているときに受信側で表示する画像を、その時点でカメラが撮影している範囲に近づくようにシフトして表示し、あたかも画像の遅れが発生していないように見えるように表示範囲を加工し、カメラの遠隔操作による遅延を感じられないような監視システム装置が提案されている(特開2002−185956号公報)。 A remote camera device and a remote monitoring system device that can change an imaging region and the like by remote operation have been proposed. As such a remote camera device, for example, a remote camera device that can correct the control overshoot amount of the monitoring camera unit due to transmission delay or signal processing delay has been proposed (Japanese Patent Laid-Open No. 6-38087). As a remote monitoring system device, for example, an image to be displayed on the receiving side when the camera is operated is shifted and displayed so as to approach the range that the camera is capturing at that time, as if there is a delay in the image. A monitoring system device has been proposed in which a display range is processed so that it does not appear and a delay due to remote operation of the camera is not felt (Japanese Patent Laid-Open No. 2002-185556).
しかしながら、これらの技術は、有線回線による動画伝送を前提としており、固定遅延時間分の補正を行なうことにより、違和感のない動画を伝送することができるが、インターネットや無線LANによる動画伝送を行なう場合には、均一な通信速度が得られないために、動画データの到達時間にゆらぎが発生する。 However, these technologies are premised on moving image transmission via a wired line, and by performing correction for a fixed delay time, it is possible to transmit a moving image with no sense of incongruity. However, when moving image transmission by the Internet or wireless LAN is performed. In this case, since a uniform communication speed cannot be obtained, fluctuation occurs in the arrival time of the moving image data.
即ち、通信の遅れがバラつくことにより描画タイミングがバラつき、時には通信エラーによるデータ消失が起こり、その結果、動画に違和感を感じる事態が発生する(図20乃至22参照)。 In other words, the drawing timing varies due to variations in communication delay, and data loss sometimes occurs due to a communication error. As a result, a situation in which the moving image feels strange (see FIGS. 20 to 22) occurs.
上述する理由により、このようなカメラを模型自動車等の走行体に搭載して、パーソナルコンピュータ等のモニタでカメラからの映像を見ながら操作するような場合は、このゆらぎが動画データの不連続性を生み、操作者が模型自動車等の動きを予想できなくなって、的確な操作ができなくなり、遠隔操作の操縦性が悪くなる。 For the reasons described above, when such a camera is mounted on a traveling body such as a model car and operated while watching the image from the camera on a monitor such as a personal computer, this fluctuation is a discontinuity of moving image data. As a result, the operator cannot predict the movement of the model car or the like, and the accurate operation cannot be performed, and the maneuverability of the remote operation is deteriorated.
この対策として従来は、ゆらぎ変化範囲をカバーする量の動画データを受信側で蓄積することにより、ゆらぎを抑えるという方法が採られている。しかし、この手法の場合、動画データの蓄積分の動画遅延が発生するという問題が生ずる。 Conventionally, as a countermeasure, a method of suppressing fluctuation by accumulating moving image data in an amount that covers the fluctuation change range on the receiving side is employed. However, in the case of this method, there arises a problem that a moving image delay corresponding to the accumulation of moving image data occurs.
本発明は上記問題を解決することを課題としてなされたもので、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる模型自動車等用リモートコントロールシステムを提供することを課題とする。 The present invention has been made in order to solve the above problems, and when moving images are transmitted from a traveling body such as a model car equipped with a camera installed at a remote place to a personal computer or the like connected via the Internet. In addition, by providing fluctuation correction processing, we provide an image display method that provides unnatural images, and a remote control system for model automobiles that enables accurate remote operation by adopting this method. The task is to do.
請求項1に記載の発明は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とする、という方法により上記課題を達成する。
According to the first aspect of the present invention, the received image to the monitor for enabling remote control of the traveling body while observing a monitor display of an image from a camera of the traveling body such as a model car received via a network. In the operation machine that displays
The above-described problem is achieved by a method in which drawing of the received image on the monitor is performed at predetermined drawing timing intervals, and the drawn image is a predicted image obtained by delaying the received image.
請求項2に記載した発明は、請求項1に記載のゆらぎ補正による画像表示方法において、前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であることを特徴とする。 According to a second aspect of the present invention, in the image display method by fluctuation correction according to the first aspect, the delayed predicted image is added to the image information received at that time from the system time at the drawing timing. It is a pseudo image after the lapse of the estimated delay time after subtracting the time stamp.
請求項3に記載した発明は、請求項1に記載のゆらぎ補正による画像表示方法において、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであることを特徴とする。 According to a third aspect of the present invention, in the image display method by fluctuation correction according to the first aspect, the delayed predicted image is obtained by using the received image as a sensor of the delayed predicted time, vehicle speed, steering angle, battery voltage value, and the like. The image processing is based on the information.
請求項4に記載した発明は、請求項3に記載のゆらぎ補正による画像表示方法において、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び/又は左右にシフトするものであることを特徴とする。 According to a fourth aspect of the present invention, in the image display method by fluctuation correction according to the third aspect, the image processing zooms and / or shifts the received image to the left and right based on the sensor information. It is characterized by that.
請求項5に記載の発明は、模型自動車等の走行体からの画像情報に基づいて前記走行体を遠隔制御するためのオペレーションマシンを備えた模型自動車等用リモートコントロールシステムであって、
前記オペレーションマシンは、前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、とを備える、ことにより上記課題を達成する。
The invention according to
The operation machine includes: an image drawing information receiving unit that receives image information and sensor information from an in-vehicle camera of the traveling body; an image expansion unit that expands image data in the received image drawing information; By the image processing means for processing the expanded image data based on the received sensor information, the operation input means for converting the operation input value input by the controller into the control information for the traveling body, and the operation input means Control information transmitting means for transmitting the generated control information to the traveling body,
The traveling body includes an image compression means for adding an internal clock time as a time stamp to an image of the in-vehicle camera and compressing the image as image information to be transmitted to the operation machine, a vehicle speed from the vehicle speed sensor, and a battery from a battery. Sensor capturing means for capturing a voltage value as sensor information to be transmitted to the operation machine, image drawing information transmitting means for transmitting the image information and the sensor information as image drawing information to the operation machine, and the operation The object is achieved by comprising control information receiving means for receiving the control information from a machine and control processing means for controlling a servo and a motor based on the received control information.
請求項6に記載した発明は、請求項5に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整することを特徴とする。 According to a sixth aspect of the present invention, in the remote control system for a model car or the like according to the fifth aspect, the image processing means outputs the decompressed image data based on the received sensor information. And a drawing area of an image to be displayed is adjusted.
請求項7に記載した発明は、請求項6に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と車速から画像拡大率を算出すると共に、前記描画遅れ時間と操舵位置から画像左右シフト量を算出し、前記画像拡大率と前記画像左右シフト量とから前記描画エリアを指定することを特徴とする。 According to a seventh aspect of the present invention, in the remote control system for a model car or the like according to the sixth aspect, the image processing means calculates the time of the time stamp stored in the decompressed image data from the current system time. A drawing delay time that is subtracted is calculated, an image enlargement ratio is calculated from the drawing delay time and the vehicle speed, and an image right / left shift amount is calculated from the drawing delay time and the steering position, and the image enlargement ratio and the image left / right shift amount are calculated. The drawing area is designated from the above.
請求項8に記載した発明は、請求項5に記載の模型自動車等用リモートコントロールシステムにおいて、前記センサー情報は、前記走行体に搭載の車速センサーからの車速値と、バッテリーの電圧値とを含むことを特徴とする。 According to an eighth aspect of the present invention, in the remote control system for a model vehicle or the like according to the fifth aspect, the sensor information includes a vehicle speed value from a vehicle speed sensor mounted on the traveling body and a voltage value of a battery. It is characterized by that.
本発明に係るゆらぎ補正による画像表示方法によれば、受信画像から画像処理して得られた予測画像(擬似的画像)が定間隔置きに表示されるためにゆらぎがなくなり、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、このゆらぎ補正処理を行なうことにより、不自然さのない映像が得られ、以て的確な遠隔操作が可能となる。 According to the image display method by fluctuation correction according to the present invention, the predicted images (pseudo images) obtained by performing image processing from the received images are displayed at regular intervals, so that fluctuations are eliminated and the image is installed in a remote place. When moving images are transmitted from a traveling body such as a model car equipped with a camera to a personal computer or the like connected via the Internet, this fluctuation correction processing provides an image without unnaturalness. And accurate remote operation is possible.
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。図1は、模型自動車とオペレーションマシン2から成る、本発明に係る模型自動車等用リモートコントロールシステムの全体構成を表したものである。このシステムは、カメラを搭載した走行体である模型自動車1と、模型自動車1から離れた場所で模型自動車1を操縦する操作者のモニタ付きオペレーションマシン2と、インターネット4等の通信手段とから構成されている。
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. FIG. 1 shows an overall configuration of a remote control system for a model car or the like according to the present invention, which is composed of a model car and an
オペレーションマシン2では、そのモニタに模型自動車1のカメラ映像が出力される。操作者は、模型自動車1のカメラ映像を見ながらステアリングコントローラ、ジョイスティック等のゲームコントローラその他のコントローラ3で制御情報を入力して、模型自動車1を操縦することが可能である。そして、当該制御情報を受け取った模型自動車1では、その車載コンピュータにより当該制御情報から各制御用データが読み込まれ、既に駆動されているサーボ(操舵)や駆動モータが制御されることにより、模型自動車1は、オペレーションマシン2で入力された制御情報に従って動作することが可能になる。
In the
図2は、本実施形態における模型自動車1の構成を表したブロック図である。本実施形態における模型自動車1は、無線LANに接続されており、模型自動車1内のセンサーからセンサー情報生成を行なう機能や、カメラキャプチャー画像にタイムスタンプ値の付加等を行なう画像情報生成機能等の送信情報処理機能の他、サーボや駆動モータに対して所定の処理を行なう制御機能も備えている。本実施形態の模型自動車1では、画像情報生成機能を実現するためのカメラ5、センサー情報生成機能を実現するための車速センサー6、バッテリー7、制御機能を実現するためのサーボ8及び駆動モータ9、9a、ギアボックス10、10a、並びに、各種機能処理手段として機能する車載コンピュータ11を備えている。
FIG. 2 is a block diagram showing the configuration of the
車載コンピュータ11は、各装置の制御やデータの計算・加工を行なうCPU、一度書き込んだ内容は消去できないが電源を切っても内容が消えないF−ROM、半導体素子を利用したRAM、内部時計13、ビデオキャプチャー部12、画像圧縮部、センサー入力部16、モータ制御部15、無線LAN通信部14を備えている。
The in-
また、車載コンピュータ11は、カメラ5、車速センサー6、バッテリー7、サーボ8、及び駆動モータ9、9aが接続されており(図2、図3参照)、図4に示すように、オペレーションマシン2へ送信する情報の処理と、オペレーションマシン2から受信した情報の処理を行なう。
The in-
オペレーションマシン2へ送信する情報の処理としては、ビデオキャプチャー部12からの画像に内部時計13のタイムスタンプ値を付加して画像を圧縮する画像圧縮処理と、車速センサー6によって得られた車速とバッテリー電圧値をセンサー情報として取り込むセンサー取込処理とがある。オペレーションマシン2から受信した情報の処理はモータ制御処理で、受信した制御情報に従って、サーボ8及び駆動モータ9、9aを制御する。
Processing of information to be transmitted to the
本実施形態のオペレーションマシン2は、車載カメラ5の映像のうちの所定の描画エリアをモニタに表示する。そして、模型自動車1に設置されているセンサー等の検出結果から模型自動車1の状態を認識、判断し、その結果に応じた車載カメラ映像やスピードメーター・バッテリー残量表示を出力するという機能を、この模型自動車1からの画像情報やセンサー情報と連動して実行する。例えば、「画像データ、タイムスタンプ、車速、バッテリー電圧値」等の画像描画用情報を受信する処理を行ない、この画像描画用情報に含まれる画像情報、センサー情報を判別して、次の映像に応じた処理を実行する。
The
ここで、上記システムに採用される本発明に係るゆらぎ補正による画像表示方法について、より詳細に説明する。該画像表示方法は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするものである。
Here, the image display method by fluctuation correction according to the present invention employed in the above system will be described in more detail. The image display method displays the received image on the monitor for enabling the traveling body to be remotely controlled while viewing a monitor display of an image from a camera of the traveling body such as a model car received via a network. In the operation machine to perform,
The received image is drawn on the monitor at a predetermined drawing timing interval, and the drawn image is a predicted image obtained by delaying the received image.
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であり、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであり、また、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び/又は左右にシフトするものである。 The delayed predicted image is a pseudo image after the delay predicted time has elapsed, which is obtained by subtracting the time stamp added to the image information received at that time from the system time at the drawing timing. The image is obtained by subjecting the received image to image processing based on sensor information such as the estimated delay time, vehicle speed, steering angle, battery voltage value, etc., and the image processing is based on the sensor information. The image is zoomed and / or shifted left and right.
このゆらぎ補正の方法について、図5乃至図8を参照して詳細に説明する。図5において、送り側画像の段のSa、Sb、Sc、Sd、Seは、カメラからの画像取り込み時の撮像時刻を示し、ゆらぎの段のSa、Sb、Sc、Sd、Seは、画像情報にカメラからの画像取り込み時の撮像時刻が付加されたタイムスタンプを示し、受け側画像描画の段のTa、Tb、Tc、Td、Teは、描画タイミング時刻を示している。 This fluctuation correction method will be described in detail with reference to FIGS. In FIG. 5, Sa, Sb, Sc, Sd, and Se in the stage of the sending side image indicate imaging times at the time of capturing an image from the camera, and Sa, Sb, Sc, Sd, and Se in the stage of fluctuation are image information. Represents a time stamp to which an imaging time at the time of capturing an image from the camera is added, and Ta, Tb, Tc, Td, and Te in the receiving image drawing stage indicate the drawing timing time.
受け側画像描画では、等間隔で遅れ予測画像が描画されることになるので、描画タイミングにバラつきがなく、換言すれば、ゆらぎがなく、スムーズな動画が得られることになる。その遅れ予測時間tは、描画タイミング時刻Tから、そのとき受信している画像情報に付加されているタイムスタンプSを差し引いた時間T−Sである。 In receiving image drawing, delayed prediction images are drawn at equal intervals, so there is no variation in drawing timing, in other words, there is no fluctuation and a smooth moving image can be obtained. The estimated delay time t is a time TS obtained by subtracting the time stamp S added to the image information received at that time from the drawing timing time T.
図6乃至図8は、オペレーションマシン2の遅れ予測画像の描画機能について説明するものである。オペレーションマシン2は、図6に示されるように、受信画像上の描画エリアを指定することで、その範囲をビデオメモリにメモリ転送する機能を有する。この機能によって、受信画像の任意のエリアを表示することが可能となる。
6 to 8 are for explaining the rendering function of the delay prediction image of the
また、図7は、模型自動車1の直進時の描画エリアの変化について説明するものであり、そこには、模型自動車1がA地点からB地点へ直進した場合の、オペレーションマシン2のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、単に模型自動車1が直進する場合には、受信画像に対して視点の中心を変えずに、領域だけを中心へズームさせればよい。この場合のズーム量は、センサー情報である車速から算出される。
FIG. 7 illustrates changes in the drawing area when the
更に、図8は、模型自動車1の右カーブ時の描画エリアの変化について説明するものであり、そこには、模型自動車1が右カーブしようとA地点からB地点へ移動した場合の、オペレーションマシン2のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、模型自動車1が右カーブする場合には、受信画像に対して徐々に視点の中心を右側へ移動させながらズームさせればよい。この場合のズーム量及びシフト量は、センサー情報である車速と操舵角度から算出される。
Further, FIG. 8 explains the change of the drawing area when the
このように、本発明に係る画像表示方法においては、センサー情報を利用して、受信画像の遅れ予測時間経過時の遅れ予測画像を生成し、これを描画タイミング時刻に描画するので、通信のゆらぎが是正され、不自然さのないリアルタイムの動画が得られるのである。 As described above, in the image display method according to the present invention, the predicted delay image when the predicted delay time of the received image elapses is generated using the sensor information, and is drawn at the drawing timing time. Is corrected, and a real-time video with no unnaturalness is obtained.
次に、上記画像表示方法を採用した本発明に係るシステムの、模型自動車1、オペレーションマシン2、及び操作者の操作による一連の処理の流れを、図9のフローチャートを参照して簡単に説明する。まず、模型自動車1では、カメラ画像に内部時計13によるタイムスタンプが付されて画像圧縮処理され、この画像情報がオペレーションマシン2へ送信される第1のデータとされる。
Next, a flow of a series of processing by the operation of the
また、車速センサー6で得られた車速値と、バッテリー電圧値とがセンサー取込処理によって取り込まれ、センサー情報としてオペレーションマシン2へ送信される第2のデータとされる。
Further, the vehicle speed value obtained by the
画像圧縮処理により生成された画像情報、センサー取込処理により生成されたセンサー情報は、オペレーションマシン2へ送信される情報として通信処理によって送信される。オペレーションマシン2は、この情報を通信処理によって受信し、画像情報を画像伸張処理へ、センサー情報を画像加工処理へ引き渡す。
The image information generated by the image compression process and the sensor information generated by the sensor capture process are transmitted by the communication process as information transmitted to the
画像加工処理では、画像情報内の画像データを伸張し、画像加工処理へ引き渡す。画像加工処理では、伸張された画像データ、タイムスタンプ、センサー情報からモニタに描画する画像を生成してモニタに出力する。 In the image processing, the image data in the image information is expanded and transferred to the image processing. In the image processing, an image to be drawn on the monitor is generated from the decompressed image data, time stamp, and sensor information, and is output to the monitor.
操作者は、モニタに映し出されたカメラからの映像を見ながらゲームコントローラを操作する。ゲームコントローラの操作によって入力された制御情報は、通信処理によって模型自動車1へ送信され、模型自動車1では、受信した制御情報を基に、サーボ6、駆動モータ7、7aを制御する。
The operator operates the game controller while viewing the video from the camera displayed on the monitor. The control information input by the operation of the game controller is transmitted to the
以下、上述した図9のフローチャートにおける各処理について詳細に説明する。まず、本発明に係る車載コンピュータ11の無線LAN通信処理を、図10のフローチャートに基づいて説明する。車載コンピュータ11の無線LAN通信部14は、平時は、オペレーションマシン2からのシステム接続情報を受信するために待機している(S101)。
Hereafter, each process in the flowchart of FIG. 9 mentioned above is demonstrated in detail. First, the wireless LAN communication processing of the in-
そして、情報を受信すると、それがオペレーションマシン2からのシステム接続情報であるかどうかを確認し(S102)、オペレーションマシン2からのシステム接続情報であれば、認証コードが正常かどうかの確認をする(S103)。
When the information is received, it is confirmed whether it is system connection information from the operation machine 2 (S102). If it is system connection information from the
接続コードが正常であれば、送信元のオペレーションマシン2へ接続応答情報を送信してシステム状態を接続中へ切り替え(S104、S105)、内部時計13をシステム接続情報中のシステム時刻データに合わせる(S106)。
If the connection code is normal, connection response information is transmitted to the transmission
オペレーションマシン2からの受信情報がシステム接続情報ではない場合には(S102)、それが制御情報であれば(S107)、システム状態が接続中であるかどうかのチェックを行なう(S108)。システムが接続中であれば、モータ制御処理へ制御情報を受け渡し(S109)、内部時計調時処理を行なう(S110)。もし、制御情報の受信エラーが発生した場合には(S111)、システム状態を未接続に切り替える(S112)。
If the information received from the
システム情報を受信していないときには、逆に、オペレーションマシン2へ送信情報があるかどうかのチェックを行ない(S113)、送信情報があれば、システム状態が接続中であるかどうかを確認して(S114)、送信情報を送信する(S115)。 When the system information is not received, on the contrary, it is checked whether there is transmission information to the operation machine 2 (S113). If there is transmission information, it is confirmed whether the system state is connected ( S114), transmission information is transmitted (S115).
本発明に係る車載コンピュータ11の画像圧縮処理を、図11のフローチャートを参照して説明する。車載コンピュータ11は、平時、オペレーションマシン2とシステム上接続されているかどうかの判断をしており(S201)、接続されていれば、ビデオキャプチャーを開始する(S202)。 キャプチャーされた画像は圧縮され(S203)、内部時計13から生成されたタイムスタンプが付加されて画像情報が作成され(S204、S205)、無線LAN通信処理へ受け渡される(S206)。
The image compression processing of the in-
次いで、本発明に係る車載コンピュータ11のモータ制御処理及びセンサー入力処理を、図12のフローチャートを参照して説明する。モータ制御部15は、平時は、オペレーションマシン2からの制御情報の受信に備えて待機している(S301)。制御情報を受信すると、制御情報に含まれている駆動モータ値、サーボ位置の情報に従って、駆動モータ9、9a及びサーボ8を制御するように出力する(S302、S303)。
Next, the motor control process and sensor input process of the in-
モータ制御処理で制御された直後の車速、バッテリー電圧値をオペレーションマシン2へ送信するセンサー情報として利用するために、モータ制御処理で駆動モータ9、9a、サーボ8が制御されると、連動してセンサー入力処理が開始される(S304)。
In order to use the vehicle speed and battery voltage value immediately after being controlled in the motor control process as sensor information to be transmitted to the
センサー入力部16では、モータ制御部15のモータ制御処理による処理起動命令を受けると(S401)、車速センサー6から車速、バッテリー7からバッテリー電圧をそれぞれ取り込み(S402、S403)、それらを元にセンサー情報を作成し(S404)、オペレーションマシン2へセンサー情報を送信するために、無線LAN通信部14へセンサー情報を受け渡す(S405)。
When the
本発明に係る車載コンピュータ11の内部時計調時処理を、図13のフローチャートを参照して説明する。内部時計調時処理では、制御情報の送信時間、通信遅延時間から内部時計13とオペレーションマシン2のシステム時刻の時間差を割り出し、調時時間を算出する(S501〜S503)。調時時間は、時間差の20分の1とし、急激な変化を吸収する。この処理は、オペレーションマシン2がシステム接続されたときに行なわれる。
The internal clock adjustment process of the in-
算出された調時時間が1ms未満であれば内部時計13は再設定されないが、1ms以上であれば、内部時計13の時間に調時時間を加えて内部時計13を再設定する(S504、S505)。
If the calculated timing is less than 1 ms, the
オペレーションマシン2は、模型自動車1を遠隔操作するためのプログラムが記憶されたパーソナルコンピュータである。操作者は、オペレーションマシン2を操作して模型自動車1をリモートコントロールすることができる。
The
次に、本発明に係るオペレーションマシン2の処理について説明する。オペレーションマシン2で行なわれる処理は、図14に示すように、模型自動車1から送信されたデータに基づく処理と、操作者によるゲームコントローラ3からの入力に基づく処理に大別される。
Next, processing of the
模型自動車1から送信されたデータに基づく処理は、無線LAN通信処理で受信した画像情報を伸張する画像伸張処理と、画像伸張処理によって伸張された画像を、受信したセンサー情報に基づいてモニタに映し出すためのビデオ信号を生成する画像加工処理である。
The process based on the data transmitted from the
一方、操作者によるゲームコントローラ3からの入力に基づく処理は、操作入力処理として図示されているが、ここで処理された制御情報が、無線LAN通信処理によって模型自動車1へ送信される。
On the other hand, the process based on the input from the
本発明に係るオペレーションマシン2の無線LAN通信処理を、図15のフローチャートを参照して説明する。オペレーションマシン2の無線LAN通信処理では、平時、模型自動車1との接続が保たれているかどうかのチェックがなされる(S601)。
The wireless LAN communication process of the
模型自動車1との接続が保たれていない場合には、前回接続時に送信したシステム接続情報を送信してから指定時間経過したかどうかを判断して(S602)、指定時間経過している場合には、再度、システム接続情報を送信する(S603)。
When the connection with the
そして、模型自動車1からの接続応答情報が受信されれば(S604)、その応答コードから正常接続されたかどうかを判断して(S605)、正常に接続されていれば、システムの状態を接続中へ切り替える(S606)。 If connection response information is received from the model car 1 (S604), it is determined from the response code whether the connection is normal (S605). If the connection is normal, the system status is being connected. (S606).
模型自動車1との接続が保たれている場合には(S601)、常に、模型自動車1からの受信情報があるかどうかをチェックしている(S607)。模型自動車1からの受信情報が画像情報であれば(S608)、画像伸張処理プログラムへ画像情報が受け渡される(S609)。
When the connection with the
受信情報が画像情報でなく、センサー情報であれば(S610)、現在時刻と通信時刻とから通信遅延時間を算出し(S611)、画像加工処理へセンサー情報を受け渡し(S612)、通信監視タイマーをリセットする(S613)。 If the received information is not image information but sensor information (S610), a communication delay time is calculated from the current time and communication time (S611), the sensor information is transferred to the image processing (S612), and a communication monitoring timer is set. Reset (S613).
模型自動車1からの受信情報がないときには、逆に模型自動車への送信情報があるかどうかをチェックしており(S614)、送信情報があれば、送信情報を送信して(S615)、通信監視タイマーをリセットする(S616)。受信情報も送信情報もない状態が続き、通信監視時間がタイムアウトしてしまうと(S617)、システム状態が未接続に切り替わる(S618)。
When there is no reception information from the
本発明に係るオペレーションマシン2の画像伸張処理を、図16のフローチャートを参照して説明する。オペレーションマシン2の画像伸張処理では、平時、模型自動車1からの画像情報の受信に備えて待機している(S701)。そして、画像情報を受信すると、画像情報に含まれるタイムスタンプを格納し(S702)、画像データを伸張して、1フレーム分の画像を画像加工処理へ受け渡す(S703)。
The image expansion processing of the
続いて、本発明に係るオペレーションマシン2の画像加工処理を、図17のフローチャートを参照して説明する。オペレーションマシン2の画像加工処理では、システムに接続された状態で画像伸張処理された画像が更新されると(S801、S802)、まず、更新された画像に格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた時間、即ち、描画遅れ時間を算出する(S803)。描画遅れ時間が算出されると、その描画遅れ時間と車速から画像拡大率を算出し(S804)、描画遅れ時間と操舵位置から画像左右シフト量を算出する(S805)。
Next, image processing of the
そして、算出された画像拡大率、画像左右シフト量から描画エリアを指定し(S806)、ビデオメモリに転送される(S807)。一方、センサー情報内の車速データとバッテリー電圧データを元に、スピードメーター、バッテリー残量の上書き描画も行なわれる(S808)。 Then, a drawing area is designated from the calculated image enlargement ratio and image right / left shift amount (S806), and is transferred to the video memory (S807). On the other hand, based on the vehicle speed data and the battery voltage data in the sensor information, the speedometer and the remaining battery charge are overwritten (S808).
本発明に係るオペレーションマシン2の操作入力処理を、図18のフローチャートを参照して説明する。本実施形態におけるオペレーションマシン2では、システムの制御周期を50msとし、ゲームコントローラ3からの入力が50msの定周期で入力されているかどうかが監視される(S901)。そして、ゲームコントローラ3から50msの定周期で入力があると、そのステアリング値、アクセル・ブレーキペダル値を取り込む(S902)。そして、その取り込まれたステアリング値を操舵位置として、アクセル・ブレーキペダル値を駆動モータ値として変換し、これを模型自動車1へ送信するための制御値とする(S903)。
The operation input process of the
変換された制御値に変化がなく(S904)、前回制御情報を送信してから500ms以上送信履歴がなければ(S905)、現在の制御値から制御情報を作成し、無線LAN通信処理へ受け渡す(S906)。変換された制御値に変化があれば、新しい制御値から制御情報を作成し、無線LAN通信処理へ受け渡す(S906)。 If there is no change in the converted control value (S904) and there is no transmission history for 500 ms or more after the previous transmission of control information (S905), the control information is created from the current control value and transferred to the wireless LAN communication process. (S906). If there is a change in the converted control value, control information is created from the new control value and transferred to the wireless LAN communication process (S906).
本発明における通信データをまとめると、図19に示すとおりである。オペレーションマシン2をシステムに接続する際に送信されるシステム接続情報は、認証コードとシステム時刻とで構成される。ここで、認証コードとは、オペレーションマシン2がシステム接続を行なうためのコードであり、システム時刻とは、オペレーションマシン2の時刻であり、システム接続時に車載コンピュータ11の内部時計13を調時するために利用される。
The communication data in the present invention is summarized as shown in FIG. The system connection information transmitted when the
この発明をある程度詳細にその最も好ましい実施形態について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施形態を構成することができることは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施形態に制約されるものではない。 Although the present invention has been described in some detail with respect to its most preferred embodiments, it will be apparent that a wide variety of different embodiments can be constructed without departing from the spirit and scope of the invention, the invention being defined by the appended claims. It is not restricted to the specific embodiment other than limiting in.
1 模型自動車
2 オペレーションマシン
3 コントローラ
4 インターネット
5 カメラ
6 車速センサー
7 バッテリー
8 サーボ
9 駆動モータ
9a 駆動モータ
10 ギアボックス
10a ギアボックス
11 車載コンピュータ
12 ビデオキャプチャー部
13 内部時計
14 無線LAN通信部
15 モータ制御部
16 センサー入力部
DESCRIPTION OF
Claims (8)
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするゆらぎ補正による画像表示方法。 In an operation machine for displaying the received image on the monitor for enabling remote control of the traveling body while viewing a monitor display of an image from a camera of the traveling body such as a model car received via a network,
An image display method by fluctuation correction, wherein the received image is drawn on the monitor at a predetermined drawing timing interval, and the drawn image is a predicted image obtained by delaying the received image.
前記オペレーションマシンは、
前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、
前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、
前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、
コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、
前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、
前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、
前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、
前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、
前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、
受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、
とを備えることを特徴とする模型自動車等用リモートコントロールシステム。 A remote control system for a model car or the like provided with an operation machine for remotely controlling the running body based on image information from a running body such as a model car,
The operation machine is
Image drawing information receiving means for receiving image information and sensor information from the vehicle-mounted camera of the traveling body;
Image expansion means for expanding image data in the received image drawing information;
Image processing means for processing the expanded image data based on the received sensor information;
Operation input means for converting the operation input value input by the controller into control information for the traveling body;
Control information transmitting means for transmitting control information generated by the operation input means to the traveling body,
The traveling body is
Image compression means for adding the time of an internal clock to the image of the in-vehicle camera as a time stamp and compressing the image as image information to be transmitted to the operation machine;
A sensor take-in means for taking in the vehicle speed from the vehicle speed sensor and the battery voltage value from the battery as sensor information to be transmitted to the operation machine;
Image drawing information transmitting means for transmitting the image information and the sensor information as image drawing information to the operation machine;
Control information receiving means for receiving the control information from the operation machine;
Control processing means for controlling the servo and the motor based on the received control information;
A remote control system for a model car or the like characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005096938A JP2006279648A (en) | 2005-03-30 | 2005-03-30 | Image display method based on fluctuation correction and remote control system for automobile model or the like using the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005096938A JP2006279648A (en) | 2005-03-30 | 2005-03-30 | Image display method based on fluctuation correction and remote control system for automobile model or the like using the method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006279648A true JP2006279648A (en) | 2006-10-12 |
Family
ID=37213897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005096938A Pending JP2006279648A (en) | 2005-03-30 | 2005-03-30 | Image display method based on fluctuation correction and remote control system for automobile model or the like using the method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006279648A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009000158A (en) * | 2007-06-19 | 2009-01-08 | Konami Digital Entertainment:Kk | Traveling toy system |
JP2010262477A (en) * | 2009-05-07 | 2010-11-18 | Ihi Corp | Remote control system |
US8421797B2 (en) | 2008-11-28 | 2013-04-16 | Yamaha Hatsudoki Kabushiki Kaisha | Remote control system and remote control apparatus |
WO2015060393A1 (en) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | Remote action guidance system and processing method therefor |
WO2019065809A1 (en) * | 2017-09-29 | 2019-04-04 | 株式会社小松製作所 | Display control device and display control method |
-
2005
- 2005-03-30 JP JP2005096938A patent/JP2006279648A/en active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009000158A (en) * | 2007-06-19 | 2009-01-08 | Konami Digital Entertainment:Kk | Traveling toy system |
US8257133B2 (en) | 2007-06-19 | 2012-09-04 | Konami Digital Entertainment Co., Ltd. | Travelling toy system |
US8421797B2 (en) | 2008-11-28 | 2013-04-16 | Yamaha Hatsudoki Kabushiki Kaisha | Remote control system and remote control apparatus |
JP2010262477A (en) * | 2009-05-07 | 2010-11-18 | Ihi Corp | Remote control system |
WO2015060393A1 (en) * | 2013-10-25 | 2015-04-30 | 独立行政法人産業技術総合研究所 | Remote action guidance system and processing method therefor |
US9538131B2 (en) | 2013-10-25 | 2017-01-03 | National Institute Of Advanced Industrial Science And Technology | Remote behavior navigation system and processing method thereof |
JPWO2015060393A1 (en) * | 2013-10-25 | 2017-03-09 | 国立研究開発法人産業技術総合研究所 | Remote action guidance system and processing method thereof |
WO2019065809A1 (en) * | 2017-09-29 | 2019-04-04 | 株式会社小松製作所 | Display control device and display control method |
JP2019068254A (en) * | 2017-09-29 | 2019-04-25 | 株式会社小松製作所 | Display controller and display control method |
AU2018338861B2 (en) * | 2017-09-29 | 2021-06-10 | Komatsu Ltd. | Display control device and display control method |
AU2018338861B9 (en) * | 2017-09-29 | 2021-06-17 | Komatsu Ltd. | Display control device and display control method |
US11537144B2 (en) | 2017-09-29 | 2022-12-27 | Komatsu Ltd. | Display control device and display control method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7668626B2 (en) | Image displaying method with fluctuation correction and remote control system for moving unit using the method | |
JP4716815B2 (en) | Inter-vehicle communication device, inter-vehicle communication system, and moving image information application applicability determination method | |
US8558924B2 (en) | Camera platform system and imaging system | |
US8498770B2 (en) | Vehicle parking assist system and method | |
CN109689458B (en) | Parking assistance method and device | |
JP2007325166A (en) | Parking support program, parking supporting apparatus, and parking supporting screen | |
CN102450007A (en) | Image processing apparatus, electronic apparatus, and image processing method | |
JP6642306B2 (en) | Perimeter monitoring device | |
WO2017002708A1 (en) | Image display control device | |
JP2002367080A (en) | Method and device for visual support for vehicle | |
KR101957621B1 (en) | Steering system for automatic driving of vehicles | |
JP2008252307A (en) | Image display system | |
JP2008207627A (en) | In-vehicle imaging system, imaging device, and display control device | |
JP2006279648A (en) | Image display method based on fluctuation correction and remote control system for automobile model or the like using the method | |
JP5140889B2 (en) | Image display method by fluctuation correction and moving object remote control system using the method | |
JP2011175507A (en) | Parking support system | |
JP2008174078A (en) | Device and method for controlling in-vehicle camera | |
JP2002293271A (en) | Accident information storing system for vehicle | |
US20220317685A1 (en) | Remote driving system, remote driving device, and traveling video display method | |
JP2012138875A (en) | Image processing device, image display system, and image processing method | |
JP6327144B2 (en) | Image processing system and image processing apparatus | |
JP6304391B2 (en) | Image display system for vehicles | |
JP4225131B2 (en) | Magnetic field correction data generation device | |
WO2023210288A1 (en) | Information processing device, information processing method, and information processing system | |
JP2009065472A (en) | Device, method, and program for photographing running image |