JP5356343B2

JP5356343B2 - Crawl device and method

Info

Publication number: JP5356343B2
Application number: JP2010210987A
Authority: JP
Inventors: 一正鈴木
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2010-09-21
Filing date: 2010-09-21
Publication date: 2013-12-04
Anticipated expiration: 2030-09-21
Also published as: JP2012068734A

Description

本発明は、クロール装置及びその方法に関する。 The present invention relates to a crawl apparatus and a method thereof.

Ｗｅｂサイト等を検索する検索システムには、インターネット上のＷｅｂサイトの情報を取得するクローラが設けられている。このクローラは、インターネット上のＷｅｂサーバが提供するＷｅｂサイトを巡回して、このＷｅｂサイトの情報を取得する。 2. Description of the Related Art A search system that searches websites and the like is provided with a crawler that acquires information on websites on the Internet. This crawler visits a Web site provided by a Web server on the Internet and acquires information on this Web site.

ところで、Ｗｅｂサイトの中には、高頻度で情報が更新されたり、膨大な情報を提供したりするものがある。このようなＷｅｂサイトから情報を定期的に取得するため、クローラは、このようなＷｅｂサイトに対して、頻繁にアクセス（例えば、１秒間隔でアクセス）する場合がある。 Some Web sites frequently update information or provide a large amount of information. In order to periodically acquire information from such a website, the crawler may frequently access such website (for example, access at intervals of 1 second).

クローラが、このようなＷｅｂサイトを提供するＷｅｂサーバに頻繁にアクセスすると、このＷｅｂサーバに負荷がかかり、Ｗｅｂサーバの性能によっては、サービスに支障をきたす場合がある。そこで、Ｗｅｂサイトの更新頻度に応じて、Ｗｅｂサーバへの接続のスケジューリングを行う方法が提案されている（例えば、特許文献１参照）。特許文献１に記載の方法は、Ｗｅｂサイトの更新状況に基づいて、このＷｅｂサイトを提供するＷｅｂサーバに対してクローラがアクセスする時間を算出するとともに、クローラのアクセス間隔を算出する。続いて、特許文献１に記載の方法は、アクセス間隔に基づいて、Ｗｅｂサーバへの負荷指標を計算し、この負荷指標が所定値以下となるようにアクセス間隔を調整する。 If the crawler frequently accesses a Web server that provides such a Web site, a load is applied to the Web server, and depending on the performance of the Web server, the service may be hindered. Therefore, a method for scheduling connection to a Web server according to the update frequency of the Web site has been proposed (see, for example, Patent Document 1). The method described in Patent Document 1 calculates the time for the crawler to access the Web server that provides the Web site and the access interval of the crawler based on the update status of the Web site. Subsequently, the method described in Patent Document 1 calculates a load index to the Web server based on the access interval, and adjusts the access interval so that the load index is a predetermined value or less.

特開２００８−１８６１５７号公報JP 2008-186157 A

しかしながら、特許文献１に記載の方法では、Ｗｅｂサーバへのクローラのアクセス時間をＷｅｂサイトの更新状況に基づいて決定し、更に、クローラのアクセス間隔からＷｅｂサーバへの負荷指標を計算し、アクセス間隔を調整するので、結果として、Ｗｅｂサイトの更新状況に基づいて負荷指標が計算され、アクセス間隔を調整することになる。つまり、特許文献１に記載の方法は、更新状況に基づいてアクセス間隔を調整しているに過ぎずＷｅｂサーバの実際のステータスを考慮していないため、実際にサーバが休止している場合や、レスポンスが低下している場合の調整方法についてはなんら開示されていない。従って、過度のアクセスが集中することによってＷｅｂサーバのレスポンスが遅くなっている場合でも、クローラがＷｅｂサーバに過度な負担となるアクセスを繰り返してしまう。また、Ｗｅｂサーバにトラブルが発生している場合であっても、クローラがアクセスを繰り返してしまうおそれもある。 However, in the method described in Patent Document 1, the crawler access time to the web server is determined based on the update status of the website, and a load index to the web server is calculated from the crawler access interval, and the access interval is calculated. As a result, the load index is calculated based on the update status of the website, and the access interval is adjusted. In other words, since the method described in Patent Document 1 only adjusts the access interval based on the update status and does not consider the actual status of the Web server, No adjustment method is disclosed when the response is low. Therefore, even when the response of the Web server is slowed down due to the concentration of excessive access, the crawler repeats access that places an excessive burden on the Web server. In addition, even when a problem occurs in the Web server, the crawler may repeatedly access.

そこで、本発明は、アクセスするＷｅｂサーバの状態を把握して、当該Ｗｅｂサーバへのアクセス間隔を動的に調整することができるクロール装置及びその方法を提供することを目的とする。 Therefore, an object of the present invention is to provide a crawl apparatus and method capable of grasping the state of a web server to be accessed and dynamically adjusting an access interval to the web server.

（１）アクセス対象のＷｅｂサーバに対するアクセス間隔を動的に制御するクロール装置であって、前記Ｗｅｂサーバに対するアクセスにより発生した、前記Ｗｅｂサーバからのレスポンス状況を示すレスポンス情報を記憶するレスポンス情報記憶手段と、所定のアクセス間隔で前記Ｗｅｂサーバにアクセスしたことに応じて、当該Ｗｅｂサーバからのレスポンス状況を取得し、当該レスポンス状況を示すレスポンス情報を前記レスポンス情報記憶手段に記憶させるレスポンス情報取得手段と、前記レスポンス情報記憶手段から前記Ｗｅｂサーバの所定期間のレスポンス情報を取得して、当該レスポンス情報に基づいて前記Ｗｅｂサーバの状態を分析する状態分析手段と、前記状態分析手段による分析結果に基づいて前記Ｗｅｂサーバの状態を推定する状態推定手段と、前記状態推定手段により推定された前記Ｗｅｂサーバの状態情報に基づいて、当該Ｗｅｂサーバへのアクセス間隔を決定するアクセス間隔決定手段と、を備えるクロール装置。 (1) A crawl device that dynamically controls an access interval with respect to an access target Web server, and stores response information indicating response status from the Web server generated by access to the Web server. Response information acquisition means for acquiring a response status from the Web server in response to accessing the Web server at a predetermined access interval and storing response information indicating the response status in the response information storage means; , Acquiring response information of the Web server for a predetermined period from the response information storage unit, and analyzing a state of the Web server based on the response information, and based on an analysis result by the state analysis unit Status of the web server A state estimation means for estimating, based on the Web server state information estimated by the state estimation unit, crawling device and an access interval determining means for determining an access distance to the Web server.

（１）のクロール装置は、Ｗｅｂサーバから取得した所定期間のレスポンス状況を示すレスポンス情報に基づいて、Ｗｅｂサーバの状態を推定し、当該Ｗｅｂサーバの状態に基づいて、アクセス間隔を決定する。よって、このクロール装置は、アクセスするＷｅｂサーバの状態を把握して、当該Ｗｅｂサーバへのアクセス間隔を調整することができるので、Ｗｅｂサーバの状態を把握すること自体が負担とならずに、かつその時点でＷｅｂサーバの状態に適合したアクセス間隔に、動的に調整を行うことができる。ここで、アクセスとは、Ｗｅｂサーバが管理するＷｅｂページの情報を取得するために、当該ＷｅｂサーバにＷｅｂページ送信要求を行うこと及び当該Ｗｅｂページ送信要求に基づく、ＷｅｂサーバからのＷｅｂページの情報の受信を行うことをいう。 The crawl device of (1) estimates the state of the Web server based on the response information indicating the response status of the predetermined period acquired from the Web server, and determines the access interval based on the state of the Web server. Therefore, the crawl device can grasp the state of the web server to be accessed and adjust the access interval to the web server, so that grasping the state of the web server itself is not a burden, and At that time, the access interval adapted to the state of the Web server can be dynamically adjusted. Here, “access” refers to making a web page transmission request to the web server in order to acquire information on the web page managed by the web server, and information on the web page from the web server based on the web page transmission request. It means to receive.

（２）前記Ｗｅｂサーバの状態情報を記憶する状態情報記憶手段を更に備え、前記状態推定手段は、前記状態分析手段による分析結果に基づいて前記Ｗｅｂサーバの状態を推定し、当該Ｗｅｂサーバの状態情報を前記状態情報記憶手段に記憶させ、前記アクセス間隔決定手段は、前記状態情報記憶手段に記憶された前記Ｗｅｂサーバの状態情報に基づいて、当該Ｗｅｂサーバへのアクセス間隔を決定する（１）に記載のクロール装置。 (2) It further includes state information storage means for storing state information of the Web server, wherein the state estimation means estimates the state of the Web server based on an analysis result by the state analysis means, and the state of the Web server Information is stored in the status information storage means, and the access interval determination means determines an access interval to the Web server based on the status information of the Web server stored in the status information storage means (1) The crawl device described in 1.

（２）のクロール装置は、状態情報記憶手段にＷｅｂサーバの状態情報を記憶させておくので、状態情報記憶手段に記憶された、Ｗｅｂサーバの過去の状態情報を考慮して、Ｗｅｂサーバの現在の状態を推定することができ、より適切なＷｅｂサーバの状態に基づいて当該Ｗｅｂサーバへのアクセス間隔を動的に調整することができる。 Since the crawl device of (2) stores the status information of the Web server in the status information storage means, the current status of the Web server is considered in consideration of the past status information of the Web server stored in the status information storage means. The access interval to the Web server can be dynamically adjusted based on a more appropriate Web server state.

（３）Ｗｅｂサーバに対するアクセスにより発生した、当該Ｗｅｂサーバからのレスポンス状況を示すレスポンス情報を記憶するレスポンス情報記憶手段を備えるクロール装置がアクセス対象のＷｅｂサーバに対するアクセス間隔を動的に制御する方法であって、所定のアクセス間隔で前記Ｗｅｂサーバにアクセスしたことに応じて、当該Ｗｅｂサーバからのレスポンス状況を取得し、当該レスレスポンス状況を示すレスポンス情報を前記レスポンス情報記憶手段に記憶させるレスポンス情報ステップと、前記レスポンス情報記憶手段から前記Ｗｅｂサーバの所定期間のレスポンス情報を取得して、当該レスポンス情報に基づいて前記Ｗｅｂサーバの状態を分析する状態分析ステップと、前記状態分析ステップにおける分析結果に基づいて前記Ｗｅｂサーバの状態を推定する状態推定ステップと、前記状態推定ステップにより推定された前記Ｗｅｂサーバの状態情報に基づいて、当該Ｗｅｂサーバへのアクセス間隔を決定するアクセス間隔決定ステップと、を含む方法。 (3) A method in which a crawl device including response information storage means for storing response information indicating response status from the Web server generated by access to the Web server dynamically controls an access interval to the Web server to be accessed. A response information step of acquiring a response status from the Web server in response to accessing the Web server at a predetermined access interval and storing response information indicating the responseless response status in the response information storage means A response analyzing unit that acquires response information of the Web server for a predetermined period from the response information storage unit, analyzes the state of the Web server based on the response information, and based on an analysis result in the state analysis step Before The method comprising state estimating step of estimating the state of the Web server, based on the state information of the Web server that is estimated by the state estimation step, an access interval determination step of determining an access distance to the Web server, the.

（３）の方法によれば、（１）のクロール装置と同様の効果を奏する。 According to the method (3), the same effects as the crawl device (1) are obtained.

本発明によれば、アクセスするＷｅｂサーバの状態を把握して、当該Ｗｅｂサーバへのアクセス間隔を動的に調整することができるクロール装置及びその方法を提供することができる。 According to the present invention, it is possible to provide a crawl device and a method thereof capable of grasping the state of a web server to be accessed and dynamically adjusting an access interval to the web server.

本実施形態に係るクロール装置の機能概要を示す図である。It is a figure which shows the function outline | summary of the crawl apparatus which concerns on this embodiment. 本実施形態に係るレスポンスＤＢを示す図である。It is a figure which shows response DB which concerns on this embodiment. 本実施形態に係る状態ＤＢを示す図である。It is a figure which shows state DB which concerns on this embodiment. 本実施形態に係るクロール装置の制御部における処理を示すフローチャートである。It is a flowchart which shows the process in the control part of the crawl apparatus which concerns on this embodiment. 本実施形態に係るクロール装置の制御部における、Ｗｅｂサーバの状態を推定する処理を示すフローチャートである。It is a flowchart which shows the process which estimates the state of a web server in the control part of the crawl apparatus which concerns on this embodiment.

以下、本発明の実施形態について図を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

［機能構成］
図１は、本実施形態に係るクロール装置１の機能概要を示す図である。クロール装置１は、通信ネットワークＮを介して、複数のＷｅｂサーバ２に接続可能であり、アクセス対象のＷｅｂサーバ２に対するアクセス間隔を動的に制御するサーバである。 [Function configuration]
FIG. 1 is a diagram showing an outline of functions of the crawl device 1 according to the present embodiment. The crawl device 1 is a server that can be connected to a plurality of Web servers 2 via the communication network N and dynamically controls an access interval with respect to the Web server 2 to be accessed.

本実施形態は、コンピュータ（クロール装置１）及びその周辺装置に適用される。本実施形態における各部は、コンピュータ及びその周辺装置が備えるハードウェア並びにこのハードウェアを制御するソフトウェアによって構成される。 This embodiment is applied to a computer (crawl device 1) and its peripheral devices. Each unit in the present embodiment is configured by hardware included in a computer and its peripheral devices, and software that controls the hardware.

上記ハードウェアには、制御部１０としてのＣＰＵの他、記憶部２０、通信部、表示部及び入力部が含まれる。記憶部２０としては、例えば、メモリ（ＲＡＭ、ＲＯＭ等）、ハードディスクドライブ（ＨＤＤ）及び光ディスク（ＣＤ、ＤＶＤ等）ドライブが挙げられる。通信部としては、例えば、各種有線及び無線インターフェース装置が挙げられる。表示部としては、例えば、液晶ディスプレイ、プラズマディスプレイ等の各種ディスプレイが挙げられる。入力部としては、例えば、キーボード及びポインティング・デバイス（マウス、トラッキングボール等）が挙げられる。 In addition to the CPU as the control unit 10, the hardware includes a storage unit 20, a communication unit, a display unit, and an input unit. Examples of the storage unit 20 include a memory (RAM, ROM, etc.), a hard disk drive (HDD), and an optical disk (CD, DVD, etc.) drive. Examples of the communication unit include various wired and wireless interface devices. Examples of the display unit include various displays such as a liquid crystal display and a plasma display. Examples of the input unit include a keyboard and a pointing device (mouse, tracking ball, etc.).

上記ソフトウェアには、上記ハードウェアを制御するコンピュータ・プログラムやデータが含まれる。コンピュータ・プログラムやデータは、記憶部２０により記憶され、制御部１０により適宜実行、参照される。また、コンピュータ・プログラムやデータは、通信ネットワークＮを介して配布することも可能であり、ＣＤ−ＲＯＭ等のコンピュータ可読媒体に記録して配布することも可能である。 The software includes a computer program and data for controlling the hardware. The computer program and data are stored in the storage unit 20 and appropriately executed and referenced by the control unit 10. Further, the computer program and data can be distributed via the communication network N, and can also be recorded and distributed on a computer-readable medium such as a CD-ROM.

クロール装置１の制御部１０は、アクセス部１１（レスポンス情報取得手段）と、レスポンス情報取得部１２（レスポンス情報取得手段）と、状態分析部１３（状態分析手段）と、状態推定部１４（状態推定手段）と、アクセス間隔決定部１５（アクセス間隔決定手段）と、を備える。また、クロール装置１の記憶部２０は、レスポンスデータベース（以下、データベースをＤＢという）２１（レスポンス情報記憶手段）と、状態ＤＢ２２（状態情報記憶手段）と、コンテンツＤＢ２３と、を備える。 The control unit 10 of the crawl device 1 includes an access unit 11 (response information acquisition unit), a response information acquisition unit 12 (response information acquisition unit), a state analysis unit 13 (state analysis unit), and a state estimation unit 14 (state Estimation means) and an access interval determination unit 15 (access interval determination means). The storage unit 20 of the crawl device 1 includes a response database (hereinafter, the database is referred to as DB) 21 (response information storage unit), a state DB 22 (state information storage unit), and a content DB 23.

アクセス部１１は、アクセス間隔決定部１５により決定され後述の状態ＤＢ２２に記憶されたアクセス間隔にしたがって、Ｗｅｂサーバ２に所定のアクセス間隔でアクセス（クロール）を行う。より具体的には、アクセス部１１は、Ｗｅｂサーバ２に対してＷｅｂページの情報の取得要求を行い、Ｗｅｂサーバ２からＷｅｂページの情報を受信する。アクセス部１１は、この受信したＷｅｂページの情報を、Ｗｅｂページの情報を管理するコンテンツＤＢ２３に記憶させる。 The access unit 11 accesses (crawls) the Web server 2 at a predetermined access interval according to the access interval determined by the access interval determining unit 15 and stored in a state DB 22 described later. More specifically, the access unit 11 sends a Web page information acquisition request to the Web server 2 and receives Web page information from the Web server 2. The access unit 11 stores the received Web page information in the content DB 23 that manages the Web page information.

具体的には、アクセス部１１は、状態ＤＢ２２（後述の図３参照）を参照して、Ｗｅｂサーバ２へのアクセス間隔を取得し、このアクセス間隔に基づいて、Ｗｅｂサーバ２に対してＷｅｂページの取得要求情報をｈｔｔｐ（ｈｙｐｅｒｔｅｘｔｔｒａｎｓｆｅｒｐｒｏｔｏｃｏｌ）プロトコルで送信する。続いて、アクセス部１１は、その応答としてＷｅｂサーバ２からＷｅｂページの情報を受信し、このＷｅｂページの情報をコンテンツＤＢ２３に記憶させる。このＷｅｂページの情報には、ｈｔｔｐヘッダ情報が含まれる。また、このｈｔｔｐヘッダ情報には、Ｗｅｂサーバ２がＷｅｂページの取得要求情報を受信した時点における、Ｗｅｂサーバ２の状況を示すｈｔｔｐステータスコードが含まれている。 Specifically, the access unit 11 refers to the state DB 22 (see FIG. 3 to be described later), acquires an access interval to the Web server 2, and based on the access interval, sends a Web page to the Web server 2. The acquisition request information is transmitted using the http (hypertext transfer protocol) protocol. Subsequently, the access unit 11 receives Web page information from the Web server 2 as a response, and stores this Web page information in the content DB 23. This Web page information includes http header information. The http header information also includes an http status code indicating the status of the Web server 2 at the time when the Web server 2 receives the Web page acquisition request information.

レスポンス情報取得部１２は、Ｗｅｂページの情報を受信する際に、Ｗｅｂサーバ２からレスポンス状況を示すレスポンス情報を取得して、当該レスポンス情報をレスポンスＤＢ２１に記憶させる。 When receiving the information on the Web page, the response information acquisition unit 12 acquires response information indicating the response status from the Web server 2 and stores the response information in the response DB 21.

具体的には、レスポンス情報取得部１２は、アクセスしたＷｅｂサーバ２のアドレスと、アクセスした時刻と、取得要求情報を送信してからｈｔｔｐヘッダ情報を受信するまでの時間を示すレスポンスタイムと、ｈｔｔｐステータスコードと、をレスポンス情報として、レスポンスＤＢ２１に記憶させる。
また、レスポンス情報取得部１２は、Ｗｅｂサーバ２から所定時間応答がなかった場合、ｈｔｔｐステータスコードを、タイムアウトに対応するコードに設定して、レスポンス情報を、レスポンスＤＢ２１に記憶させる。 Specifically, the response information acquisition unit 12 includes the address of the accessed Web server 2, the access time, the response time indicating the time from when the acquisition request information is transmitted until the http header information is received, and http The status code is stored in the response DB 21 as response information.
In addition, when there is no response from the Web server 2 for a predetermined time, the response information acquisition unit 12 sets the http status code to a code corresponding to the timeout, and stores the response information in the response DB 21.

図２は、本実施形態に係るレスポンスＤＢ２１を示す図である。レスポンスＤＢ２１は、レスポンス状況を示すレスポンス情報を記憶する。レスポンスＤＢ２１は、アクセスしたＷｅｂサーバ２のアドレスと、アクセスした時刻と、レスポンスタイムと、ｈｔｔｐステータスコードと、を関連付けて、レスポンス情報として記憶する。 FIG. 2 is a diagram showing the response DB 21 according to the present embodiment. The response DB 21 stores response information indicating the response status. The response DB 21 stores the address of the accessed Web server 2, the time of access, the response time, and the http status code as response information in association with each other.

状態分析部１３は、所定のタイミングでレスポンスＤＢ２１からＷｅｂサーバ２の所定期間のレスポンス情報を取得して、Ｗｅｂサーバ２の状態を分析する。 The state analysis unit 13 acquires response information of the Web server 2 for a predetermined period from the response DB 21 at a predetermined timing, and analyzes the state of the Web server 2.

具体的には、状態分析部１３は、所定のタイミングでレスポンスＤＢ２１から、所定期間（例えば、最新の１０分間）のレスポンス情報を取得して、所定のＷｅｂサーバ２における、単位時間あたりのアクセス回数、エラー発生率、最もエラーが連続した回数、トラブルの発生時から起算した場合の正常処理の連続した回数を分析する。
例えば、状態分析部１３は、レスポンス情報に含まれるｈｔｔｐステータスコードが５００番台である場合、Ｗｅｂサーバ２がエラーであると分析する。 Specifically, the state analysis unit 13 acquires response information for a predetermined period (for example, the latest 10 minutes) from the response DB 21 at a predetermined timing, and the number of accesses per unit time in the predetermined Web server 2 Analyze the error occurrence rate, the number of consecutive errors, and the number of consecutive normal processes when the trouble occurs.
For example, when the http status code included in the response information is in the 500s, the state analysis unit 13 analyzes that the Web server 2 has an error.

なお、当該所定のタイミングは状況に応じて適宜設定してよい。当該所定のタイミングを短くすると、Ｗｅｂサーバ２の状況の変化に対してより迅速に対応することができる。一方当該所定のタイミングを長くすると、当該分析処理に係るシステム負荷を抑制することができる。また、当該所定のタイミングを上述の所定期間より短い間隔に設定することにより、レスポンスＤＢ２１に記憶されたレスポンス情報をもれなく分析の対象とすることができ、好適である。 The predetermined timing may be appropriately set according to the situation. If the predetermined timing is shortened, it is possible to respond more quickly to changes in the status of the Web server 2. On the other hand, when the predetermined timing is lengthened, the system load related to the analysis process can be suppressed. In addition, it is preferable that the predetermined timing is set to an interval shorter than the above-described predetermined period, so that all the response information stored in the response DB 21 can be analyzed.

状態推定部１４は、状態分析部１３による分析結果及び状態ＤＢ２２から読み出した推定されたＷｅｂサーバ２の状態情報に基づいて、直近のＷｅｂサーバ２の状態を推定し、推定されたＷｅｂサーバ２の状態を示す状態情報を状態ＤＢ２２に記憶させる。 The state estimation unit 14 estimates the state of the latest Web server 2 based on the analysis result of the state analysis unit 13 and the estimated state information of the Web server 2 read from the state DB 22, and the estimated state of the Web server 2 State information indicating the state is stored in the state DB 22.

図３は、本実施形態に係る状態ＤＢ２２を示す図である。状態ＤＢ２２は、Ｗｅｂサーバ２の状態を示す状態情報及びアクセス間隔を記憶する。具体的には、状態ＤＢ２２は、Ｗｅｂサーバ２のアドレスと、このＷｅｂサーバ２の状態情報と、このＷｅｂサーバ２に対するレスポンス情報取得部１２によるアクセス間隔と、を関連付けて記憶する。 FIG. 3 is a diagram showing the state DB 22 according to the present embodiment. The status DB 22 stores status information indicating the status of the Web server 2 and access intervals. Specifically, the status DB 22 stores the address of the Web server 2, the status information of the Web server 2, and the access interval by the response information acquisition unit 12 for the Web server 2 in association with each other.

なお、本実施形態では、Ｗｅｂサーバ２の状態を、不明状態、正常状態、トラブル状態、復旧状態及び不安定状態の５つの状態に分類しており、状態推定部１４は、状態分析部１３による分析に基づいて、Ｗｅｂサーバ２の状態を以下のように推定し、推定されたＷｅｂサーバ２の状態を状態情報として、状態ＤＢ２２に記憶させる。 In the present embodiment, the state of the Web server 2 is classified into five states of an unknown state, a normal state, a trouble state, a recovery state, and an unstable state, and the state estimation unit 14 is determined by the state analysis unit 13. Based on the analysis, the state of the Web server 2 is estimated as follows, and the estimated state of the Web server 2 is stored in the state DB 22 as state information.

すなわち、状態推定部１４は、初めてアクセスするＷｅｂサーバ２や、前回アクセスから１日以上経過している場合、当該Ｗｅｂサーバ２のステータスを不明状態と推定する。 That is, the state estimation unit 14 estimates the status of the Web server 2 to be accessed for the first time or the status of the Web server 2 as an unknown state when one or more days have passed since the previous access.

また、状態推定部１４は、所定期間（例えば、最新の１０分間）に１０回以上のアクセスがある場合に、１０分間に所定期間におけるエラー発生率が所定値（例えば、１０％）未満のときには、Ｗｅｂサーバ２の状態を正常状態と推定する。また、状態推定部１４は、１０分に１０回以上のアクセスがない場合に、最新１０回のアクセスにおけるエラー発生率が所定値（例えば、１０％）未満のときには、Ｗｅｂサーバ２のステータスを正常状態と推定する。 In addition, the state estimation unit 14 determines that the error occurrence rate in the predetermined period is less than a predetermined value (for example, 10%) in 10 minutes when there are 10 or more accesses in a predetermined period (for example, the latest 10 minutes). The state of the Web server 2 is estimated as a normal state. In addition, when there is no access 10 times or more in 10 minutes and the error occurrence rate in the latest 10 accesses is less than a predetermined value (for example, 10%), the state estimation unit 14 sets the status of the Web server 2 to normal. Estimated state.

また、状態推定部１４は、最もエラーが連続した回数が第１の所定回数（例えば、５回）以上の場合、Ｗｅｂサーバ２の状態をトラブル状態と推定する。
また、状態推定部１４は、トラブルの発生時から正常処理の連続した回数が第２の所定回数（例えば、２回）以上である場合、Ｗｅｂサーバ２の状態を復旧状態と推定する。 Moreover, the state estimation part 14 estimates the state of the web server 2 as a trouble state, when the frequency | count that the error continued most is more than the 1st predetermined number (for example, 5 times).
In addition, the state estimation unit 14 estimates the state of the Web server 2 as the recovery state when the number of continuous normal processes after the occurrence of the trouble is equal to or greater than a second predetermined number (for example, twice).

また、状態推定部１４は、所定期間内に所定回数（例えば、１０回）以上のアクセスがある場合に、所定期間内にＷｅｂサーバ２におけるエラー発生率が所定値（例えば、１０％）以上のときには、Ｗｅｂサーバ２の状態を不安定状態と推定する。また、状態推定部１４は、所定期間内に所定回数以上のアクセスがない場合に、最新の所定回数のアクセスにおけるエラー発生率が所定値（例えば、１０％）以上のときには、Ｗｅｂサーバ２の状態を不安定状態と推定する。 In addition, the state estimation unit 14 determines that the error occurrence rate in the Web server 2 is equal to or greater than a predetermined value (for example, 10%) within the predetermined period when there is a predetermined number of accesses (for example, 10) or more within a predetermined period. Sometimes, the state of the Web server 2 is estimated as an unstable state. In addition, the state estimation unit 14 determines the state of the Web server 2 when the error occurrence rate in the latest predetermined number of accesses is a predetermined value (for example, 10%) or more when there is no predetermined number of accesses within a predetermined period. Is estimated to be unstable.

アクセス間隔決定部１５は、状態ＤＢ２２に記憶されたＷｅｂサーバ２の状態に基づいて、Ｗｅｂサーバ２へのアクセス間隔を決定する。
具体的には、アクセス間隔決定部１５は、Ｗｅｂサーバ２の状態が正常状態である場合、当該Ｗｅｂサーバ２の所定期間（例えば、最新の１０分間）におけるレスポンスタイムを昇順に並び替え、レスポンスタイムが小さいものを所定の割合（例えば、９０％）だけ抽出し、抽出されたレスポンスタイムの平均時間を算出する。続いて、アクセス間隔決定部１５は、この平均時間に所定数（例えば、１０倍）乗算して得られた値（時間）を、正常状態のＷｅｂサーバ２のアクセス間隔とする。なお、アクセス間隔決定部１５は、乗算して得られた値が第１の時間（例えば１秒）に満たない場合、アクセス間隔を、第１の時間にする。 The access interval determination unit 15 determines an access interval to the Web server 2 based on the state of the Web server 2 stored in the state DB 22.
Specifically, when the state of the Web server 2 is normal, the access interval determination unit 15 rearranges the response times of the Web server 2 in a predetermined period (for example, the latest 10 minutes) in ascending order, Are extracted by a predetermined ratio (for example, 90%), and the average response time is calculated. Subsequently, the access interval determination unit 15 sets a value (time) obtained by multiplying the average time by a predetermined number (for example, 10 times) as the access interval of the Web server 2 in the normal state. The access interval determination unit 15 sets the access interval to the first time when the value obtained by multiplication is less than the first time (for example, 1 second).

また、アクセス間隔決定部１５は、Ｗｅｂサーバ２の状態が復旧状態である場合、このＷｅｂサーバ２のアクセス間隔を、正常状態におけるアクセス間隔に比べて大きい第２の時間（例えば、１分）とする。 In addition, when the state of the Web server 2 is in the recovery state, the access interval determination unit 15 sets the access interval of the Web server 2 to a second time (for example, 1 minute) that is larger than the access interval in the normal state. To do.

また、アクセス間隔決定部１５は、Ｗｅｂサーバ２の状態が不明状態である場合、このＷｅｂサーバ２へのアクセス間隔を、正常状態におけるアクセス間隔に比べて大きい第３の時間（例えば、１分）とする。 In addition, when the state of the Web server 2 is in an unknown state, the access interval determination unit 15 sets the access interval to the Web server 2 to a third time (for example, 1 minute) that is larger than the access interval in the normal state. And

また、アクセス間隔決定部１５は、Ｗｅｂサーバ２の状態が不安定状態である場合、このＷｅｂサーバ２へのアクセス間隔を、復旧状態におけるアクセス間隔（第２の時間）に比べて大きい第４の時間（例えば、１０分）とする。 In addition, when the state of the Web server 2 is unstable, the access interval determination unit 15 sets the access interval to the Web server 2 to be larger than the access interval (second time) in the recovery state. Time (for example, 10 minutes).

また、アクセス間隔決定部１５は、Ｗｅｂサーバ２の状態がトラブル状態である場合、このＷｅｂサーバ２のアクセス間隔を、不安定状態におけるアクセス間隔（第４の時間）に比べて、十分に大きい第５の時間（例えば、６０分）とする。 Further, when the state of the Web server 2 is in a trouble state, the access interval determination unit 15 sets the access interval of the Web server 2 to be sufficiently larger than the access interval (fourth time) in the unstable state. The time is 5 (for example, 60 minutes).

［処理フロー］
図４は、本実施形態に係るクロール装置１の制御部１０における処理を示すフローチャートである。 [Processing flow]
FIG. 4 is a flowchart showing processing in the control unit 10 of the crawl device 1 according to the present embodiment.

ステップＳ１において、制御部１０（アクセス部１１）は、状態ＤＢ２２を参照して、Ｗｅｂサーバ２へのアクセス間隔を取得し、このアクセス間隔（所定のアクセス間隔）にしたがって、Ｗｅｂサーバ２にアクセスし、Ｗｅｂページの情報の取得要求を行い、Ｗｅｂページの情報を受信する。 In step S1, the control unit 10 (access unit 11) refers to the state DB 22, obtains an access interval to the Web server 2, and accesses the Web server 2 according to this access interval (predetermined access interval). The web page information acquisition request is made, and the web page information is received.

ステップＳ２において、制御部１０（アクセス部１１）は、アクセス部１１により、受信したＷｅｂページの情報に含まれるＷｅｂサーバ２からレスポンス状況を示すレスポンス情報を取得する。 In step S 2, the control unit 10 (access unit 11) uses the access unit 11 to obtain response information indicating the response status from the Web server 2 included in the received Web page information.

ステップＳ３において、制御部１０（レスポンス情報取得部１２）は、ステップＳ２において取得したレスポンス情報をレスポンスＤＢ２１に記憶させる。ここで、レスポンス情報には、アクセスしたＷｅｂサーバ２のアドレスと、アクセスした時刻と、レスポンスタイムと、ｈｔｔｐステータスコードと、が含まれている。 In step S3, the control unit 10 (response information acquisition unit 12) stores the response information acquired in step S2 in the response DB 21. Here, the response information includes the address of the accessed Web server 2, the time of access, the response time, and the http status code.

ステップＳ４において、制御部１０（状態分析部１３）は、レスポンスＤＢ２１からＷｅｂサーバ２の所定期間（例えば、最新の１０分間）のレスポンス情報を取得して、当該レスポンス情報に基づいてＷｅｂサーバ２の状態を分析する。 In step S4, the control unit 10 (state analysis unit 13) acquires response information of the Web server 2 for a predetermined period (for example, the latest 10 minutes) from the response DB 21, and based on the response information, the Web server 2's response information. Analyze the condition.

ステップＳ５において、制御部１０（状態推定部１４）は、ステップＳ４における分析結果に基づいてＷｅｂサーバ２の状態を推定する。この処理の詳細については、後述の図５で説明する。 In step S5, the control unit 10 (state estimation unit 14) estimates the state of the Web server 2 based on the analysis result in step S4. Details of this processing will be described later with reference to FIG.

ステップＳ６において、制御部１０（状態推定部１４）は、ステップＳ５において推定されたＷｅｂサーバ２の状態を状態ＤＢ２２に記憶させる。 In step S6, the control unit 10 (state estimation unit 14) stores the state of the Web server 2 estimated in step S5 in the state DB 22.

ステップＳ７において、制御部１０（アクセス間隔決定部１５）は、状態ＤＢ２２に記憶されているＷｅｂサーバ２の状態に基づいて、アクセス間隔を決定する。続いて、制御部１０（アクセス間隔決定部１５）は、決定されたアクセス間隔を状態ＤＢ２２に記憶させる。 In step S 7, the control unit 10 (access interval determination unit 15) determines an access interval based on the state of the Web server 2 stored in the state DB 22. Subsequently, the control unit 10 (access interval determination unit 15) stores the determined access interval in the state DB 22.

ステップＳ８において、制御部１０は、クロール装置１の入力部において、Ｗｅｂサーバ２へのアクセスに係る処理の終了操作が行われたか否かを判定する。制御部１０は、この判定がＹＥＳの場合、処理を終了し、この判定がＮＯの場合、ステップＳ１に移る。すなわち、終了操作が行われない場合、アクセス間隔決定部１４が決定した間隔にしたがってアクセス部１１がＷｅｂサーバ２にアクセスし、レスポンス情報取得部１２がレスポンス情報を取得する、といったように、アクセス間隔を決定する処理を繰り返す。 In step S 8, the control unit 10 determines whether or not a process end operation related to access to the web server 2 has been performed in the input unit of the crawl device 1. When this determination is YES, the control unit 10 ends the process, and when this determination is NO, the control unit 10 proceeds to step S1. That is, when the end operation is not performed, the access interval such that the access unit 11 accesses the Web server 2 according to the interval determined by the access interval determination unit 14 and the response information acquisition unit 12 acquires the response information. The process of determining is repeated.

図５は、本実施形態に係るクロール装置１の制御部１０における、Ｗｅｂサーバ２の状態を推定する処理を示すフローチャートである。 FIG. 5 is a flowchart showing processing for estimating the state of the Web server 2 in the control unit 10 of the crawl device 1 according to the present embodiment.

ステップＳ５１において、制御部１０（状態推定部１４）は、アクセスするＷｅｂサーバ２について、状態分析部１３の分析結果に基づいて、前回アクセスから１日以上経過又は初回アクセスであるか否かを判定する。制御部１０（状態推定部１４）は、この判定がＹＥＳの場合、処理をステップＳ５２に移し、この判定がＮＯの場合、処理をステップＳ５３に移す。
ステップＳ５２において、制御部１０（状態推定部１４）は、Ｗｅｂサーバ２の状態を不明状態と推定する。この処理が終了すると、Ｗｅｂサーバ２の状態を推定する処理を終了する。 In step S 51, the control unit 10 (state estimation unit 14) determines, based on the analysis result of the state analysis unit 13, whether one or more days have passed since the previous access or the first access for the Web server 2 to be accessed. To do. When this determination is YES, control unit 10 (state estimation unit 14) moves the process to step S52, and when this determination is NO, the process moves to step S53.
In step S52, the control unit 10 (state estimation unit 14) estimates the state of the Web server 2 as an unknown state. When this process ends, the process of estimating the state of the Web server 2 ends.

ステップＳ５３において、制御部１０（状態推定部１４）は、アクセスするＷｅｂサーバ２について、状態分析部１３の分析結果に基づいて、所定期間のエラー発生率が所定値（例えば、１０％）未満か否かを判定する。制御部１０（状態推定部１４）は、この判定がＹＥＳの場合、処理をステップＳ５４に移し、この判定がＮＯの場合、処理をステップＳ５５に移す。
ステップＳ５４において、制御部１０（状態推定部１４）は、Ｗｅｂサーバ２の状態を正常状態と推定する。この処理が終了すると、Ｗｅｂサーバ２の状態を推定する処理を終了する。 In step S 53, the control unit 10 (state estimation unit 14) determines whether the error occurrence rate for a predetermined period of the Web server 2 to be accessed is less than a predetermined value (for example, 10%) based on the analysis result of the state analysis unit 13. Determine whether or not. When this determination is YES, control unit 10 (state estimation unit 14) moves the process to step S54, and when this determination is NO, the process moves to step S55.
In step S54, the control unit 10 (state estimation unit 14) estimates the state of the Web server 2 as a normal state. When this process ends, the process of estimating the state of the Web server 2 ends.

ステップＳ５５において、制御部１０（状態推定部１４）は、アクセスするＷｅｂサーバ２について、状態ＤＢ２２から読み出した直近のＷｅｂサーバ２の推定状態がトラブル時であって、かつ、状態分析部１３の分析結果に基づいて、第２の所定回数（例えば、２回）以上連続で正常処理されたか否かを判定する。制御部１０（状態推定部１４）は、この判定がＹＥＳの場合、処理をステップＳ５６に移し、この判定がＮＯの場合、処理をステップＳ５７に移す。
ステップＳ５６において、制御部１０（状態推定部１４）は、Ｗｅｂサーバ２の状態を復旧状態と推定する。この処理が終了すると、Ｗｅｂサーバ２の状態を推定する処理を終了する。 In step S 55, the control unit 10 (state estimation unit 14) analyzes the Web server 2 to be accessed when the estimated state of the latest Web server 2 read from the state DB 22 is in trouble and is analyzed by the state analysis unit 13. Based on the result, it is determined whether normal processing has been performed continuously for a second predetermined number of times (for example, twice) or more. When this determination is YES, control unit 10 (state estimation unit 14) moves the process to step S56, and when this determination is NO, the process moves to step S57.
In step S56, the control unit 10 (the state estimation unit 14) estimates the state of the Web server 2 as a restored state. When this process ends, the process of estimating the state of the Web server 2 ends.

ステップＳ５７において、制御部１０（状態推定部１４）は、アクセスするＷｅｂサーバ２について、状態分析部１３の分析結果に基づいて、最もエラーが連続した回数が第１の所定回数（例えば、５回）以上か否かを判定する。制御部１０（状態推定部１４）は、この判定がＹＥＳの場合、処理をステップＳ５８に移し、この判定がＮＯの場合、処理をステップＳ５９に移す。
ステップＳ５８において、制御部１０（状態推定部１４）は、Ｗｅｂサーバ２の状態をトラブル状態と推定する。この処理が終了すると、Ｗｅｂサーバ２の状態を推定する処理を終了する。
ステップＳ５９において、制御部１０（状態推定部１４）は、Ｗｅｂサーバ２の状態を不安定状態と推定する。この処理が終了すると、Ｗｅｂサーバ２の状態を推定する処理を終了する。 In step S57, the control unit 10 (state estimation unit 14) determines that the number of consecutive errors for the Web server 2 to be accessed is the first predetermined number (for example, 5 times) based on the analysis result of the state analysis unit 13. ) Determine whether or not. When this determination is YES, control unit 10 (state estimation unit 14) moves the process to step S58, and when this determination is NO, the process moves to step S59.
In step S58, the control unit 10 (state estimation unit 14) estimates the state of the Web server 2 as a trouble state. When this process ends, the process of estimating the state of the Web server 2 ends.
In step S59, the control unit 10 (state estimation unit 14) estimates the state of the Web server 2 as an unstable state. When this process ends, the process of estimating the state of the Web server 2 ends.

以上のように、本実施形態によれば、クロール装置１は、Ｗｅｂサーバ２から取得した所定期間のレスポンス状況を示すレスポンス情報に基づいて、Ｗｅｂサーバ２の状態を推定し、当該Ｗｅｂサーバ２の状態に基づいて、アクセス間隔を決定する。よって、このクロール装置１は、アクセスするＷｅｂサーバ２の状態を把握して、当該Ｗｅｂサーバ２のアクセス間隔を調整することができるので、Ｗｅｂサーバ２の状態を把握すること自体が負担とならずに、かつその時点でＷｅｂサーバ２の状態に適合したアクセス間隔に、動的に調整を行うことができる。 As described above, according to the present embodiment, the crawl device 1 estimates the state of the Web server 2 based on the response information indicating the response status of the predetermined period acquired from the Web server 2, and The access interval is determined based on the state. Therefore, since the crawl device 1 can grasp the state of the Web server 2 to be accessed and adjust the access interval of the Web server 2, it is not a burden to grasp the state of the Web server 2 itself. In addition, it is possible to dynamically adjust the access interval suitable for the state of the Web server 2 at that time.

また、クロール装置１は、状態ＤＢ２２にＷｅｂサーバ２の状態情報を記憶させておくので、状態ＤＢ２２に記憶されたＷｅｂサーバ２の過去の状態情報を考慮して、Ｗｅｂサーバの現在の状態を推定することができ、より適切なＷｅｂサーバの状態に基づいて、当該Ｗｅｂサーバ２へのアクセス間隔を動的に調整することができる。 Further, since the crawl device 1 stores the state information of the Web server 2 in the state DB 22, the current state of the Web server is estimated in consideration of the past state information of the Web server 2 stored in the state DB 22. The access interval to the Web server 2 can be dynamically adjusted based on a more appropriate state of the Web server.

また、クロール装置１は、Ｗｅｂサーバ２からＷｅｂページの情報を取得する際に、Ｗｅｂサーバ２からのレスポンス情報を取得する。クロール装置１は、クロールする際に取得したレスポンス情報から、Ｗｅｂサーバ２へのアクセス間隔を調整することができるので、レスポンス情報を取得するためだけにＷｅｂサーバ２にアクセスすることが不要になる。 The crawl device 1 acquires response information from the Web server 2 when acquiring Web page information from the Web server 2. Since the crawl device 1 can adjust the access interval to the Web server 2 from the response information acquired when crawling, it is not necessary to access the Web server 2 only to acquire the response information.

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。 As mentioned above, although embodiment of this invention was described, this invention is not restricted to embodiment mentioned above. The effects described in the embodiments of the present invention are only the most preferable effects resulting from the present invention, and the effects of the present invention are limited to those described in the embodiments of the present invention. is not.

１クロール装置
２Ｗｅｂサーバ
１０制御部
１１アクセス部
１２レスポンス情報取得部
１３状態分析部
１４状態推定部
１５アクセス間隔決定部
２０記憶部
２１レスポンスＤＢ
２２状態ＤＢ
２３コンテンツＤＢ
Ｎ通信ネットワーク DESCRIPTION OF SYMBOLS 1 Crawl apparatus 2 Web server 10 Control part 11 Access part 12 Response information acquisition part 13 State analysis part 14 State estimation part 15 Access interval determination part 20 Storage part 21 Response DB
22 State DB
23 Content DB
N communication network

Claims

A crawl device that dynamically controls an access interval for a web server to be accessed,
Response information storage means for storing response information indicating a response status from the Web server generated by accessing the Web server;
A response information acquisition unit that acquires a response status from the Web server in response to accessing the Web server at a predetermined access interval, and stores response information indicating the response status in the response information storage unit;
State analysis means for acquiring response information of the Web server for a predetermined period from the response information storage means, and analyzing the state of the Web server based on the response information;
State estimation means for estimating the state of the Web server based on the analysis result by the state analysis means;
An access interval determining unit that determines an access interval to the Web server based on the state information of the Web server estimated by the state estimating unit;
Equipped with a,
The response information includes an address of the web server, a time when the web server is accessed, a response time from when the web page acquisition request information is transmitted to the web server until an http header is received, and an http status code.
A crawl device characterized by that .

A status information storage unit for storing status information of the Web server;
The state estimation means estimates the state of the Web server based on the analysis result by the state analysis means, stores the state information of the Web server in the state information storage means,
The crawl device according to claim 1, wherein the access interval determination unit determines an access interval to the Web server based on the Web server status information stored in the status information storage unit.

A crawl device comprising response information storage means for storing response information indicating response status from the Web server generated by accessing the Web server dynamically controls an access interval to the Web server to be accessed,
A response information step of acquiring a response status from the Web server in response to accessing the Web server at a predetermined access interval, and storing response information indicating the response response status in the response information storage means;
A state analysis step of acquiring response information of the Web server for a predetermined period from the response information storage means, and analyzing the state of the Web server based on the response information;
A state estimation step of estimating the state of the Web server based on the analysis result in the state analysis step;
An access interval determining step for determining an access interval to the Web server based on the state information of the Web server estimated by the state estimating step;
Only including,
The response information includes an address of the web server, a time when the web server is accessed, a response time from when the web page acquisition request information is transmitted to the web server until an http header is received, and an http status code.
A method characterized by that .