検索してもヒットしない

＞参照で、robot.txtを参照しない不親切な検索ロボットも存在する。とありましたが、それはどこにあるのでしょうか？使ってみたいのですが、ご存知でしたら教えてください。 robot.txtのルールは紳士協定みたいなものですからそれを破っていると公言するとイメージが悪く広告も集まらないでしょうから普通のサイトではないでしょうね。あるとしたらアンダーグラウンドの世界でしょう。 でも本当に内輪だけにしか公開したくないデータはパスワードなどの手段で守るでしょうからそういうのはrobot.txt無視でも検索サイトに載りようが無い。robot.txtを無視して情報を集めても有意義が情報があまり増えるとは思いません。検索結果って役に立つのは数パーセントですよね。分母が増えるだけでしょう。 まだ、2CHとかで噂話を集めるほうが得策では？ ＞（２）サーバー上の設定で検索サイトの探索を拒否している 　と言う場合検索する方法はないのですか？ 自分で検索ロボットを運用することも出来ますよ。robot.txtでガードしているところだけ調べればいいので一般検索サイトほどのディスク容量は要らないでしょうけどそれでもお金か時間はかかりそう。