ロボットは検索可能な範囲でWWWのドキュメントルート以下を探し回るので、WWWサーバーに負荷がかかります。探し回る範囲を限定したい場合、robots.txtというファイルを作成し、WWWのドキュメントルートへ置きます。
ロボットについてのより詳しい情報を得たい人は、http://web.nexor.co.uk/mak/doc/robots/robots.htmlを参照して下さい。
この他にもロボットの類はいろいろと開発されています。
ロボット機能
WWWではサーチインデックスを作成するため、定期的にインターネット内のWWWサーバのファイル検索を行うロボットと呼ばれる一種のワームプログラムがあります。おもにYAHOOやINFOSEEKなどのようなWWWディレクトリサービスを提供しているサイトが、このプログラムを実行します。
User-agentはロボットの名前を指定し、指定されたロボット以外は受け付けないようにできます(* は全てのロボットを受け付けます)。Disallowは検索されたくないディレクトリを指定します。全てのファイルを検索されたくない場合、Disallow: /とします。
User-agent: *
Disallow: /private/
Spider WWWW (World Wide Web Worm) Harvest