文書の獲得とミラー サーバについて目次 マルチホームサーバ

ロボット機能

WWWではサーチインデックスを作成するため、定期的にインターネット内のWWWサーバのファイル検索を行うロボットと呼ばれる一種のワームプログラムがあります。おもにYAHOOINFOSEEKなどのようなWWWディレクトリサービスを提供しているサイトが、このプログラムを実行します。

ロボットは検索可能な範囲でWWWのドキュメントルート以下を探し回るので、WWWサーバーに負荷がかかります。探し回る範囲を限定したい場合、robots.txtというファイルを作成し、WWWのドキュメントルートへ置きます。

	
	
	User-agent: *
	Disallow: /private/
	
	
User-agentはロボットの名前を指定し、指定されたロボット以外は受け付けないようにできます(* は全てのロボットを受け付けます)。Disallowは検索されたくないディレクトリを指定します。全てのファイルを検索されたくない場合、Disallow: /とします。

ロボットについてのより詳しい情報を得たい人は、http://web.nexor.co.uk/mak/doc/robots/robots.htmlを参照して下さい。

この他にもロボットの類はいろいろと開発されています。

Spider
WWWW (World Wide Web Worm)
Harvest


Copyright (C) 1996-2003 by Yasukazu Yokoi. All Rights Reserved.