Title
ロボット検索からのアクセスを禁止するにはどうすれば良いですか?
Answer
robots.txtとう名前のファイルに下記の行を含め、WEBの公開フォルダ直下に設置すると、全てのファイルを検索データベースに登録することを禁止する指定になります。

User-agent: *
Disallow: /


特定のロボットに対して巡回を拒否する指定は下記です。

User-agent: ロボットの名称
Disallow: /

※ 「ロボットの名称」には、以下等を指定します。

・* … 全ロボット
・Slurp … Yahooのロボット
・googlebot … Googleのロボット
・msnbot … MSN、Windows Live Searchのロボット

ご参考)
詳細につきましては「robots.txtとは」というキーワードでネット上を検索しますと、数多く文献がヒットしますので、ご参考にしてください。