############################################################# # # robots.txt file in root directory # http://www.searchengineworld.com/misc/robots_txt_crawl.htm # ############################################################# User-agent: * Disallow: /errordocs/ Disallow: /examples/ Disallow: /images/ Disallow: /lib/ Disallow: /logs/ Disallow: /pictures/ Disallow: /secure/ # #