##################################################### # eOutlets.info 禁止搜索引擎收录配置文件 # 文件: robots.txt # 日期: 2010-07-30 08:36:00 ##################################################### #限制的搜索引擎的User-Agent代码,*表示所有########### User-agent: * #限制不能搜索的目录,Disallow: 为空时开放所有目录#### Disallow: /admin/ Disallow: /script/ Disallow: /themes/ Disallow: /image/ Disallow: /images/ Disallow: /upload/ Disallow: /include/ Disallow: /language/ Disallow: /css/ Disallow: /data/ Disallow: /plugin/ Disallow: /function/ Disallow: /cache/ Disallow: /XML-RPC/ #开放搜索的目录有#################################### # / # /archives/ #搜索引擎User-Agent代码对照表######################## # 搜索引擎 User-Agent代码 # AltaVista Scooter # Infoseek Infoseek # Hotbot Slurp # AOL Search Slurp # Excite ArchitextSpider # Google Googlebot # Goto Slurp # Lycos Lycos # MSN MSNBOT # Netscape Googlebot # NorthernLight Gulliver # WebCrawler ArchitextSpider # Iwon Slurp # Fast Fast # DirectHit Grabber # Yahoo Web Pages Googlebot # Looksmart Web Pages Slurp # Baiduspider Baidu