如何屏蔽一些已经收录了的网页
如果是谷歌的话，反应很快的;如果是百度，就算你加上也有可能收录，而且去掉速度也很慢。
•要拦截整个网站，请使用正斜线。
Disallow: /•要拦截某一目录以及其中的所有内容，请在目录名后添加正斜线。 Disallow: /无用目录/ •要拦截某个网页，请列出该网页。
Disallow: /私人文件.html•要从 Google 图片中删除特定图片，请添加以下内容: User-agent: Googlebot-Image Disallow: /images/狗.jpg •要从 Goo le 图片中 除您网站上的所有图片，请执行以下指令:
User-agent: Googlebot-Image Disallow: / •要拦截某一特定文件类型的文件(例如 .gif)，请使用以下内容: User-agent: Googlebot
Disallow: /*.gif$•要阻止抓取您网站上的网页，而同时又能在这些网页上显示 Adsense 广告，请禁止除 Mediapartners-Google 以外的所有漫游器。这样可使网页不出现在搜索结果中，同时又能让 Mediapartners-Google 漫游器分析网页，从而确定要展示的广告。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。例如:
User-agent: *
Disallow: /
User-agent: Mediapartners-Google Allow: /
Googlebot(但并非所有搜索引擎)遵循某些模式匹配原则。
•要匹配连续字符，请使用星号 (*)。例如，要拦截对所有以 private 开头的子目录的访问，请使用以下内容:
User-agent: Googlebot
Disallow: /private*/•要拦截对所有包含问号 (?) 的网址的访问(具体地说，这种网址以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串)，请使用以下内容:
User-agent: Googlebot
Disallow: /*?•要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容:
User-agent: Googlebot
Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下，您可以对您的 robots.txt 文件进行如下设置:
User-agent: *
Allow: /*?$
Disallow: /*?Disallow: /*? 指令会阻止包含 ? 的所有网址(具体地说，它将拦截所有以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串的网址)。
Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址)。
本文档为【如何屏蔽一些已经收录了的网页】，请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑，
图片更改请在作品中右键图片并更换，文字修改请直接点击文字进行修改，也可以新增和删除文档中的内容。
该文档来自用户分享，如有侵权行为请发邮件ishare@vip.sina.com联系网站客服，我们会及时删除。
[版权声明] 本站所有资料为用户分享产生，若发现您的权利被侵害，请联系客服邮件isharekefu@iask.cn，我们尽快处理。
本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权，请谨慎使用。
网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传，仅限个人学习分享使用，禁止用于任何广告和商用目的。
浙公网安备 33021202002483