Google的robots排除功能

    如果打算用robots排除功能来控制网站上页面之间的Google PR共享（例如，拒绝低质量页面，以防止扭曲页面的权威性），就应该知道Google处理robots.txt和robots元标签的方式稍有不同，深圳SEO悦鹜总结几个不同点：

使用两种方法排除的页面都可以累积PR权威性。

使用robots.txt文件排除的页面可能列在搜索结果中，因为搜索引擎可能使用第三信息（例如，网站在Open Directory中的列表，或者指向页面的锚文本）来提供列表标题和描述。使用robots元标签排除的页面根本不会显示在搜索结果中。

Google不会爬取使用robots.txt文件排除的页面，这种页面也不会将PR传递给它链接的其他页面。