游客

标题: 蛛蛛绕过网站不抓取的原因简述
正文:
可能有站长在网站优化的过程中，查看网站日志时，发现每天都有蜘蛛来访，而且来访的次数也很多，但却没有抓取任何的内容，是什么原因让蜘蛛绕过了网站呢？一、框架结构。 使用框结构设计网页流行于互联网诞生初期，但是由于不便于搜索引擎蜘蛛的抓取而被抛弃。在做网站优化时，应当完全摒弃框架结构，甚至不需要了解。二、必须登录浏览网站。 很多网站有部分甚至全部内容需要注册登陆后才能浏览，大部分社会化媒体(如sns网站、微博等)即是如此。但是你必须要知道，搜索引擎蜘蛛不会填写用户名密码，更不会注册。三、死链。 　　通俗的讲，死链就是无法打开的链接。搜索引擎蜘蛛如果在网站内爬行，却屡屡遭受无法打开页面的煎熬。显然，如此一来该网站对于搜索引擎蜘蛛来说正在逐渐的失去信任。我们要通过工具检测出所有的死链，然后做出相关处理，删除或用robots.txt来屏蔽。四、各种跳转。 　　这个指的是通过不同的技术或指令，自动将一个网页跳转到另一个网页。目前搜索引擎比较支持的是301跳转，但是这往往被一些作弊的人员所利用，从而导致搜索引擎蜘蛛对其比较敏感。五、flash动画。 　　很多网站都会在页面上添加大量flash动画，但是搜索引擎蜘蛛说到底只是一个程序，它不能像人一样观看老姐flash动画的内容。虽然搜索引擎一直在这方面努力，但是以目前的搜索引擎蜘蛛技术还不能完全有效的抓取flash的内容。另外，如果在网站上出现了flash动画，搜索引擎都建议添加相应的文字描述，以便搜索引擎蜘蛛较直观的了解flash动画内容。六、js代码。 　　js代码也是目前搜索引擎抓取比较困难的内容，大量的js会严重影响搜索引擎蜘蛛抓取的速度。所以，网站优化时要尽量避免，或者少用js代码。
[<<][[1]][>>]

查看评论(0)
发表评论



首页