- A+
本文主要讲述了死链对网站的影响,如何发现死链,如何正确处理死链。
大量死链对搜索引擎有什么影响
1.死链率过高会影响搜索引擎对网站的评分。
2.搜索引擎限制每个网站每天抓取的频率。如果网站有很多死链,会浪费抓取配额,影响其他正常页面的抓取。
3.太多的死链也是网站用户体验不好的表现。
死链接是如何产生的
1.编辑错误或程序员粗心大意使页面产生不存在的页面。
2.因为服务器.空间或程序问题导致网站短时间无法访问,导致大量返回码为5开头的服务器错误页面。
3.用户或站长在站外发布错误URL;其他网站复制或收集您包含错误链接的页面。
4.提取页面上有个别爬虫URL因为URL有不规则的字符或URL与后面的文字链接,导致URL失效。
5.如果你的网站已经修改或将要修改,一定要注意死链问题,许多网站修改后,旧页面直接删除,导致大量的死链接。
6.网站管理员删除被黑.广告.过时.灌装页面导致许多死链接。
如何在网站上找到死链接
百度站长工具中的异常抓取工具可以查看上个月产生的各种死链,支持导出功能。
使用相关爬虫软件,如Xenu,这种工具可以爬取全站所有链接,分析页面状态。分析完成后,支持导出功能,提取死链接。
在网站运营中,尤其是论坛,往往需要删除某些页面,删除页面时必须记录相应的页面Url以便以后提交死链。
通过上述两种方法提取的死链列表必须被删除和验证,如使用wps删除重复链接,然后使用表格Http状态批量查询工具验证是否确实是死链接。
如何避免和处理死链接
如果修改前的页面有价值,尽量不要删除或修改Url,如需更改域名或Url规则的分配必须是以前的url301跳转到相应的Url;如果必须删除旧数据,则删除的所有页面Url整理并提交死链。
将收集到的所有死链接粘贴到网站根目录的文档中,然后将文档地址提交到百度资源平台-搜索服务-资源提交-死链提交–添加新数据–填写死链文件地址;如果大量死链有一定的规则,如果所有死链都在某个目录下,则可以提交死链。
相关注意事项:
在百度站长工具中提交死链之前,一定要确保提交的死链数据没有活链接。一旦存在活链,就会显示提交失败,无法删除。
由于许多网站程序问题,许多无法打开的页面返回码不是404,这是一个大问题,例如,无法打开的页面返回码是301.200.500,如果是200,会导致网站不同URL获取相同的内容。例如,在我的一个站,社区帖子被删除后,返回代码是500,后来发现,立即处理。试着找出所有的错误URL并设置格式HTTP状态码为404。
找到所有错误的页面后,一定要找到这样的页面URL相同的特征,区别于正常页面的特征,写相应的规则robots即使你在站长工具中提交了死链,文件中也禁止蜘蛛抓取。robots封禁抓取。
robots蜘蛛解决蜘蛛不再抓取这样的页面,但不能解决包含页面的快照删除问题,如果你的网站是黑色的,删除黑色页面,除了robots除了禁止黑页,这些页面也应该提交死链。提交死链是删除黑页快照的最快方法。
希望以上教程对你有帮助,感谢大家阅读。