如何发现和正确处理网站优化中的死链？

本文主要讨论了网站优化中死链对网站的影响；死链是如何产生的；如何找到死链；如何正确处理死链。

1、 大量死链接对搜索引擎有什么影响？

1.如果死链率过高，会影响网站搜索引擎的得分。

2.搜索引擎每天抓取每个网站的频率是有限的。如果网站中存在大量的死链接，会浪费爬行配额，影响其他正常页面的爬行。

3.过多的死链对网站用户来说也是一种不好的体验。

2、 死链接是如何形成的？

编辑的错误或程序员的粗心使页面产生一个不存在的页面。

由于服务器、空间或程序问题，网站短时间内无法访问，导致大量服务器错误页面返回代码为5。

用户或网站管理员在网站外发布错误的URL；其他网站用错误的链接复制或收录了你的网页。

当单个爬虫提取页面URL时，由于URL中有不规则字符或URL与以下文本链接，URL无效。

如果你的网站已经修改或将要修改，你一定要注意死链的问题。不少网站改版后，将之前的旧网页直接删除，造成大量死链接。

网站管理员删除黑，广告，过期和浇水的网页，导致许多死链接。

3、 如何找到网站中的死链接？

1.百度站长工具中的抓取异常工具可以查看上个月产生的各种死链，并支持导出功能。

2.利用Xenu等相关爬虫软件，可以对全站的所有链接进行爬虫，并分析页面状态。分析完成后，支持导出功能，提取死链接。

3.在网站运营中，特别是论坛，我们经常需要删除一些页面。在删除页面时，我们必须记录相应的URL，以便以后提交死链。

以上两种方法提取的死链列表必须删除并验证。例如，使用WPS表删除重复链接，然后使用HTTP状态批查询工具验证它是否为死链接。

4、 如何避免和处理死链接？

如果修订前的页面有价值，请尽量不要删除或修改URL。如果您需要更改域名或URL分配规则，请务必将以前的URL跳转到相应的URL；如果必须删除旧数据，则应将所有已删除的页面URL排序并提交到死链。

将收录到的所有死链接粘贴到网站根目录下的一个文档中，然后将文档地址提交到百度站长工具——网页抓取——死链提交——添加新数据——填写死链文件地址；如果大量死链接具有某些规则，例如目录中的所有死链接，则可以提交规则死链接。

笔记：

1.在百度站长工具中提交死链之前，一定要确保提交的死链数据中没有活链接。一旦有一个活链，它将显示提交失败，不能删除。

2.由于很多网站程序问题，很多无法打开的页面返回码不是404，这是一个很大的问题。例如，无法打开的页面返回码为301、200、500，如果返回码为200，则会导致网站中不同的URL获得相同的内容。比如我的一个站，删除了社区帖子后，返回码是500，后来发现后马上处理。我们试图找出所有错误的URL格式，并将HTTP状态码设置为404。

3.找到所有错误的页面后，一定要找到这类页面URL的相同特征，并将其与正常页面的特征区分开来。将相应的规则写入robots文件，禁止蜘蛛抓取。即使你已经提交了网站管理员工具中的死链，也建议机器人拦截和抓取。

4.机器人只能解决爬行器不再抓取此类页面的问题，但无法解决包含页面的快照删除问题。如果你的网站被黑了，被黑的页面被删除了，除了被机器人屏蔽的黑页面外，这些页面也应该提交给死链。提交死链是删除黑页快照的最快方法。