这样做。即使在极少数情况下，，它也会检查它，因为它只是遵循 301。 它将解决我们的索引问题，并且将通过 PageRank。当然，这里的权衡是用户也无法访问该 URL，因此我们必须接受这一点。 实施抓取预算策略 总而言之，我们如何实际使用这些策略？那么，如果您想要进行爬行预算项目，我会推荐哪些活动？ 不太直观的因素之一是速度。
正如我之前所说，Google 会分配一定量的时间或 卡塔尔电报数据库 资源来抓取特定网站。因此，如果您的网站速度非常快，如果您的服务器响应时间很短，如果您有轻量级 HTML，那么他们将在相同的时间内浏览更多页面。 所以这是一种反直觉的好方法。日志分析，这个比较传统。通常不清楚网站上的哪些页面或参数实际上耗尽了您的所有抓取预算。大型站点上的日志分析通常会产生令人惊讶的结果，因此您可能需要考虑这一点。
然后实际使用其中一些工具。 我们认为用户甚至不需要看到如此多的冗余 URL，我们可以对它们进行 301。对于用户需要查看的变量，我们可以看到规范标签或无索引标签。但我们也希望避免预先添加它们，这样我们就不会因为它们的规范化或无索引变体的衰减或衰减而失去一些 PageRank。 正如我所经历的那样，Robots.txt 和 nofollow 是您很少使用的策略，因为它们会为 PageRank 造成死胡同。