相关页面和“其他人还浏览过”
使链接构建更容易的一种策略是在网站上添加“相关页面”部分。它为用户和爬虫增加了价值，并且还根据亲和力链接到相关页面。
您可以根据类别、产品类型、类似内容。类似内容应按数字顺序或字母顺序排序。
HTML 网站地图
是的，即使是大型网站也在使用 HTML 站点地图来帮助爬虫找到新页面。在处理包含数百万页面的大型网站时，它们非常有效。
让我们看一下Trulia HTML 站点地图中的这个示例（如上所示）： Trulia 根据字母顺 巴林 手机号码数据 序构建了他们的 HTML 站点地图，并确保所有页面都有链接。这样，就不会出现任何孤立页面，这有助于他们实现向所有希望索引的页面提供链接汁的目标。
一般来说，很多电商、房地产网站都会按照字母/分类的顺序对站点地图进行排序，以保证每个页面都不会是孤立的。
3. 抓取预算和取消索引规则
抓取预算是大型网站需要考虑的一个非常重要的问题。当您拥有数千万个程序化网页时，您需要确保 Google 始终能够找到并索引您最有价值的网页。您的网页价值应基于内容、收入、商业价值和用户满意度。
首先，选择不应编入索引的页面：
使用您最喜欢的分析工具来发现哪些页面的参与度指标最低（跳出率高、平均停留时间低、没有页面浏览量等）。
使用搜索控制台来发现哪些页面的展示次数较高但点击率较低。
将这些页面合并到一个列表中。
检查他们是否有任何入站链接。
分析这些页面对收入和业务线索的贡献。
一旦您拥有所有相关数据并选择了应该从索引中删除的页面，请向所有页面添加 no-index 标签并将其从站点地图 XML 中排除。
我为 SimilarWeb 工作，该网站拥有超过 1 亿个页面，我根据上述清单对超过 2000 万个页面进行了无索引测试。我想看看从我们的自然渠道中删除大量页面的影响。