Asia Data

为了正确执行此操作，您需要在 TLD 之后包含 URL 的所有元素。您希望我夹位于左侧的框中：

img-semblog
那些没有的，在右边：

img-semblog
步骤 4：删除 URL 参数
此步骤可确保您的抓取预算不会浪费在对同一页面进行两次抓取。只需指定您在网站上使用的 URL 参数即可在抓取之前将其删除。

img-semblog
第 5 步 – 绕过网站限制
当您需要替代解决方案时，此步骤非常适合。例如，假设您的网站仍处于预生 加拿大 whatsapp 数据 产阶段或通过基本访问身份验证隐藏。如果您认为我们无法进行审核，那您就错了。

您有两种选择来解决问题并确保审核正常运行。

img-semblog
选项 1 是忽略 robots.txt 和 robots 元标记中的不允许，并涉及上传我们将为您提供的 .txt 文件（位于您网站的主文件夹中）。
选项 2 是使用您的凭据进行跟踪。为此，您只需输入用于访问网站隐藏部分的用户名和密码即可。 SemrushBot 将使用此信息来进行审核。
第 6 步：安排审核
最后一步是告诉我们您希望我们审核您的网站的频率。可以每周、每天或仅一次。无论您做出什么决定，我们都建议您定期进行审核以保持站点的健康。