我不知道为什么，但谷歌开始索引一些我们服务器上没有的页面。大多数页面带有?tag=22&page=30 查询字符串。顺便说一句，我们没有任何“标签”，因此该网站的谷歌搜索控制台上的404页数量增加了。
?tag=22&page=30
?tag=27&page=530
?tag=27&page=600
?tag=309&page=81
我添加了这一行，但我不确定它是否有效：
Disallow: /?tag*
关于WordPress站点上的robots.txt文件的问题
1 个回复
SO网友:sdexp
这里有一些info about robots.txt. 看起来您的示例无法正确使用*但是，在我看来，如果您删除*就可以了。
你可以随时检查机器人。txt at，带有类似的验证器this one