今天我收到了一封来自网站管理员工具的电子邮件,声明“Googlebot无法访问CSS和JS文件”。所以我开始更新我的机器人。txt文件位于我的服务器的根目录中。
原始内容:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM
Sitemap: http://example.com/sitemapindex.xml
我从文件中删除了行“不允许:/wp内容/主题/”,并重新上载了文件,但当我在浏览器中查看新文件时,没有任何更改,然后我执行了以下操作:1) 已删除。根目录中的txt文件
2) 已清除缓存(W3总缓存)
但还是机器人。txt可在我的浏览器中查看。这可能只意味着一件事,即文件实际上是生成的,对吗?我甚至在另一个浏览器中查看,以确保没有缓存发生。
经过多次搜索,我没有找到为什么我的机器人的答案。txt不会更新或从何处生成?
这里有人知道发生了什么事吗?
我使用的一些插件:
1) Better WordPress Google XML Sitemaps
2) W3 Total Cache
3) Yoast SEO
任何帮助都将不胜感激,谢谢。