我有一个新的Wordpress 3.5.1安装程序（托管在Dreamhost FWIW上）not 希望被搜索引擎索引。我想服务一个简单的机器人。txt带Disallow: / 对于所有用户代理。
我已选中“设置”>“阅读”菜单上的“阻止搜索引擎为此网站编制索引”框，但http://mysite.com/robots.txt 仍然返回404。
有没有办法让Wordpress自动生成并服务于合适的机器人。txt文件？如果没有，配置它来为我自己的静态机器人服务的最佳方式是什么。txt文件？
Add robots.txt to root
2 个回复
最合适的回答,由SO网友:Mark Kaplun 整理而成
首先，为了让Wordpress生成一个机器人。txt对于您来说，您必须使用非默认的永久链接结构。确保已在“设置”>“永久链接”菜单中选择了一个选项。
还有，如果是机器人。txt文件存在于根目录中，它将覆盖Wordpress中的设置。看起来你已经有机器人了。txt文件，这就是wordpress设置被忽略的原因。
SO网友:Eugene Manuilov
您不需要添加robots.txt 文件的根目录。robots.txt 文件在您访问时实时生成http://mysite.com/robots.txt. 负责创建此文件的函数是do_robots.
如果您希望添加自己的指令，只需为robots_txt 过滤器，如下所示：
add_filter( \'robots_txt\', \'wpse8170_my_robots_txt\', 10, 2 );
function wpse8170_my_robots_txt( $output, $public ) {
if ( \'0\' != $public ) {
$output .= \'
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
\';
}
return $output;
}
结束