这是来自Google Webmaster Central博客上的一篇文章，现在官方已正式证实，网络爬虫Googlebot已扩大到覆盖JavaScript中的部分内容。如果不将一些基本规则纳入考虑的话，这一改变将对搜索结果产生一些负面影响。
并且Google推荐的做法是在robots.txt中开放对JavaScript和CSS文件的访问，这与移动站点的关系尤为密切，因为JavaScript和CSS文件将允许Google算法了解该页面是针对移动端优化的。
几乎所有的站都在用JavaScript技术，之前百度也给出了如下建议：
1. 不要使用过于复杂的JavaScript技术，这不利于搜索引擎的收录
2. 不要阻止对.js文件的收录，否则会限制JavaScript解析的能力
3. 合理的划分站点的静态部分和动态部分
相关阅读：百度可以收录JS文件了?
