做SEO的知道，robots文件是搜索引擎访问网站到达的第一个文件。robots文件里的内容告诉搜索引擎，网站上的内容那些可以抓取，哪些不可以抓取。搜索引擎会依照robots上的文件旨意来抓取网站的内容。

接下来，搜索引擎就会按照网站上的链接进行抓取，我们把搜索引擎形象的比作蜘蛛，网站上的各种链接就好像是蜘蛛网，以此我们可以理解，如果网站的架构比较合理，那么蜘蛛爬取的就很方便。
如果网站结构比较复杂，是由无数个链接成的网状，一个一个的页面连着，蜘蛛想要找到产品，也不是一件容易的事情，所以，网站地图就显得越来重要了。就如同我们人一样每到一个陌生的地方，如果到一个陌生城市如果有张地图，我们是不是很方便的去游览这个城市呢。
网站地图大致分为两种：html网站地图和xml网站地图，有很多新手SEO开始不清楚二者某些方面的区别。
1.xml网站地图是SEO领域所说的真正意义上的网站地图，是给搜索引擎看准备的，xml网站地图可以告诉搜索引擎哪个页面是重要页面，就像地图清晰呈现主街道，相当于给了搜索引擎一个方向指引，以及内容更新的频率，但是xml网站地图也是为搜索引擎提供参考意见而已，搜索引擎并不一定完全按照你设置的参数来定案，就像你游览这个城市，想去哪里还是你说了算。

2.html网站地图是产品思维的网站地图，是增强用户浏览体验的，写给网站用户看的。它好比书的目录，给用户了解整个网站的网络结构，不至于迷路。
总结下：
html ：人看的网站地图
xml：机器看的网站地图

但是xml和html格式的地图都需要写入robots文件吗？这个问题没有绝对的是或者不是，两个都放如也可以，放一个也行。
但是基于上面说的xml是一定要放的，目地是便于蜘蛛对网站的抓取。html格式的网站地图，更适合放在网站的底部导航上。