1、一、下载网站日志
下载网站日志的途径，
一是直接空间后台的控制面板找到相应的日志模块然后生产下载日志文件；趣册哨
二是网站程序自带的日志功能生成的日志文件，利用FTP将日志文件下载到本地。
2、 第二、日志分析
1、直接查看日志文件，查看百度蜘蛛的爬行情况
利用Ctrl+F的方式查找baidu，然后可以看到百度蜘蛛的爬行记录
3、 2、利用日志分析工具，分析网站被蜘蛛爬行的记录
打开工具然后选取开始下载爹晃的日志文件，然后点击分析，到处结果，如下图：
4、 通泰鬼过上图案例的日志分析，百度蜘蛛只爬行了网站首页未抓取更多的内容页面。一般这样的情况需要网站保持更新，让网站增加更多的原创内容。