蜘蛛是不可能抓取所有的页面，只是抓取重要的页面，到底哪些因素影响呢？首先我们要认清一个事实，那就是：网站和页面权重是很影响我们的，那些质量高、资格老的网站被认为是权重较高的，他们的页面爬行深度会比较高，所以有很多内页被收录，我们是新站，这就是缺点。
还有一个就是页面更新程度。当你不去更新了，蜘蛛第二次、第三次发现你没有更新，以后就会减少爬行的。而经常更新的网站，就是频繁的爬行，所以页面出现的链接，会被迅速的抓取。
最后一点就是，必须有导入链接，可以让蜘蛛检测到你的网页。有的站长可能是作弊了吧，会将robots.txt屏蔽，他屏蔽很多项，有时网络去掉，就会造成蜘蛛无法访问。
以上就是最简单的方法，希望对大家有帮助。
公司名称：合肥叶凡网络科技有限公司
网站建设网址：http://www.hfyefan.com/web.html
电话：0551-65867402
业务QQ：446881654
邮箱：web@hfyefan.com
读完这篇文章后，您心情如何？