蜘蛛是不可能抓取所有的页面，只是抓取重要的页面，到底哪些因素影响呢？首先我们要认清一个事实，那就是：网站和页面权重是很影响我们的，那些质量高、资格老的网站被认为是权重较高的，他们的页面爬行深度会比较高，所以有很多内页被收录，我们是新站，这就是缺点。 ...