搜索引擎将首先在本地建立一个数据库。建立数据库后,这些数据从何而来?他们会派出爬行机器人被称为蜘蛛,蜘蛛会在各种网站上爬行。在蜘蛛爬行的地方,它会收集它们。在收集了这些网站上的网页后,蜘蛛会将它们放入搜索引擎的数据库中。当数据库中的网页越来越多时,蜘蛛在爬行时不会收集所有的网页。蜘蛛会根据原创性、数据库中是否有相同的网页等各个方面收集网页,如果有,也不一定会收集。还有时效性、相关性、权重等等,需要蜘蛛在收集的时候考虑。