爬行蜘蛛(spider, bot)是搜索引擎采集网站内容的工具。不同搜索引擎使用自各的蜘蛛从网站那里抓取内容页面。大多数搜索引擎的蜘蛛都有自己的身份标识。本文收集整理经常会光顾中国国内网站的爬行采集蜘蛛，供搜索引擎优化或其它作用参考：
>>阅读全文