搜搜引擎蜘蛛是一个自动抓取互联网上网页内容的程序,每个搜索引擎都有自己的蜘蛛。
搜索引擎蜘蛛也叫搜索引擎爬虫、搜索引擎robot。
国内各大搜索引擎蜘蛛名称:
百度:百度spider
谷歌:googlebot
搜狗:sogou spider
搜搜:Sosospider
360搜索:360Spider
有道:YodaoBot
雅虎:Yahoo Slurp
必应:msnbot
Msn:msnbot
以上是常见的搜索引擎蜘蛛(爬虫),如果你的网站不想让让某些蜘蛛抓取,那么可以通过robots.txt来限制爬虫的抓取。
深圳市圣玺网络技术有限公司提供营销网站建设、品牌网站设计、网站改版制作、网络营销推广、网站优化外包服务,专注研究搜索引擎的收录规则及算法,提升企业网站关键词排名效果.
上一篇:网站降权的体现和征兆有哪些?
下一篇:优化基础知识:什么叫反向链接?