合肥網(wǎng)絡(luò)公司知識之ROBOT和蜘蛛

1、先說ROBOT和蜘蛛的關(guān)系：

Robot的英文意識是機(jī)器人，在網(wǎng)站推廣或搜索引擎優(yōu)化SEO中，也常常翻譯成探測器；它是搜索引擎用來抓取網(wǎng)頁的工具，它是一個(gè)軟件或者說一系列自動(dòng)程序，不同的搜索引擎給他們自己的探測器(Robot)起不同的名字；比如百度叫baiduspider 、MSN叫MSNbot、谷歌叫g(shù)ooglebot、Yahoo叫Slurp? (Slurp，中文理解是機(jī)器人吃東西時(shí)發(fā)出的嘖嘖的聲音)。

所以ROBOT和蜘蛛一個(gè)大類與子類，包含與被包含的關(guān)系。

2、再詳細(xì)介紹百度的蜘蛛：

百度用以抓取并收錄互聯(lián)網(wǎng)上數(shù)以億計(jì)的網(wǎng)頁的程序，就叫做Baiduspider – 百度蜘蛛。它會不知疲倦地、沒日沒夜地在互聯(lián)網(wǎng)上找尋新的URL，接著抓取URL上的內(nèi)容，并返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫里。業(yè)界素有百度蜘蛛一般下午和晚上喜歡來網(wǎng)站抓取內(nèi)容的流傳，無從考證。但如果你能真正做到每天某個(gè)時(shí)間點(diǎn)很規(guī)律地更新文章的話，這個(gè)你看不見的“小蜘蛛”就會在這個(gè)時(shí)間點(diǎn)光臨你的網(wǎng)站。
轉(zhuǎn)載請注明出處 網(wǎng)絡(luò)公司佳達(dá)科技專注于網(wǎng)站推廣 www.baidu0551.cn