剛才提到百度搜索引擎會(huì )設計復雜的抓取策略，其實(shí)搜索引擎與資源提供者之間存在相互依賴(lài)的關(guān)系，其中搜索引擎需要站長(cháng)為其提供資源，否則搜索引擎就無(wú)法滿(mǎn)足用戶(hù)檢索需求；而站長(cháng)需要通過(guò)搜索引擎將自己的 內容推廣出去獲取更多的受眾。spider抓取系統直接涉及互聯(lián)網(wǎng)資源提供者的利益，為了使搜素引擎與站長(cháng)能夠達到雙贏(yíng)，在抓取過(guò)程中雙方必須遵守一定的 規范，以便于雙方的數據處理及對接。這種過(guò)程中遵守的規范也就是日常中我們所說(shuō)的一些網(wǎng)絡(luò )協(xié)議。
以下簡(jiǎn)單列舉：
        http協(xié)議：超文本傳輸協(xié)議，是互聯(lián)網(wǎng)上應用最為廣泛的一種網(wǎng)絡(luò )協(xié)議，客戶(hù)端和服務(wù)器端請求和應答的標準?？蛻?hù)端一般情況是指終端用戶(hù)，服務(wù)器端即指網(wǎng) 站。終端用戶(hù)通過(guò)瀏覽器、蜘蛛等向服務(wù)器指定端口發(fā)送http請求。發(fā)送http請求會(huì )返回對應的httpheader信息，可以看到包括是否成功、服務(wù) 器類(lèi)型、網(wǎng)頁(yè)最近更新時(shí)間等內容。

https協(xié)議：實(shí)際是加密版http，一種更加安全的數據傳輸協(xié)議。

UA屬性：UA即user-agent，是http協(xié)議中的一個(gè)屬性，代表了終端的身份，向服務(wù)器端表明我是誰(shuí)來(lái)干嘛，進(jìn)而服務(wù)器端可以根據不同的身份來(lái)做出不同的反饋結果。

robots協(xié)議：robots.txt是搜索引擎訪(fǎng)問(wèn)一個(gè)網(wǎng)站時(shí)要訪(fǎng)問(wèn)的第一個(gè)文件，用以來(lái)確定哪些是被允許抓取的哪些是被禁止抓取的。 robots.txt必須放在網(wǎng)站根目錄下，且文件名要小寫(xiě)。詳細的robots.txt寫(xiě)法可參考 http://www.robotstxt.org 。百度嚴格按照robots協(xié)議執行，另外，同樣支持網(wǎng)頁(yè)內容中添加的名為robots的meta標 簽，index、follow、nofollow等指令。