一，友好性

爬蟲的友好性包含兩方面的含義：一是保護(hù)網(wǎng)站的部分私密性，另外是減少被抓取網(wǎng)站的網(wǎng)絡(luò)負(fù)載。

爬蟲抓取的對象是各種類型的網(wǎng)站，對于網(wǎng)站擁有者來說，有些內(nèi)容并不希望被所有人搜索到，所以需要設(shè)定協(xié)議，來告知爬蟲哪些內(nèi)容是不允許抓取的，目前有兩種主流的方法可達(dá)此目的，爬蟲禁抓協(xié)議和網(wǎng)頁禁抓標(biāo)記。

二，高性能

互聯(lián)網(wǎng)的網(wǎng)頁數(shù)量龐大如海，所以爬蟲的性能至關(guān)重要。這里的性能主要是指爬蟲下載網(wǎng)頁的抓取速度，常見的評價(jià)方式是以爬蟲每秒能夠下載的網(wǎng)頁數(shù)量作為性能指標(biāo)，單位時(shí)間能夠下載的網(wǎng)頁數(shù)*越多，則爬蟲的性能越高。

要提高爬蟲的性能，在設(shè)計(jì)時(shí)程序訪問磁盤的操作方法及其體實(shí)現(xiàn)時(shí)數(shù)據(jù)結(jié)構(gòu)的選擇很關(guān)鍵。比如對于待抓取URL隊(duì)列和已抓取URL隊(duì)列，因?yàn)閁RL數(shù)量非常大，不同實(shí)現(xiàn)方式性能表現(xiàn)迥異，所以高效的數(shù)據(jù)結(jié)構(gòu)對于爬蟲性能影響很大。

  三，可擴(kuò)展性

如上所述，爬蟲需要抓取的網(wǎng)頁數(shù)*巨大，即使單個(gè)爬蟲的性能很高，要將所有網(wǎng)頁都下載到本地，仍然需要相當(dāng)長的時(shí)間周期，為了能夠盡可能縮短抓取周期，爬蟲系統(tǒng)應(yīng)該有很好的可擴(kuò)展性，即很容易通過增加抓取服務(wù)器和爬蟲數(shù)量來達(dá)到此目的。

目前實(shí)用的大型網(wǎng)絡(luò)爬蟲一定是分布式運(yùn)行的，即多臺服務(wù)器專做抓取，每臺服務(wù)器部署多個(gè)爬蟲，每個(gè)爬蟲多線程運(yùn)行，通過多種方式增加并發(fā)性。對于巨型的搜索引擎服務(wù)商來說，可能還要在全球范圍、不同地域分別部署數(shù)據(jù)中心，爬蟲也被分配到不同的數(shù)據(jù)中心，這樣對于提高爬蟲系統(tǒng)的整體性能是很有幫助的。