學(xué)Python，想必大家都是從爬蟲開始的吧。畢竟網(wǎng)上類似的資源很豐富，開源項(xiàng)目也非常多。下面給大家分享千鋒長沙IT培訓(xùn)整理：最全面的Python庫。

       Python學(xué)習(xí)網(wǎng)絡(luò)爬蟲主要分3個大的版塊：抓取，分析，存儲。當(dāng)我們在瀏覽器中輸入一個url后回車，后臺會發(fā)生什么？簡單來說這段過程發(fā)生了以下四個步驟：查找域名對應(yīng)的IP地址。向IP對應(yīng)的服務(wù)器發(fā)送請求。服務(wù)器響應(yīng)請求，發(fā)回網(wǎng)頁內(nèi)容。瀏覽器解析網(wǎng)頁內(nèi)容。

       學(xué)習(xí)爬蟲需要掌握哪些庫呢？通用：urllib -網(wǎng)絡(luò)庫(stdlib)。requests -網(wǎng)絡(luò)庫。grab – 網(wǎng)絡(luò)庫（基于pycurl）。pycurl – 網(wǎng)絡(luò)庫（綁定libcurl）。urllib3 – Python HTTP庫，安全連接池、支持文件post、可用性高。httplib2 – 網(wǎng)絡(luò)庫。RoboBrowser – 一個簡單的、極具Python風(fēng)格的Python庫，無需獨(dú)立的瀏覽器即可瀏覽網(wǎng)頁。MechanicalSoup -一個與網(wǎng)站自動交互Python庫。mechanize -有狀態(tài)、可編程的Web瀏覽庫。socket – 底層網(wǎng)絡(luò)接口(stdlib)。Unirest for Python – Unirest是一套可用于多種語言的輕量級的HTTP庫。hyper – Python的HTTP/2客戶端。PySocks – SocksiPy更新并積極維護(hù)的版本，包括錯誤修復(fù)和一些其他的特征。作為socket模塊的直接替換。

       網(wǎng)絡(luò)爬蟲框架：grab – 網(wǎng)絡(luò)爬蟲框架（基于pycurl/multicur）。scrapy – 網(wǎng)絡(luò)爬蟲框架（基于twisted），不支持Python3。pyspider – 一個強(qiáng)大的爬蟲系統(tǒng)。cola – 一個分布式爬蟲框架。portia – 基于Scrapy的可視化爬蟲。restkit – Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源，并圍繞它建立的對象。demiurge – 基于PyQuery的爬蟲微框架。

       在框架的選擇問題上，許多人很容易就陷入了下面兩個誤區(qū)中而不自知。哪個框架最好——世上沒有最好的框架，只有最適合你自己、最適合你的團(tuán)隊(duì)的框架。編程語言選擇也是一個道理，你的團(tuán)隊(duì)Python最熟就用Python好了，如果最熟悉的是Ruby那就用Ruby好了，編程語言、框架都只是工具，能多、快、好、省的干完活就是好東西。

       過分關(guān)注性能——其實(shí)大部分人是沒必要太關(guān)心框架的性能的，因?yàn)槟汩_發(fā)的網(wǎng)站根本就是個小站，能上1萬的IP的網(wǎng)站已經(jīng)不多了，上10萬的更是很少很少。在沒有一定的訪問量前談性能其實(shí)是沒有多大意義的，因?yàn)槟愕腃PU和內(nèi)存一直就閑著呢。

上一篇

長沙IT培訓(xùn)程序員必備軟件清單，月入5萬不是夢！

下一篇

長沙千鋒前端培訓(xùn)全套教程分享：MongoDB數(shù)據(jù)庫