學Python，想必大家都是從爬蟲開始的吧。畢竟網上類似的資源很豐富，開源項目也非常多。下面給大家分享千鋒長沙IT培訓整理：最全面的Python庫。

       Python學習網絡爬蟲主要分3個大的版塊：抓取，分析，存儲。當我們在瀏覽器中輸入一個url后回車，后臺會發生什么？簡單來說這段過程發生了以下四個步驟：查找域名對應的IP地址。向IP對應的服務器發送請求。服務器響應請求，發回網頁內容。瀏覽器解析網頁內容。

       學習爬蟲需要掌握哪些庫呢？通用：urllib -網絡庫(stdlib)。requests -網絡庫。grab – 網絡庫（基于pycurl）。pycurl – 網絡庫（綁定libcurl）。urllib3 – Python HTTP庫，安全連接池、支持文件post、可用性高。httplib2 – 網絡庫。RoboBrowser – 一個簡單的、極具Python風格的Python庫，無需獨立的瀏覽器即可瀏覽網頁。MechanicalSoup -一個與網站自動交互Python庫。mechanize -有狀態、可編程的Web瀏覽庫。socket – 底層網絡接口(stdlib)。Unirest for Python – Unirest是一套可用于多種語言的輕量級的HTTP庫。hyper – Python的HTTP/2客戶端。PySocks – SocksiPy更新并積極維護的版本，包括錯誤修復和一些其他的特征。作為socket模塊的直接替換。

       網絡爬蟲框架：grab – 網絡爬蟲框架（基于pycurl/multicur）。scrapy – 網絡爬蟲框架（基于twisted），不支持Python3。pyspider – 一個強大的爬蟲系統。cola – 一個分布式爬蟲框架。portia – 基于Scrapy的可視化爬蟲。restkit – Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源，并圍繞它建立的對象。demiurge – 基于PyQuery的爬蟲微框架。

       在框架的選擇問題上，許多人很容易就陷入了下面兩個誤區中而不自知。哪個框架最好——世上沒有最好的框架，只有最適合你自己、最適合你的團隊的框架。編程語言選擇也是一個道理，你的團隊Python最熟就用Python好了，如果最熟悉的是Ruby那就用Ruby好了，編程語言、框架都只是工具，能多、快、好、省的干完活就是好東西。

       過分關注性能——其實大部分人是沒必要太關心框架的性能的，因為你開發的網站根本就是個小站，能上1萬的IP的網站已經不多了，上10萬的更是很少很少。在沒有一定的訪問量前談性能其實是沒有多大意義的，因為你的CPU和內存一直就閑著呢。

上一篇

長沙IT培訓程序員必備軟件清單，月入5萬不是夢！

下一篇

長沙千鋒前端培訓全套教程分享：MongoDB數據庫