《網(wǎng)絡(luò)爬蟲(python實現(xiàn))》由會員上傳分享，免費在線閱讀，更多相關(guān)內(nèi)容在教育資源-天天文庫。

1、Presentation網(wǎng)絡(luò)爬蟲入門

2、以華師圖書館/豆瓣為例(Python實現(xiàn))@汪政EastChinaNormalUniversity2021年8月6日CONTENTS目錄1什么是爬蟲2背景意義3三步走4模擬登陸5豆瓣抓取6小結(jié)2021年8月6日EastChinaNormalUniversity網(wǎng)絡(luò)爬蟲網(wǎng)絡(luò)爬蟲：是一個功能很強的自動提取網(wǎng)頁的程序/腳本，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成部分。防爬蟲：爬蟲行為分為搜索引擎爬蟲及掃描程序爬蟲，可屏蔽特定的搜索引擎爬蟲節(jié)省帶寬和性能，也可屏蔽掃描程序爬蟲，避免網(wǎng)站被惡意抓

3、取頁面。（網(wǎng)站潔癖）2021年8月6日EastChinaNormalUniversity選題背景三步走Review模擬登陸豆瓣抓取小結(jié)在我們?nèi)粘Ｉ暇W(wǎng)瀏覽網(wǎng)頁的時候，經(jīng)常會看到一些好看的圖片，我們就希望把這些圖片保存下載，或者用戶用來做桌面壁紙，或者用來做設(shè)計的素材。我們最常規(guī)的做法就是通過鼠標右鍵，選擇另存為。但有些圖片鼠標右鍵的時候并沒有另存為選項，還有辦法就通過就是通過截圖工具截取下來，但這樣就降低圖片的清晰度。好吧～！其實你很厲害的，右鍵查看頁面源代碼。我們再來看下知乎神貼~可以干哪些有趣的事情？12021年8月6日圖片文本視頻E

4、astChinaNormalUniversity選題背景三步走Review模擬登陸豆瓣抓取小結(jié)[第一步]爬哪里（URL）：獲取整個頁面數(shù)據(jù)[第二步][第三步]怎么爬（Method）:非常強大的正則表達式，以及許多開源庫（urllib,BeautifulSoup）我們可以通過python來實現(xiàn)這樣一個簡單的爬蟲功能，把我們想要的代碼爬取到本地。下面就看看如何使用python來實現(xiàn)這樣一個功能。一般我們?nèi)阶?！三步?2021年8月6日EastChinaNormalUniversity爬什么（interesting）：你對什么感興趣選題背景

5、三步走Review模擬登陸豆瓣抓取小結(jié)Review2021年8月6日EastChinaNormalUniversity瀏覽器訪問服務(wù)器的過程在用戶訪問網(wǎng)頁時，不論是通過、IP，還是點擊鏈接，瀏覽器向WEB服務(wù)器發(fā)出了一個HttpRequest），WEB服務(wù)器接收到瀏覽器的請求之后，響應(yīng)客戶端的請求，發(fā)回相應(yīng)的響應(yīng)信息（HttpResponse），瀏覽器解析引擎，排版引擎分析返回的內(nèi)容，呈現(xiàn)給用戶。交互的過程中，HTTP請求和響應(yīng)時發(fā)送的都是一個消息結(jié)構(gòu)。實例：（華東師范大學圖書館）選題背景三步走Review模擬登陸豆瓣抓取小結(jié)代碼分析：

6、模擬登陸華東師范大學圖書館爬蟲結(jié)果：借閱歷史.txt模擬登陸華東師范大學圖書館并爬取借閱歷史42021年8月6日EastChinaNormalUniversity當你要模擬登錄一個網(wǎng)站時，首先要搞清楚網(wǎng)站的登錄處理細節(jié)（發(fā)了什么樣的數(shù)據(jù)，給誰發(fā)等...）。通過抓取http數(shù)據(jù)包來分析該網(wǎng)站的登錄流程。同時，我們還要分析抓到的post包的數(shù)據(jù)結(jié)構(gòu)和header，要根據(jù)提交的數(shù)據(jù)結(jié)構(gòu)和heander來構(gòu)造自己的post數(shù)據(jù)和header。并發(fā)送給指定url。我們通過urllib2等幾個模塊提供的API來實現(xiàn)request請求的發(fā)送和相應(yīng)的

7、接收。大部分網(wǎng)站登錄時需要攜帶cookie，所以我們還必須設(shè)置cookie處理器來保證cookie選題背景三步走Review模擬登陸豆瓣抓取小結(jié)抓取豆瓣上計算機類圖書評分最高的top150本書籍，并保存在本地Excel中。2021年8月6日step1分析網(wǎng)頁源代碼結(jié)構(gòu)step2確定爬蟲方法step2本地保存EastChinaNormalUniversity課題背景三步走Review模擬登陸豆瓣抓取小結(jié)小結(jié)72021年8月6日多線程……代理偽裝使用代理服務(wù)器偽裝成瀏覽器訪問反”反盜鏈”多線程并發(fā)抓取驗證碼的處理代碼簡單，使用方便，性能也不

8、俗，可謂居家旅行，殺人放火（黑網(wǎng)站），咳咳，之必備神器。EastChinaNormalUniversity壓縮，超時設(shè)置多代理自動選擇謝謝聆聽@汪政中國·上海2021年8月6日EastChinaNormalUniversity