日韩偷拍一区二区,国产香蕉久久精品综合网,亚洲激情五月婷婷,欧美日韩国产不卡

目錄

前言

基礎篇

第1章回顧Python編程2

1.1安裝Python2

1.1.1Windows上安裝Python2

1.1.2Ubuntu上的Python3

1.2搭建開發環境4

1.2.1Eclipse+PyDev4

1.2.2PyCharm10

1.3IO編程11

1.3.1文件讀寫11

1.3.2操作文件和目錄14

1.3.3序列化操作15

1.4進程和線程16

1.4.1多進程16

1.4.2多線程22

1.4.3協程25

1.4.4分布式進程27

1.5網絡編程32

1.5.1TCP編程33

1.5.2UDP編程35

1.6小結36

第2章Web前端基礎37

2.1W3C標準37

2.1.1HTML37

2.1.2CSS47

2.1.3JavaScript51

2.1.4XPath56

2.1.5JSON61

2.2HTTP標準61

2.2.1HTTP請求過程62

2.2.2HTTP狀態碼含義62

2.2.3HTTP頭部信息63

2.2.4Cookie狀態管理66

2.2.5HTTP請求方式66

2.3小結68

第3章初識網絡爬蟲69

3.1網絡爬蟲概述69

3.1.1網絡爬蟲及其應用69

3.1.2網絡爬蟲結構71

3.2HTTP請求的Python實現72

3.2.1urllib2/urllib實現72

3.2.2httplib/urllib實現76

3.2.3更人性化的Requests77

3.3小結82

第4章HTML解析大法83

4.1初識Firebug83

4.1.1安裝Firebug84

4.1.2強大的功能84

4.2正則表達式95

4.2.1基本語法與使用96

4.2.2Python與正則102

4.3強大的BeautifulSoup108

4.3.1安裝BeautifulSoup108

4.3.2BeautifulSoup的使用109

4.3.3lxml的XPath解析124

4.4小結126

第5章數據存儲(無數據庫版)127

5.1HTML正文抽取127

5.1.1存儲為JSON127

5.1.2存儲為CSV132

5.2多媒體文件抽取136

5.3Email提醒137

5.4小結138

第6章實戰項目：基礎爬蟲139

6.1基礎爬蟲架構及運行流程140

6.2URL管理器141

6.3HTML下載器142

6.4HTML解析器143

6.5數據存儲器145

6.6爬蟲調度器146

6.7小結147

第7章實戰項目：簡單分布式爬蟲148

7.1簡單分布式爬蟲結構148

7.2控制節點149

7.2.1URL管理器149

7.2.2數據存儲器151

7.2.3控制調度器153

7.3爬蟲節點155

7.3.1HTML下載器155

7.3.2HTML解析器156

7.3.3爬蟲調度器157

7.4小結159

中級篇

第8章數據存儲(數據庫版)162

8.1SQLite162

8.1.1安裝SQLite162

8.1.2SQL語法163

8.1.3SQLite增刪改查168

8.1.4SQLite事務170

8.1.5Python操作SQLite171

8.2MySQL174

8.2.1安裝MySQL174

8.2.2MySQL基礎177

8.2.3Python操作MySQL181

8.3更適合爬蟲的MongoDB183

8.3.1安裝MongoDB184

8.3.2MongoDB基礎187

8.3.3Python操作MongoDB194

8.4小結196

第9章動態網站抓取197

9.1Ajax和動態HTML197

9.2動態爬蟲1：爬取影評信息198

9.3PhantomJS207

9.3.1安裝PhantomJS207

9.3.2快速入門208

9.3.3屏幕捕獲211

9.3.4網絡監控213

9.3.5頁面自動化214

9.3.6常用模塊和方法215

9.4Selenium218

9.4.1安裝Selenium219

9.4.2快速入門220

9.4.3元素選取221

9.4.4頁面操作222

9.4.5等待225

9.5動態爬蟲2：爬取去哪網227

9.6小結230

第10章Web端協議分析231

10.1網頁登錄POST分析231

10.1.1隱藏表單分析231

10.1.2加密數據分析234

10.2驗證碼問題246

10.2.1IP246

10.2.2Cookie登錄249

10.2.3傳統驗證碼識別250

10.2.4人工打碼251

10.2.5滑動驗證碼252

10.3www>m>wap252

10.4小結254

第11章終端協議分析255

11.1PC客戶端抓包分析255

11.1.1HTTP Analyzer簡介255

11.1.2蝦米音樂PC端API實戰分析257

11.2App抓包分析259

11.2.1Wireshark簡介259

11.2.2酷我聽書App端API實戰分析266

11.3API爬蟲：爬取mp3資源信息268

11.4小結272

第12章初窺Scrapy爬蟲框架273

12.1Scrapy爬蟲架構273

12.2安裝Scrapy275

12.3創建cnblogs項目276

12.4創建爬蟲模塊277

12.5選擇器278

12.5.1Selector的用法278

12.5.2HTML解析實現280

12.6命令行工具282

12.7定義Item284

12.8翻頁功能286

12.9構建Item Pipeline287

12.9.1定制Item Pipeline287

12.9.2激活Item Pipeline288

12.10內置數據存儲288

12.11內置圖片和文件下載方式289

12.12啟動爬蟲294

12.13強化爬蟲297

12.13.1調試方法297

12.13.2異常299

12.13.3控制運行狀態300

12.14小結301

第13章深入Scrapy爬蟲框架302

13.1再看Spider302

13.2Item Loader308

13.2.1Item與Item Loader308

13.2.2輸入與輸出處理器309

13.2.3Item Loader Context310

13.2.4重用和擴展Item Loader311

13.2.5內置的處理器312

13.3再看Item Pipeline314

13.4請求與響應315

13.4.1Request對象315

13.4.2Response對象318

13.5下載器中間件320

13.5.1激活下載器中間件320

13.5.2編寫下載器中間件321

13.6Spide