日韩偷拍一区二区,国产香蕉久久精品综合网,亚洲激情五月婷婷,欧美日韩国产不卡

第1章

準(zhǔn)備工作

本書主要內(nèi)容

本書講的是利用Python進(jìn)行數(shù)據(jù)控制、處理、整理、分析等方面的具體細(xì)節(jié)和基本要點(diǎn)。同時(shí)，它也是利用Python進(jìn)行科學(xué)計(jì)算的實(shí)用指南(專門針對(duì)數(shù)據(jù)密集型應(yīng)用)。本書重點(diǎn)介紹了用于高效解決各種數(shù)據(jù)分析問題的Python語(yǔ)言和庫(kù)。本書沒有闡述如何利用Python實(shí)現(xiàn)具體的分析方法。

當(dāng)書中出現(xiàn)“數(shù)據(jù)”時(shí)，究竟指的是什么呢？主要指的是結(jié)構(gòu)化數(shù)據(jù)(structured data)，這個(gè)故意含糊其辭的術(shù)語(yǔ)代指了所有通用格式的數(shù)據(jù)，例如：

多維數(shù)組(矩陣)。

表格型數(shù)據(jù)，其中各列可能是不同的類型(字符串、數(shù)值、日期等)。比如保存在關(guān)系型數(shù)據(jù)庫(kù)中或以制表符/逗號(hào)為分隔符的文本文件中的那些數(shù)據(jù)。

通過關(guān)鍵列(對(duì)于SQL用戶而言，就是主鍵和外鍵)相互聯(lián)系的多個(gè)表。

間隔平均或不平均的時(shí)間序列。

這絕不是一個(gè)完整的列表。大部分?jǐn)?shù)據(jù)集都能被轉(zhuǎn)化為更加適合分析和建模的結(jié)構(gòu)化形式，雖然有時(shí)這并不是很明顯。如果不行的話，也可以將數(shù)據(jù)集的特征提取為某種結(jié)構(gòu)化形式。例如，一組新聞文章可以被處理為一張?jiān)~頻表，而這張?jiān)~頻表就可以用于情感分析。

大部分電子表格軟件(比如Microsoft Excel，它可能是世界上使用最廣泛的數(shù)據(jù)分析工具了)的用戶不會(huì)對(duì)此類數(shù)據(jù)感到陌生。

為什么要使用Python進(jìn)行數(shù)據(jù)分析

許許多多的人(包括我自己)都很容易愛上Python這門語(yǔ)言。自從1991年誕生以來(lái)，Python現(xiàn)在已經(jīng)成為受歡迎的動(dòng)態(tài)編程語(yǔ)言之一，其他還有Perl、Ruby等。由于擁有大量的Web框架(比如Rails(Ruby)和Django(Python))，最近幾年非常流行使用Python和Ruby進(jìn)行網(wǎng)站建設(shè)工作。這些語(yǔ)言常被稱作腳本(scripting)語(yǔ)言，因?yàn)樗鼈兛梢杂糜诰帉懞?jiǎn)短而粗糙的小程序(也就是腳本)。我個(gè)人并不喜歡“腳本語(yǔ)言”這個(gè)術(shù)語(yǔ)，因?yàn)樗孟裨谡f(shuō)這些語(yǔ)言無(wú)法用于構(gòu)建嚴(yán)謹(jǐn)?shù)能浖Ｔ诒姸嘟忉屝驼Z(yǔ)言中，Python較大的特點(diǎn)是擁有一個(gè)巨大而活躍的科學(xué)計(jì)算(scientific computing)社區(qū)。進(jìn)入21世紀(jì)以來(lái)，在行業(yè)應(yīng)用和學(xué)術(shù)研究中采用Python進(jìn)行科學(xué)計(jì)算的勢(shì)頭越來(lái)越猛。

在數(shù)據(jù)分析和交互、探索性計(jì)算以及數(shù)據(jù)可視化等方面，Python將不可避免地接近于其他開源和商業(yè)的領(lǐng)域特定編程語(yǔ)言/工具，如R、MATLAB、SAS、Stata等。近年來(lái)，由于Python有不斷改良的庫(kù)(主要是pandas)，使其成為數(shù)據(jù)處理任務(wù)的一大替代方案。結(jié)合其在通用編程方面的強(qiáng)大實(shí)力，我們可以只使用Python這一種語(yǔ)言去構(gòu)建以數(shù)據(jù)為中心的應(yīng)用程序。

把Python當(dāng)做粘合劑

作為一個(gè)科學(xué)計(jì)算平臺(tái)，Python的成功部分源于其能夠輕松地集成C、C 以及Fortran代碼。大部分現(xiàn)代計(jì)算環(huán)境都利用了一些Fortran和C庫(kù)來(lái)實(shí)現(xiàn)線性代數(shù)、挑選、積分、快速傅里葉變換以及其他諸如此類的算法。許多企業(yè)和國(guó)家實(shí)驗(yàn)室也利用Python來(lái)“粘合”那些已經(jīng)用了30多年的遺留軟件系統(tǒng)。

大多數(shù)軟件都是由兩部分代碼組成的：少量需要占用大部分執(zhí)行時(shí)間的代碼，以及大量不經(jīng)常執(zhí)行的“粘合劑代碼”。粘合劑代碼的執(zhí)行時(shí)間通常是微不足道的。開發(fā)人員的精力幾乎都是花在優(yōu)化計(jì)算瓶頸上面的，有時(shí)更是直接轉(zhuǎn)用更低級(jí)的語(yǔ)言(比如C)。

最近這幾年，Cython項(xiàng)目已經(jīng)成為Python領(lǐng)域中創(chuàng)建編譯型擴(kuò)展以及對(duì)接C/C 代碼的一大途徑。

解決“兩種語(yǔ)言”問題

很多組織通常都會(huì)用一種類似于領(lǐng)域特定的計(jì)算語(yǔ)言(如MATLAB和R)對(duì)新的想法進(jìn)行研究、原型構(gòu)建和測(cè)試，然后再將這些想法移植到某個(gè)更大的生產(chǎn)系統(tǒng)中去(可能是用Java、C#或C 編寫的)。人們逐漸意識(shí)到，Python不僅適用于研究和原型構(gòu)建，同時(shí)也適用于構(gòu)建生產(chǎn)系統(tǒng)。我相信越來(lái)越多的企業(yè)也會(huì)這樣看，因?yàn)檠芯咳藛T和工程技術(shù)人員使用同一種編程工具將會(huì)給企業(yè)帶來(lái)非常顯著的組織效益。

為什么不選Python

雖然Python非常適合構(gòu)建計(jì)算密集型科學(xué)應(yīng)用程序以及幾乎各種各樣的通用系統(tǒng)，但它對(duì)于不少應(yīng)用場(chǎng)景仍然力有不逮。

由于Python是一種解釋型編程語(yǔ)言，因此大部分Python代碼都要比用編譯型語(yǔ)言(比如Java和C )編寫的代碼運(yùn)行慢得多。由于程序員的時(shí)間通常都比CPU時(shí)間值錢，因此許多人也愿意在這里做一些權(quán)衡。但是，在那些要求延遲非常小的應(yīng)用程序中(例如高頻交易系統(tǒng))，為了盡較大可能地優(yōu)化性能，耗費(fèi)時(shí)間使用諸如C 這樣更低級(jí)、更低生產(chǎn)率的語(yǔ)言進(jìn)行編程也是值得的。

對(duì)于高并發(fā)、多線程的應(yīng)用程序而言(尤其是擁有許多計(jì)算密集型線程的應(yīng)用程序)，Python并不是一種理想的編程語(yǔ)言。這是因?yàn)镻ython有一個(gè)叫做全局解釋器鎖(Global Interpreter Lock，GIL)的東西，這是一種防止解釋器同時(shí)執(zhí)行多條Python字節(jié)碼指令的機(jī)制。有關(guān)“為什么會(huì)存在GIL”的技術(shù)性原因超出了本書的范圍，但是就目前來(lái)看，GIL并不會(huì)在短時(shí)間內(nèi)消失。雖然很多大數(shù)據(jù)處理應(yīng)用程序?yàn)榱四茉谳^短的時(shí)間內(nèi)完成數(shù)據(jù)集的處理工作都需要運(yùn)行在計(jì)算機(jī)集群上，但是仍然有一些情況需要用單進(jìn)程多線程系統(tǒng)來(lái)解決。

這并不是說(shuō)Python不能執(zhí)行真正的多線程并行代碼，只不過這些代碼不能在單個(gè)Python進(jìn)程中執(zhí)行而已。比如說(shuō)，Cython項(xiàng)目可以集成OpenMP(一個(gè)用于并行計(jì)算的C框架)以實(shí)現(xiàn)并行處理循環(huán)進(jìn)而大幅度提高數(shù)值算法的速度。"

……