国产一精品一av一免费爽爽,68国产成人综合久久精品,亚洲人成网www

圖書詳情內(nèi)容簡介作者簡介目錄熱門圖書累計(jì)評(píng)價(jià)（0）

內(nèi)容簡介

對(duì)大數(shù)據(jù)的搜索、挖掘、可視化以及集群管理，在當(dāng)今的“互聯(lián)網(wǎng) ”時(shí)代是很有必要的。本書的分布式大數(shù)據(jù)搜索、日志挖掘、可視化、集群監(jiān)控與管理等方案是基于Elastic Stack 5而提出的，它能有效應(yīng)對(duì)海量大數(shù)據(jù)所帶來的分布式數(shù)據(jù)存儲(chǔ)與處理、全文檢索、日志挖掘、可視化、集群管理與性能監(jiān)控等問題。構(gòu)建在全文檢索開源軟件Lucene之上的Elasticsearch，不僅能對(duì)海量規(guī)模的數(shù)據(jù)完成分布式索引與檢索，還能提供數(shù)據(jù)聚合分析；Logstash能有效處理來源于各種數(shù)據(jù)源的日志信息；Kibana是為Elasticsearch提供數(shù)據(jù)分析的Web接口，可使用它對(duì)數(shù)據(jù)進(jìn)行高效的搜索、可視化、分析等操作；XPack監(jiān)控組件可通過Kibana監(jiān)控集群的狀態(tài)；Beats是采集系統(tǒng)監(jiān)控?cái)?shù)據(jù)的。了解基于Elastic Stack 5的各相關(guān)組件并掌握它們的基本使用方法和技巧，對(duì)于大數(shù)據(jù)搜索與挖掘及管理是很有必要的。和第1版、第2版相比，本書力求反映基于Elastic Stack 5架構(gòu)的成果，內(nèi)容新穎，強(qiáng)調(diào)實(shí)踐。本書可為高等學(xué)校相關(guān)專業(yè)(如計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、物聯(lián)網(wǎng)、信息管理與信息系統(tǒng)、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù))學(xué)生的學(xué)習(xí)和科研工作提供幫助，同時(shí)對(duì)于從事大數(shù)據(jù)搜索與挖掘、日志分析、信息可視化、集群管理與性能監(jiān)控的工程技術(shù)人員和希望了解網(wǎng)絡(luò)信息檢索技術(shù)的人員也具有較高的參考價(jià)值和工程應(yīng)用價(jià)值。

編輯推薦

本書著重介紹關(guān)于Elastic Stack的基本知識(shí)，帶領(lǐng)讀者深入了解Elastic Stack的實(shí)際應(yīng)用，通過對(duì)數(shù)據(jù)搜索、日志挖掘與結(jié)果可視化展示等相關(guān)功能的介紹和實(shí)戰(zhàn)，引導(dǎo)讀者掌握相關(guān)的大數(shù)據(jù)搜索、日志分析和可視化技術(shù)。本書還詳細(xì)介紹了X-Pack和Beats組件，展示了在Elastic Stack中的一些實(shí)踐。

作者簡介

作者簡介高凱，本書主編。教授，博士畢業(yè)于上海交通大學(xué)計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)，省級(jí)重點(diǎn)學(xué)科“計(jì)算機(jī)軟件與理論”中“信息檢索與云計(jì)算”方向?qū)W術(shù)帶頭人，研究生導(dǎo)師，中國計(jì)算機(jī)學(xué)會(huì)高級(jí)會(huì)員，中國計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)應(yīng)用專委會(huì)常委，International Journal of Computer Applications in Technology副主編；主要研究方向?yàn)榇髷?shù)據(jù)搜索與挖掘、自然語言處理、網(wǎng)絡(luò)信息檢索、社會(huì)計(jì)算等；近幾年出版了《信息檢索與智能處理》、《大數(shù)據(jù)搜索與挖掘》、《網(wǎng)絡(luò)信息檢索技術(shù)及搜索引擎系統(tǒng)開發(fā)》等學(xué)術(shù)專著及多部規(guī)劃教材；在Expert Systems With Applications、International Journal on Intelligent Information and Database System、International Journal on Modelling, Identification and Control、《中文信息學(xué)報(bào)》、《電子學(xué)報(bào)》、《小型微型計(jì)算機(jī)系統(tǒng)》等學(xué)術(shù)期刊以及在PAKDD等國際學(xué)術(shù)會(huì)議上發(fā)表學(xué)術(shù)論文五十余篇；主持及參與國家自然科學(xué)基金課題、省級(jí)科技支撐計(jì)劃課題、省級(jí)自然科學(xué)基金課題等多項(xiàng)，申請計(jì)算機(jī)軟件著作權(quán)登記十余項(xiàng)。

在線預(yù)覽

Chapter 5第5章Elasticsearch配置與集群管理“Elasticsearch comes with reasonable defaults for most settings. Before you set out to tweak and tune the configuration,make sure you understand what are you trying to accomplish and the consequences. The primary way of configuring a node is via the elasticsearch.yml file. This template lists the most important settings you may want to configure for a production cluster.”——elasticsearch.yml基于Elasticsearch，可以完成很多和信息存儲(chǔ)、檢索等相關(guān)的問題。本章將對(duì)Elasticsearch的配置、集群管理等進(jìn)行說明，并對(duì)提高索引和查詢效率的策略進(jìn)行簡述。通過對(duì)本章的學(xué)習(xí)，能達(dá)到更好地配置和使用Elasticsearch的目的。5.1Elasticsearch部分基本配置及其說明Elasticsearch的大多數(shù)配置信息位于{es_home}/config/elasticsearch.yml文件中，所有配置都可使用環(huán)境變量。另一個(gè)是日志配置文件{es_home}/config/log4j2.properties，它對(duì)日志進(jìn)行配置，其設(shè)置按普通log4j2配置文件來設(shè)置即可。Elasticsearch.yml負(fù)責(zé)設(shè)置服務(wù)器的默認(rèn)狀態(tài)，Elasticsearch的大多數(shù)配置在該配置文件中完成。參考文獻(xiàn)\[Open,2014a\]\[子猴博客,2014\]，本節(jié)給出針對(duì)elasticsearch.yml的部分配置設(shè)置信息，包括:(1) 集群名稱cluster.name: 例如“cluster.name: elasticsearch”。設(shè)置好以后，會(huì)自動(dòng)發(fā)現(xiàn)在同一網(wǎng)段下的節(jié)點(diǎn)，如果在同一網(wǎng)段下有多個(gè)集群，可用這個(gè)屬性來區(qū)分不同的集群。(2) 節(jié)點(diǎn)名稱node.name: Elasticsearch啟動(dòng)時(shí)會(huì)自動(dòng)創(chuàng)建節(jié)點(diǎn)名稱，但也可在node.name中配置，例如“node.name: "Franz Kafka"”。指定節(jié)點(diǎn)名稱有助于利用API訪問具體的節(jié)點(diǎn)。雖然默認(rèn)的集群啟動(dòng)時(shí)會(huì)給每個(gè)節(jié)點(diǎn)初始化一個(gè)名稱，但仍然建議在這里手動(dòng)設(shè)置節(jié)點(diǎn)名稱。(3) 節(jié)點(diǎn)是否為master主節(jié)點(diǎn): 每個(gè)節(jié)點(diǎn)都可被配置成為主節(jié)點(diǎn)，默認(rèn)值為true，如“node.master: true”。在node.master: true中進(jìn)行設(shè)置，目的是指定該節(jié)點(diǎn)是否有資格被選舉成為node，默認(rèn)集群中的及時(shí)臺(tái)機(jī)器為master，如果這臺(tái)機(jī)器宕機(jī)就會(huì)重新選舉master。[1][2][1][3](4) 設(shè)置節(jié)點(diǎn)是否存儲(chǔ)數(shù)據(jù): 默認(rèn)值為true，即設(shè)置node.data的值為“node.data: true”。如果希望節(jié)點(diǎn)只是一個(gè)master但不存儲(chǔ)數(shù)據(jù)，則應(yīng)當(dāng)設(shè)置為代碼段5.1所示的屬性(注: 的#標(biāo)記后的文字是注釋說明)。#代碼段5.1: 設(shè)置節(jié)點(diǎn)是master但不存儲(chǔ)數(shù)據(jù)node.master: truenode.data: false如果希望節(jié)點(diǎn)只存儲(chǔ)數(shù)據(jù)但不是一個(gè)master，則應(yīng)當(dāng)設(shè)置為代碼段5.2所示的屬性。#代碼段5.2: 設(shè)置節(jié)點(diǎn)不作為master但存儲(chǔ)數(shù)據(jù)node.master: falsenode.data: true如果既不希望該節(jié)點(diǎn)為一個(gè)master也不想它存儲(chǔ)數(shù)據(jù)，則應(yīng)該設(shè)置為代碼段5.3所示的屬性。對(duì)部分相關(guān)配置的說明如下:#代碼段5.3: 設(shè)置節(jié)點(diǎn)既不是master也不存儲(chǔ)數(shù)據(jù)node.master: falsenode.data: false(1) node.attr.rack設(shè)置機(jī)架編號(hào)，如“r1”。(2) 可在node.max_local_storage_nodes中設(shè)置一臺(tái)機(jī)器能運(yùn)行的較大節(jié)點(diǎn)數(shù)目。 (3) 設(shè)置配置文件的存儲(chǔ)路徑: path.conf: /path/to/conf，默認(rèn)是Elasticsearch根目錄下的config文件夾。(4) 設(shè)置分配給當(dāng)前節(jié)點(diǎn)的索引數(shù)據(jù)所在的位置: 可在配置文件的path.data: /path/to/data中進(jìn)行設(shè)置，默認(rèn)是Elasticsearch根目錄下的data文件夾，可以選擇包含一個(gè)以上的位置，用逗號(hào)隔開，這樣使得數(shù)據(jù)在文件級(jí)別可跨越位置，在創(chuàng)建時(shí)就有更多的自由路徑可供選擇。(5) 設(shè)置日志文件所在位置: 可在path.logs: /path/to/logs中進(jìn)行設(shè)置，默認(rèn)是Elasticsearch根目錄下的logs文件夾。(6) 設(shè)置綁定的IP地址，可以是IPv4或IPv6的，默認(rèn)為0.0.0.0。默認(rèn)情況下Elasticsearch使用0.0.0.0地址，并為HTTP傳輸開啟9200～9300端口，為節(jié)點(diǎn)到節(jié)點(diǎn)的通信開啟9300～9400端口。也可自行設(shè)置IP地址，可在配置文件的network.bind_host和network.publish_host中進(jìn)行設(shè)置。(7) 設(shè)置節(jié)點(diǎn)與其他節(jié)點(diǎn)交互的TCP端口，默認(rèn)是9300，可在配置文件的transport.tcp.port中進(jìn)行設(shè)置。(8) 設(shè)置是否壓縮TCP傳輸時(shí)的數(shù)據(jù)，默認(rèn)為false，可在配置文件的transport.tcp.compress中進(jìn)行設(shè)置。(9) 設(shè)置為HTTP傳輸監(jiān)聽定制的端口，默認(rèn)是9200，可在配置文件的http.port中進(jìn)行設(shè)置。(10) 設(shè)置是否使用HTTP協(xié)議對(duì)外提供服務(wù)，默認(rèn)為true，可在配置文件的http.enabled中進(jìn)行設(shè)置。(11) 設(shè)置內(nèi)容的較大長度，默認(rèn)是100MB，可在配置文件的http.max_content_length中進(jìn)行設(shè)置。(12) 設(shè)置參數(shù)來保障集群中的節(jié)點(diǎn)可以知道其他N個(gè)有master資格的節(jié)點(diǎn)，默認(rèn)為1。對(duì)于較大的集群來說，可以將該值設(shè)置為 (具有master資格的節(jié)點(diǎn)數(shù)/2) 1，可在配置文件的discovery.zen.minimum_master_nodes中進(jìn)行設(shè)置。(13) 設(shè)置集群中自動(dòng)發(fā)現(xiàn)其他節(jié)點(diǎn)時(shí)ping連接超時(shí)時(shí)間，默認(rèn)為3s，即3秒，對(duì)于比較差的網(wǎng)絡(luò)環(huán)境可以提高該值來防止自動(dòng)發(fā)現(xiàn)時(shí)出錯(cuò)，可在配置文件的discovery.zen.ping_timeout中進(jìn)行設(shè)置。(14) 設(shè)置集群中N個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)進(jìn)行數(shù)據(jù)恢復(fù)，默認(rèn)為1，可在配置文件的gateway.recover_after_nodes中進(jìn)行設(shè)置。(15) 設(shè)置初始化數(shù)據(jù)恢復(fù)進(jìn)程的超時(shí)時(shí)間，默認(rèn)是5分鐘: 可在配置文件的gateway.recover_after_time中進(jìn)行設(shè)置。(16) 設(shè)置這個(gè)集群中節(jié)點(diǎn)的數(shù)量，默認(rèn)為2，一旦這N個(gè)節(jié)點(diǎn)啟動(dòng)，就會(huì)立即進(jìn)行數(shù)據(jù)恢復(fù)，可在gateway.expected_nodes中進(jìn)行設(shè)置。(17) 初始化數(shù)據(jù)恢復(fù)時(shí)并發(fā)恢復(fù)線程的個(gè)數(shù)，默認(rèn)為4，可在配置文件的cluster.routing.allocation.node_initial_primaries_recoveries中進(jìn)行設(shè)置。