引論:我們為您整理了13篇大數據平臺解決方案范文,供您借鑒以豐富您的創作。它們是您寫作時的寶貴資源,期望它們能夠激發您的創作靈感,讓您的文章更具深度。
篇1
電信數據平臺承載著電信網中各類用戶數據的收集過濾,存儲聚合,分析挖掘等功能,為企業對于用戶的各種決策提供一定數據支撐。同時,電信數據平臺也通過收集相關的信令數據,監控電信網的實際運行情況,是企業的核心系統之一。
傳統電信數據平臺由數據倉庫和關系型數據庫構成。數據采集端收集各種信息,如用戶狀態,用戶位置,終端日志,網絡狀態等一系列異構的數據信息,并統一匯總到數據倉庫。數據倉庫中存儲有全量信息,通過運行各種ETL程序,將龐大的數據倉庫的信息分門別類轉移到例如Oracle,DB2,Sybase等各類關系型數據庫的各個表中。數據分析人員一般通過類似于商業智能的平臺,通過撰寫SQL語句,提取關系型數據庫中的有用數據,來簡單的分析各類問題。傳統的電信數據平臺,具有集中式,造價昂貴,部署和運維復雜等特點。在相當長一段時期內,由于單位時間生成的數據規模沒有顯著增加,沒有到達數據庫的使用瓶頸,傳統的電信數據平臺可以較好的應對各種需求。但隨著單位時間內,采集端生成的數據飛速膨脹,每天生成數十億乃至上百億的各類異構數據需要存儲和分析,傳統的電信數據平臺逐漸暴露了其不足之處。
傳統的電信數據平臺組織方案有以下兩個方面的不足需要改進。首先是對于海量數據存儲和查詢較為困難。中心型的關系型數據庫難以承受較高的用戶查詢負載,并且關系型數據庫的成本開銷較為昂貴,并不支持簡單的線性擴展,若采用數據庫分庫和分表等輔助手段,則整個數據平臺的復雜性有較大提升并且難以維護,所以傳統的電信數據平臺不能應對海量數據的存儲和查詢。第二點不足是實時性不足。一般而言,數據在數據倉庫構建就需要很長的數據,由數據倉庫經ETL程序歸并到各類數據庫同樣耗時巨大且有很多冗余的處理,同時批處理系統分析數據的延時在小時級別以上,隨著越來越多數據采集端的部署,數據產生速度越來越快,規模越來越大,實時對數據進行分析,并把結果進行可視化,對于實時監控的需求越來越重要,傳統的電信數據平臺延時較大,不能夠適應數據實時性的要求。
針對以上分析的不足,本文提出一種基于Lambda架構的電信數據平臺解決方案。Lambda架構,是Nathan Marz提出的一個實時大數據處理框架,具備高吞吐量和低延時的特點。本文結合Lambda架構,闡述了新型電信數據平臺的基本構成和各層的職責,同時也具體介紹了各層使用的互聯網開源大數據項目,描述了整個工作流程和數據流向,體現了新型電信數據平臺具備的高吞吐量,低延時,高容錯性的特點,解決了傳統電信數據平臺難以應對海量數據存儲和查詢,以及不能實時分析的不足。為電信網各數據平臺在新需求下的轉型提供了一個良好的嘗試。
2 相關技術介紹
2.1 Lambda架構
Lambda架構是由Nathan Marz提出的一種大數據處理架構,結合了批處理計算和實時計算的特點,融合了不可變性,讀寫分離和復雜性隔離等一系列架構原則,具備高容錯、低延時和可擴展等特點。一般分為批處理層,服務層和速度層,如圖1所示。
批處理層對全量數據進行迭代計算,全量數據可以認為是一個不可變的持續增長的數據集。批處理層對于全量數據進行批處理計算,得到批處理視圖,存儲到服務層。服務層可以根據查詢條件,對批處理視圖的結果進行再次合并等處理。批處理層通過定時的重復批處理視圖的更新,可以保證數據的高容錯性,但是計算時間一般較長,延時較大,適用于全局規模的分析和預計算。批處理層一般由大數據批處理框架來實現。
服務層的任務是對于用戶查詢提供支持。它根據查詢條件,隨機訪問視圖,組合批處理視圖和實時視圖的結果,最終反饋給用戶。服務層一般由NoSql數據庫實現,但是為了降低復雜性,不允許對視圖結果進行隨機寫操作,僅提供對于批處理視圖和實時視圖的加載和隨機讀取操作。
速度層負責實時計算增量數據。由于批處理計算比較耗時,隨時而來的實時增量數據等不到有效計算,通過引入速度層解決這一問題。速度層只處理最近的數據,采用快速,增量的算法,通過實時計算,維護較小規模的實時視圖,是對批處理視圖更新是較高延時的一種補充。同時,由于全量數據計算的準確性,允許批處理視圖最終覆蓋實時視圖。速度層一般由消息系統隨時拉取新增的數據,并通過實時流式計算框架完成實時視圖的生成。
2.2 Hadoop
Hadoop是一個處理海量數據的分布式系統基礎架構。Hadoop 2.0架構由HDFS,YARN和MapReduce構成。HDFS是Hadoop中的分布式文件系統,它將海量數據存儲于DataNode中,由NameNode維護各DataNode的元數據信息。YARN是Hadoop中的資源管理系統,監控每個節點,并協調MapReduce任務的分配。MapReduce是Hadoop中分布式數據處理框架,它將數據處理分為兩個階段,即Map和Reduce兩個階段,提供批處理并行計算的框架。對于Map階段,對輸入數據應用Map Function,執行結果為Key和Value的元組,相同Key的元組通過執行Reduce Function進行合并,最終生成結果。Hadoop有很豐富的其他組件支持各種需求的分析,如Pig,Hive,Impala等,這些高級工具可以自動將高級原語翻譯為MapReduce任務執行,有更好的使用體驗。本文,Hadoop作為Lambda架構中批處理層實現,全量數據存儲在HDFS上,應用MapReduce計算,生成批處理視圖。
3 結束語
本文結合Nathan Marz提出的Lambda架構和電信數據的特點,提出了基于Lambda架構的電信數據平臺解決方案。本方案既可以通過全量數據的定期迭代計算,離線分析電信網收集的相關數據,生成批量視圖,同時也可以通過流式計算框架,對增量數據進行實時分析,生成增量視圖。同時,將批量視圖和增量視圖聚合,一起組合為查詢服務,使得平臺既有實時系統的吞吐量,有具備離線系統的完備性。
參考文I
[1]Marz N,Warren J.Big Data:Principles and best practices of scalable realtime data systems[M].Manning,2015.
[2]Chaudhri A B."Next Gen Hadoop:Gather around the campfire and I will tell you a good YARN"[J].
篇2
在IBM看來,Power平臺是構建大數據應用的一把“利器”?!按髷祿且粋€跨行業的需求,不僅在互聯網公司,傳統企業客戶,像金融、政府、電信等行業也有非常多的有關大數據的應用?!?IBM大中華區副總裁及系統與科技部Power Systems總經理侯淼表示,“Power平臺所具有的大內存、大Cache、多線程等技術特征,使之非常符合大數據的應用需求?!?/p>
數據倉庫、數據挖掘、業務數據庫,這些都是Power平臺傳統的優勢領域。在IBM系統與科技部大中華區Power Systems產品總監李紅看來,這些既有優勢為Power平臺在大數據領域的應用奠定了基礎。
“首先,大數據應用需要與既有系統進行平滑、無縫的連接和交互。在此基礎上,Power平臺可以拓展新的需求,例如開源的非結構化數據、流數據的分析等,都可以集成到新的需求中去。在這個過程中,傳統方案需要和新方案實現很好的整合,Power平臺的價值進一步得到體現。此外,軟件生態系統至關重要,對軟件以及并發處理等場景的廣泛支持(包括DB2、GPFS等)使基于Power的解決方案具備更多優勢?!崩罴t告訴記者。
面向數據類型的解決方案
多樣性是大數據的一個典型特征,在IBM看來,面向不同大數據類型,大數據應用可分為靜態批量大數據處理、實時大數據處理、數據倉庫整合、數據集市構建四類,IBM面向這四類應用都有專門的解決方案?!耙詳祿}庫應用為基礎,發展出了新的大數據應用場景和需求,例如靜態數據的批處理、流數據的實時分析等。 IBM的思路是提供整合的解決方案,幫助用戶最終獲得完整的數據價值。”李紅表示。
在靜態大數據解決方案中,Power可支持Open Hadoop、 BigInsights、 Symphony 等大數據解決方案,并能夠與傳統數據倉庫系統無縫集成。李紅解釋說:“Symphony專門面向計算密集型大數據應用,BigInsight在Hadoop框架上增加了安全管理、工作流等特性,并融入了IBM獨特的數據分析、機器學習和文本數據分析挖掘等技術?!?/p>
篇3
許多人一提到大數據,首先想到的是復雜的數據分析。這讓有些希望采用大數據分析工具的用戶產生了畏難情緒,也讓有些用戶產生了誤解,認為大數據分析只是那些擁有復雜業務流程和海量數據的大企業的事。市場研究機構麥肯錫的研究人員表示:“要創造新的重大價值,并不一定要采用復雜的大數據分析方法,有時只要能保證數據的可用性或對數據應用進行基本的分析,就能獲得所需的重要價值。”
不同的企業或一個企業內部不同的部門對數據分析和數據價值的理解都不相同。企業處于不同的信息化發展階段,也會設定不同的數據分析目標,采用不同的數據分析工具。正是基于此,戴爾率先提出了大數據成熟度模型。戴爾公司全球企業級解決方案副總裁Cheryl Cook表示:“這一模型已經得到了業內許多分析機構的認可。所有行業以及所有數據應用都適用于此模型?!?/p>
如下圖所示,大數據成熟度模型分成五個階段。第一個階段,數據處于混亂狀態,數據存儲無章可循,數據難以訪問,企業的信息系統處于高風險狀態。第二個階段,實現數據的保留。在這個階段,企業被動地對數據進行存儲。數據雖然經過一定的處理,但還不具有高質量,數據的訪問也會受到一定限制。第三個階段,實現存儲的優化。在這個階段,通過對存儲系統的進一步優化以及基于策略的控制與管理,用戶可以逐步發現數據的價值。第四個階段,實現簡單的分析。在存儲優化的基礎上,用戶可以進行數據建模和簡單的數據分析,對歸檔數據進行搜索等。第五個階段,實現復雜的分析。在這個階段,大數據分析工具將得到充分應用,用戶可以進行比較復雜的建模、分析和決策。經過上述五個階段,曾經雜亂無章的數據也將經歷從數據到信息再到知識的轉變過程,最終成為企業決策的重要依據。
這個大數據成熟度模型可以解答人們對于大數據應用的幾個疑惑。第一,用戶使用大數據分析工具,并不意味著一定要進行復雜的分析。舉例來說,處于存儲優化階段的用戶就可以實現無障礙的數據訪問,并能獲得所需的數據價值。第二,大數據的應用要經歷一個逐步完善的過程,必須循序漸進,先做好數據存儲和優化,然后再進行數據分析。第三,大數據解決方案通常包括兩個部分:一是大數據保留解決方案,二是大數據分析解決方案。將兩類解決方案有機地結合在一起,才能有效降低大數據分析應用的成本,更好地挖掘數據的價值。Cheryl Cook表示,戴爾可以提供上述兩種解決方案。一方面,戴爾可以提供針對結構化和非結構化數據的大數據保留解決方案,主要包括存儲虛擬化與整合、應用程序優化、數據保護、災難恢復以及數據保留與管理解決方案;另一方面,戴爾還能提供支持Hadoop、Cloudera等開源軟件的大數據分析解決方案。
記者曾與包括大慶油田、太平洋保險公司等在內的一些用戶進行過交流。它們目前都沒有計劃部署大數據應用?!皬娜蚍秶鷣砜?,大數據應用還處于起步階段。”戴爾亞太及日本地區商用事業部企業解決方案副總裁Philip A. Davis表示,“與云計算興起時一樣,可能要經過兩三年的市場培育,用戶才能逐漸接受大數據應用?!?/p>
中國東方航空股份有限公司信息部總經理嚴振紅介紹說:“在大數據的概念出現以前,我們就在做客戶數據、經營數據的分析工作。但是客戶數據庫、經營數據庫等都是相互獨立的,數據不能共享。現在,我們要做的是將這些系統的數據整合起來,統一進行分析。”
Hadoop不是萬能的
簡單來說,Hadoop是一個能夠對大量數據進行分布式處理的軟件框架。Hadoop最獨特的優勢在于為用戶提供了一個分布式的、高容錯的文件系統和加速數據處理的辦法。隨著Web 2.0、社交網站的大規模興起,人們需要一個高效的處理非結構化數據的平臺。Hadoop正好可以滿足人們的需求。有些人甚至在Hadoop和大數據之間劃上了等號。Hadoop能夠解決大數據應用的所有難題嗎?
“Hadoop是一個復雜的工具套件。如果沒有廠商或專業技術人員的幫助,用戶自己部署Hadoop是一件十分困難的事。目前,Hadoop的應用并不普及。互聯網用戶是最早采用Hadoop平臺的?!盤hilip A.Davis表示,“如果想讓大數據解決方案充分發揮其作用,就必須搭建一個高效的信息基礎架構,實現信息基礎架構的自動化、智能化,同時提高其可管理性?!?/p>
Hadoop的應用是有一定技術門檻的。如今,許多IT廠商都推出了基于Hadoop的解決方案包,其目的是幫助用戶簡化Hadoop的部署與應用。Philip A.Davis表示:“戴爾提供的基于Hadoop的大數據分析方案可以將Hadoop的部署周期從原來的兩個月縮短至兩天?!?/p>
VMware全球高級副總裁范承工也認為,由于缺少精通Hadoop技術的專業人才,Hadoop的部署對于用戶來說是一件費時費力的事。如今,VMware可以將Hadoop部署在虛擬化架構之上,將部署工作從半自動化變為全自動化,從而減少了人工干預,使得Hadoop的部署變得更加簡單,也不容易出錯。
“很多中國企業的CIO認為,大數據解決方案是有價值的,但實施起來確實有許多困難?!贝鳡柸蚋笨偛?、中國區大型企業及公共事業部總經理容永康舉例說,“國內懂得在Hadoop上進行開發的專業技術人員非常少。一些金融行業的用戶很想現在就部署大數據解決方案,但是苦于找不到既懂Hadoop技術,又懂得金融業務的專業人才。”
Informatica首席技術官James Markarian表示:“在IT環境中,Hadoop不可能作為一個孤島存在。為了讓Hadoop跨越不同平臺,用戶需要將Hadoop作為其IT大環境中的一部分來管理,并通過Hadoop重復使用他們的開發技巧、資產及數據,同時還要統籌管理全部數據?!?/p>
在美國市場上,70%的大數據應用處理的還是結構化的數據。從技術的角度看,雖然Hadoop也能處理結構化的數據,但是目前基于Hadoop的大數據分析解決方案主要還是用于處理非結構化的數據。因此,用戶處理結構化數據和非結構化數據通常是用兩套不同的分析工具。這種混合的大數據處理模式是一種普遍現象。
從未來的發展看,非結構化數據的快速增長是大數據分析的主要驅動因素。從這個角度講,Hadoop的應用前景還是十分廣闊的。
篇4
HDS是一家典型的技術型廠商,一貫奉行“少說多做”的原則,所以人們很少聽說或看見HDS在跟風炒作某個新概念。閃存、軟件定義存儲、云計算等,HDS都不是第一個推出相關產品或解決方案的。但是,一旦產品后,HDS就一定能保證這些產品是具有HDS特色的、成熟且可以大規模商用的,能夠給企業客戶帶來實實在在的價值。
在存儲虛擬化技術領域,HDS基于存儲控制器的虛擬化技術在業界一枝獨秀,盡管當時基于存儲網絡的虛擬化技術風光正勁,但HDS始終“我行我素”。最終結果表明,HDS的存儲虛擬化技術是過硬的,其存儲虛擬化產品一直保持著很高的用戶認可度。在很多用戶的印象中,HDS一直是一家專業的存儲廠商。
但是進入云計算時代,一向比較謹慎、低調的HDS開始變得活躍起來。從技術和產品的角度看,HDS很快便采納了“融合”的理念,推出了業界影響力可與其經典的存儲產品相媲美的統一計算平臺。如今,在亞太地區,HDS統一計算平臺已經成了最受企業客戶歡迎的解決方案。
多在技術上下功夫,很少談及理念的HDS如今也開始熱衷于談論新的概念,并陸續拋出了與云計算、軟件定義等最新趨勢相關的戰略、技術框架和藍圖。許多人能夠脫口而出的HDS“三朵云”戰略――基礎架構云、內容云、信息云,成了HDS云計算的行動綱領。HDS的新產品研發和市場推廣策略都是圍繞著“三朵云”展開的。
云計算是基礎架構,是工具,它的價值在于可以更好地支持行業客戶的應用。在以大數據、物聯網、智慧城市等為代表的新一波應用浪潮興起時,云計算開始慢慢走向后臺,成為推動大數據、物聯網、智慧城市等應用發展的幕后的那只手。云計算技術與大數據、物聯網、智慧城市等應用之間的互相滲透、融合將成為IT市場發展的主旋律。
HDS全球解決方案、社會化創新營銷副總裁Ravi Chalaka表示:“以前,人們都知道HDS是一家存儲公司。但是今天,HDS的技術和解決方案已經跨越了多個市場和應用領域。HDS已經從一家專注于存儲的廠商演變為提供融合性解決方案的廠商,產品包含服務器、存儲、網絡、嵌入式軟件等。近幾年,HDS一直在大力發展自己的軟件,并取得了突破性的成果。HDS的軟件解決方案主要包括虛擬化軟件、管理軟件和應用軟件等。”
今天的HDS已經不再是人們印象中那個專注于存儲的HDS了。特別是經過過去幾年云計算、大數據的洗禮,HDS已經有了新的定位,制定了新的戰略。
HDS的變化主要表現在以下幾方面。第一,HDS最直接的競爭對手已經不再是EMC、IBM這樣的存儲廠商,而是像通用電氣公司、西門子、Oracle這樣在社會化創新領域有很大投入的企業。第二,HDS進一步明確了自己的目標市場,就是大中型企業客戶。目前,HDS在全球擁有1.4萬個客戶。在“財富100強”企業中,81%是HDS的客戶。第三,HDS公司內部軟件和硬件的收入比重也發生了很大變化。最新的統計數據顯示,HDS業務收入的54%來自于軟件和服務,而三年前這一比例只有25%。在過去4年中,HDS進行了大大小小9次收購,被收購的廠商大部分是做軟件、服務或大數據解決方案的。從收入比例來看,HDS不再是一家單純的提供存儲硬件的廠商,而是正慢慢轉型為一家解決方案提供商。
為了配合解決方案的需要,HDS越來越重視與生態系統中的合作伙伴的合作,特別是與增值分銷商、系統集成商的合作。通過這些合作伙伴,HDS可以更好地為企業級客戶提供服務。
Pentaho是敲門磚
以前,HDS也能為大數據提供支持,但僅限于硬件和存儲架構。以收購數據集成、可視化和分析軟件廠商Pentaho為標志,HDS真正融入了大數據領域,并打開了通往物聯網市場的大門。
在今年4月舉行的HDS Connect 2015大會上,HDS對Pentaho的收購成了談論最多的話題之一。當時,由于HDS還沒有完成對Pentaho的收購,Pentaho這樣一個很可能決定HDS未來大數據策略走向的產品是繼續保持其獨立性,還是完全融入HDS原有的產品中成了人們關注的焦點。
6月,塵埃落定,HDS正式完成了對Pentaho的收購。Pentaho成為HDS公司旗下一員,但原品牌名稱保持不變。Pentaho平臺除了繼續獨立提供服務以外,也會與HDS的其他相關分析軟件結合,從而進一步擴展HDS的大數據解決方案。
以前,HDS的大數據解決方案主要集中在基礎架構層面,為大數據分析提供平臺支撐。有了Pentaho的分析軟件以后,HDS可以深入大數據分析的核心,也更貼近客戶的應用,可以把大數據分析的主動權盡量掌握在自己手中。
還記得HDS著名的“三朵云”嗎?在HDS公布的大數據愿景中,基礎架構云、內容云和信息云仍起到了核心的支撐作用,但也有了細微的變化,變成了相對應的軟件定義基礎架構、內容管理云架構和信息智能云。在這三層云架構之上是HDS通用的高端數據分析和訪問平臺。三層云架構與數據分析與訪問平臺合在一起,構成了HDS社會化創新的基石。
HDS倡導的社會化創新與物聯網市場是遙相呼應的。在社會化創新方面,HDS選定了六大行業作為突破口,包括電信、醫療、商業分析、公共安全、石油和天然氣、汽車。“物聯網是下一輪技術革新的重點?!盧avi Chalaka分析說,“一臺大型機可以支持數百個客戶,一臺小型機可以支持數千個客戶,而在物聯網時代,數以十億計的設備被連接在一起,每個設備,甚至每雙鞋都在產生數據。這就是物聯網的能量。在未來的20~30年中,大部分的數據分析和計算都會圍繞著由物聯網產生的數據和信息進行。HDS關注的只是物聯網中能夠產生價值的那部分數據。只有通過對這些有價值的數據和信息進行分析,才能產生洞見,才能讓整個社會變得更加健康、安全、美好。HDS希望更快速地交付能夠達到上述目標的物聯網解決方案?!?/p>
確立主導地位
篇5
在產品方面,泰一指尚依托自身大數據技術和商業模式創新,構建大數據、數字營銷、移動化三大商業能力開放平臺,面向傳統企業、傳統媒體及傳統廣告公司提供一體化“互聯網+”轉型升級服務。同時,旗下大數據全媒體營銷企業AdTime,可為廣告主提供一站式整合營銷服務及解決方案。泰一指尚旗下主要產品有:
DataMust,大數據能力開放平臺,擁有全網實時數據分析系統。利用數據挖掘算法、標簽體系以及全網數據技術,借助骨干數據網絡以及自由數據沉淀,逐步研發出行業領先的大數據產品,為客戶搭建用戶數據管理平臺,提供商業決策服務。
Admatrix,數字營銷能力開放平臺,憑借多年的數據積累和算法優勢, 有效整合媒體資源,為客戶優化廣告內容,向廣告業生態鏈開放八項數字營銷能力,通過開放模式為行業客戶定制營銷平臺。
篇6
姜欣介紹,今年Teradata通過《經濟學人》雜志在全球所做的一個調研結果顯示,在大數據利用方面,企業主要存在以下三方面問題:第一,數據整合問題,57%的被訪企業認為難以獲取重要的業務數據;第二,數據應用問題,42%的受訪企業認為數據過于繁雜,應用不夠友好;第三,數據治理問題,75%的受訪企業為因異構數據而浪費時間感到困擾。
“我們目前推出的解決方案和技術,就是為了解決以上三方面問題。”姜欣介紹說,為此Teradata提出了五級轉型戰略:
其一,堅定地走一體化數據分析平臺的道路,不斷完善一系列平臺產品,其中包括最近推出的Teradata IntelliFlex數據倉庫架構和Teradata Aster大數據探索平臺
其二,全面向云轉型,支持私有云、公有云和托管云等多種部署方式,并在這種云生態下提供咨詢和開發部署服務。
其三,打造分析生態系統,將統一數據架構(UDA),以及Unity、QueryGrid和Listener等工具整合起來,形成一個大數據生態,并在這個生態下提供咨詢和實施服務。
其四,從完全技術中立的角度為客戶提供大數據咨詢服務,如大數據戰略規劃服務、敏捷開發咨詢服務、數據建模服務。
其五,堅持客戶至上而非產品至上,用多元化的產品全面滿足客戶需求,幫助客戶挖據數據價值。
由此可見,Teradata在大數據領域,除了不斷完善產品和技術以外,還不斷強化咨詢服務能力。
推出無邊界分析功能
作為Teradata多年的老客戶,瑞典最大的工業企業集團沃爾沃汽車公司從2006年開始建立數據分析平臺。一直以來,沃爾沃汽車公司面臨的一個問題,就是數據散布在超過30個系統中。公司的整合數據存儲庫和數據模型中,除了有客戶、經銷商、車輛與車輛配置信息、質保和故障診斷等數據外,還有很多外部數據。這些數據有結構化數據,也有非結構化數據。
沃爾沃汽車公司亟須一個彈性好、敏捷性高的平臺來處理所有這些數據。為此,沃爾沃汽車公司部署了Teradata統一數據架構,將所有需要處理的數據全部整合起來進行處理,從而解決數據孤島和數據治理混亂問題。在部署了Teradata統一數據架構后,沃爾沃汽車公司構建了全球統一的敏捷的數據驅動環境,從而可以借助可靠的數據分析結果降低運營成本,提高盈利能力和客戶滿意度;形成基于事實的決策機制和文化,使得公司更加開放和透明;有效支撐“數據創客”活動,員工和合作伙伴可以基于數據平臺開發數據產品。
沃爾沃汽車公司成功應用Teradata統一數據架構的案例,是Teradata新推出的無邊界分析功能的一個應用典范。據悉,Teradata無邊界分析打破了過去在進行數據分析時單一系統、單一技術分析的界限,突破時間、地點,以及所需數據和平臺的限制,幫助企業高效完成數據分析工作。
Teradata無邊界分析功能通過最新版本的Teradata QueryGrid軟件和可以自動協調多系統Teradata環境的Teradata Unity軟件來實現。其中,Teradata Unity軟件具有高可用性特點和工作負載分配功能,從而確保用戶在權限范圍內可隨時訪問相關數據和分析。全新升級的Teradata Unity具有強大的跨系統功能,可進一步消除分析環境界限。
電子專業制造服務公司偉創力公司數據與分析團隊主管森迪爾(Sendil Thangavelu)認為,采用多個分析引擎來分析來自多個數據存儲庫的數據以獲得更全面、可視化的分析結果,將成為企業強化競爭優勢的重要因素。“我們的Teradata數據管理環境已經非常卓越,但我們一直還在尋找解決方案來提高我們的能力。Teradata的無邊界分析概念與我們的企業發展方向不謀而合?!鄙蠣栄a充說。
推出快速分析咨詢服務
姜欣告訴記者,2015年年底,Teradata總結出了在新形勢下具有較強競爭力的新型企業――技術感知型企業。技術感知型企業應具有敏捷平臺、行為分析、協同思維、自助應用和自動決策五大核心能力。
姜欣表示,技術感知型企業對內能夠提供數據洞察能力,實現數據驅動流程,提升運營的ROI;對外可以整合數據價值,創新數據盈利模式,實現信息運營。
但是,成為技術感知型企業并不容易。為了幫助客戶更加順利、快速地成為技術感知型企業,Teradata還推出了Teradata RACE(快速分析咨詢服務)和Teradata業務價值框架。據介紹,RACE是一套敏捷、技術中立的方法論,能夠幫助客戶在正式投資前了解分析解決方案的潛在業務價值。不僅如此,借助豐富的行業經驗和專業的數據分析技術,Teradata還可以幫助客戶將項目實施所需時間從數月縮短至6~10周。
據悉,作為Teradata RACE服務的核心,Teradata業務價值框架是Teradata從數千次與客戶成功合作中積累的豐富經驗的結晶。該框架通過發現切實有用的分析解決方案,幫助客戶更快地從分析和數據技術投資中獲取回報。
值得一提的是,隨著物聯網傳感器數據等新型數據源的不斷出現,新分析技術的不斷涌現,用戶部署和應用分析解決方案的難度越來越大。但依托適用Teradata業務價值框架詳盡的可視化信息,接受RACE服務的客戶可以在實施分析解決方案時,掌握清晰的路線圖,了解該項目在何時、以怎樣的方式帶來投資回報。
姜欣介紹,RACE方法包含三個主要階段:
第一階段,溝通(Align)。Teradata的分析業務咨詢顧問以業務價值框架作為出發點,幫助客戶發現最具潛在價值的業務案例,并對準該業務案例開展工作,確認支持該使用案例關鍵數據資產的可用性。
第二階段,創建(Create)。Teradata的數據科學家為選中的業務案例載入并準備數據,開發新分析模型或調整既有模型。本階段數據科學家會與業務發起人對方案進行多次快速迭代,以確保分析結果能帶來預期業務效果。
第三階段,評估(Evaluate)。Teradata的分析業務咨詢顧問分析結果,評估部署分析使用案例的潛在投資回報率,并為客戶設計、部署方案。
篇7
近年來,亨通立足光通信主業、突破產業關鍵核心技術,不斷完善“光棒-光纖-光纜-光器件-光網絡”的光纖通信全產業鏈。與此同時,亨通瞄準產業尖端前沿,不斷延伸產業鏈,調整結構,轉型升級,積極拓展互聯網+發展新空間,布局量子通信產業,進入寬帶接入網、智慧社區、通信工程的建設運營,并構建大數據應用及網絡安全等業務體系,“形成‘產品+平臺+服務’的綜合服務模式。”亨通光電總經理尹紀成表示。
布局網絡安全
網絡安全是當下互聯網領域最突出的問題,受到人們的廣泛關注,也是本屆通信展上一項重要的展示內容。而在這一背景下,亨通適時推出了優網科技大數據、安全、通信軟件解決方案和量子保密通信行業級解決方案這兩套保障網絡信息安全的解決方案。
據了解,優網科技大數據、安全、通信軟件解決方案包括用于通信網絡維護的綜合性能監控解決方案、重點場景保障解決方案、客服支撐解決方案,用于網絡安全領域的信息安全態勢感知解決方案、網絡安全態勢感知解決方案、大數據云防護解決方案、云安全防護解決方案及運營,用于大數據運營的大數據平臺解決方案、互聯網綜合服務平臺解決方案等一系列的維護、安全、大數據解決方案,為通信、互聯網等數據運營提供全方位的支撐。
今年8月份,亨通光電與安徽問天量子科技股份有限公司共同投資設立江蘇亨通問天量子信息研究院有限公司,雙方強強聯合、優勢互補,積極布局量子通信產業,加快啟動量子網絡建設,并在本屆展會上推出了政務網解決方案、電力調度保密通信解決方案、數據中心信息安全解決方案等一系列量子保密通信解決方案,為通信及互聯網的信息安全保駕護航。
聚焦高鐵通信
國內高鐵建設正加快推進,乘客對于乘坐高鐵時手機上網和通話的需求量逐漸增加,因此運營商在高鐵沿線的基站建設方面將進一步加大投資力度。
據了解,高鐵沿線無線信號覆蓋主要依靠沿線的通信基站,為高鐵列車提供無線信號。由于高鐵列車的運行速度較快,導致基站的密集程度高,投資費用較高。同時,在大部分偏遠地區,高鐵沿線基站僅用于列車信號覆蓋,功能單一,并且用戶量少,運營商的投資收益率低,資金回收周期長。
針對現有情況,亨通推出高鐵無線覆蓋解決方案,為客戶提供建設效率高、投資費用低、運維便捷的產品和方案。據介紹,該方案采用銅合金導體作為主要供電電纜,可選配1-144芯光纖,能夠同時為高鐵沿線基站提供電力和通信接入服務。銅合金導體相比傳統銅芯電纜產品,產品施工難度低,相同重量長度更長,抗強風能力好,同時由于導體采用銅合金導體,無法回收利用,具有防盜效果。高鐵無線覆蓋解決方案采用100V-600V可變直流電遠程集中供電,通過鐵路信源站取電后,能夠雙向輻射,最遠可滿足8個基站的供電需求。因此減少了用戶的取電費用和協調難度。在基站端僅需要配置對應的終端設備即可完成快速建站,節約用戶建站時間,降低客戶無形建設成本。
目前,亨通的高鐵無線覆蓋解決方案已經在蘭新線鐵路中大范圍使用,為客戶提供了更優質的產品和解決方案。
深耕海洋業務
海洋板塊是亨通近兩年頗為重視的業務板塊,同時也是今年上半年營業收入增幅最大的業務之一。據亨通2016年上半年報告,亨通海洋電力通信產品營收2.43億元,同比增長249.12%。
在本屆通信展上,亨通重點推出了海底觀測系統以及江河湖泊水質監測系統解決方案。
篇8
文思海輝執行副總裁劉君博先生參加領導力大會時表示:“IBM燈塔獎是個有高度的新起點,未來文思海輝將與IBM繼續通力合作、共同成長。在智慧金融、智慧城市等重點領域不斷提升技術水平和研發能力,為客戶創造更大的價值!”
篇9
在數據管理產品趨向融合的今天,數據集成軟件會不會也被集成到一些綜合性的管理解決方案中呢?
托尼·楊表示:“Informatica之所以能夠保持快速成長,一個關鍵的因素就是始終保持中立的地位。我們的數據集成軟件可以與其他所有應用和管理軟件平臺相集成,比如微軟、SAP等廠商的產品?!?/p>
大數據促進業務增長
“數據分析是今后企業在競爭中保持優勢的一個主要手段。如果你現在不認真對待大數據,那么競爭對手就有可能超過你,并取代你?!蓖心帷畋硎荆按髷祿cSOA(面向服務的體系結構)不同。SOA不能直接給企業帶來商業價值,而大數據與企業的業務績效直接相關。企業的CIO必須重視大數據的處理與應用?!?/p>
篇10
行業的顛覆和重構早已開始,全方位客戶體驗、靈活高效的業務流程、智慧化產品與服務、創新的商業模式被各大運營商不約而同地選擇為其轉型戰略的核心,而這些方面的基礎則都是大數據。
用戶行為和需求的變化已成為電信轉型的核心驅動力。正如中國移動董事長奚國華所說:“要做可靠的數字化服務專家?!边\營商向數字服務提供商轉型勢在必行。從語音、短信、寬帶服務等簡單的傳統電信業務轉變為提供音樂、物聯網、視頻、智能家居等多樣的數字業務。
在產業環境正從消費互聯網向產業互聯網發展的時代契機下,研究機構數據顯示,全球超過60%的企業已成為數字化轉型的探索者和實踐者,而在電信行業,預計到2024年,包括數字媒體、云服務市場、垂直行業解決方案等領域,電信行業數字化轉型將醞釀超過15億美元的巨大市場機會。
在國內,三大運營商的各級公司已經將大數據作為其在移動互聯網時代企業轉型的戰略性工作,并在不同程度上開始試點大數據系統的建設與應用,以充分挖掘數據資產價值,創造新的利潤點。
把握大數據引擎
電信運營商的業務模式正在悄然發生著轉變,電信運營商坐擁社會化的信息傳輸管道,是數據的共享和交換的天然平臺和中心,擁有無可比擬的海量數據。
對于大數據的整合和挖掘深化了信息技術的應用,催生新的運營模式、應用和新的業態的出現,運營商目前對于大數據的的應用提升了管理和決策的智能化水平。
若要登上互聯網時代的高地,在華為看來,要做國家ICT規劃師、成為全業務運營商、數字使能運營商與智能管道運營商將是運營商數字化轉型的四大戰略定位。
“從數據、到洞察、到形成商業模式,華為在實現大數據價值的各個階段愿為運營商業務運營、業務調度提供大數據分析的綜合平臺解決方案。”王紀奎表示。華為大數據平臺解決方案FusionInsight,正是基于華為對電信行業大數據應用的深刻理解,深諳行業ICT轉型的需求,通過聯合創新、深度探索運營商新的商業模式和盈利增長點而提出的。
為了幫助電信運營商要真正利用自身海量的數據資源優勢,將數據分析運用到實際運營中,以進一步提升業務模式、利潤及用戶體驗,華為FusionInsight大數據解決方案自設計之初就是以業務為中心,真正形成業務驅動的大數據架構,為運營商的數字化轉型提供全方位的支持。
記者了解到,華為FusionInsight大數據解決方案包括多個平臺。其中大數據基礎處理平臺提供海量結構化、非結構化數據的采集、存儲、批處理、內存計算和實時流計算的能力;大數據洞察平臺提供百萬維大數據特征的提取、管理、建模的能力,使客戶更專注大數據業務開發本身。
王紀奎介紹,目前,華為的大數據解決方案通過建立融合的數據模型,可提供超過900種數據適配模式,為運營商的數據整合和處理效率獲得30%的提升。
在平臺層面,已經聚合了超過1000家合作伙伴,包括500種數據產品,具備超過300個開放的API接口,能夠為運營商更方便地使用大數據提供快速部署能力。在智能控制中心層面,3000多個客戶標簽和300多個業務知識的形成和積累,能夠為客戶提供小時級的分析能力以及數百萬/秒的處理能力。
在此基礎上,擁有多種成熟、高效、靈活的方案實踐和場景,華為大數據解決方案能夠幫助運營商把握大數據這一業務發展的引擎,引領電信大數據應用的方向。
為運營商謀數字紅利
在數字化轉型的具體路徑方面,華為認為,電信模式、平臺模式、數據模式再到全連接模式,是電信數字化轉型呈現出的四個主要階段。全球運營商分別處在不同的階段。雖然全球的運營商在轉型架構方面目標統一,但是,不同運營商實施的步驟和發力點卻各有異同。
與國外相比,國內運營商從大部分收入以傳統語音、短信等基礎服務為主的享受“人口紅利”的階段,已經邁向了以語音和數據業務為主的“流量紅利”的階段,但仍不如國外運營商所享受到的效益高。
篇11
第一大趨勢是DM系統將成為大數據技術在移動終端平臺上應用的重要渠道。
隨著近年來企業信息化的快速發展,社會化網絡的興起以及云計算、移動互聯網、物聯網等新一代信息技術的廣泛應用,信息數據以每年超過50%的速度爆發式增長,大數據成為“信息爆炸”背景下IT發展的必然。
目前,數據分析已經不再局限于結構化的歷史數據,而是更傾向于分析來自于社交網絡、在線交易記錄、視頻、電子郵件以及來電信息等非結構化的數據信息,而這些非結構化的大數據信息將會更多聚集在移動終端平臺上。DM系統可有效地探知移動終端的信息及用戶使用行為信息,這些信息最終會形成龐大的信息數據庫,大數據的應用將使這些有意義的數據信息得到專業化處理。因此,未來DM系統作為一種獲取移動終端信息數據的有效渠道,將會和大數據交融發展。
篇12
憑借多年的發展路徑和能力沉淀,基于技術、數據、應用三大核心能力,通過大數據技術和商業模式創新,泰一指尚整合構建了包括營銷大數據平臺、移動化平臺及廣告平臺在內的三大能力開放平臺,面向傳統媒體、傳統廣告公司及傳統企業提供數據咨詢、數據能力開放、數據平臺和廣告平臺定制開發、移動電商和移動媒體解決方案等一體化的“互聯網+”服務,幫助傳統企業形成數據商業化能力、業務移動化以及自有數字營銷能力,打通品牌公信、銷售通路以及用戶獲取。
數據商業化能力是指依靠對智能管道數據、全網爬蟲數據及第三方合作數據的抓取,再基于對DMP(大數據管理平臺)的數據進行標準化和細分,進而提供極具價值的商業化能力,最終實現數據可視化的多樣性應用。泰一指尚擁有移動電商和移動媒體解決方案,能為企業提供移動互聯網一站式服務,助力企業快速、低成本的擁有移動電商能力和形成媒體能力,使企業具備業務移動化能力,助其構建移動化平臺。此外,泰一指尚以大數據平臺為基礎,結合傳統媒體自身的強勢資源,使其具備自有數字營銷能力,通過高效而科學的投放策略提升在線廣告價值,助力其構建廣告平臺。目前,泰一指尚通過敏銳的市場洞察和行業服務經驗,形成了覆蓋金融、汽車、傳媒、電商等在內的“互聯網+”解決方案,推動企業的商業創新和轉型升級。
基于對大數據技術的深入應用和不斷創新,泰一指尚于2013年推出國內首個大數據管理平臺――Atlas云圖。該平臺具備海量數據、實時計算等特點,旨在對數據的深層次關系進行挖掘,構建可視化的大數據平臺。
三大能力+ Atlas云圖是泰一指尚為傳統企業勾畫的以“大數據”為核心的轉型升級新藍圖,這使得企業生態鏈上的各個環節實現真正的數據化,打破了“傳統時代”的信息局限,全面實現互聯網化變革。
加快“互聯網+”落地,
泰一指尚在行動
付海鵬認為,“互聯網+”的落地實施,重點應包括一系列技術平臺和商業模式頂層設計在內的“互聯網+”解決方案,而大數據應成為 “互聯網+”的核心引擎。
篇13
相信大家都還記得2013年5月10日淘寶十周年晚會上,阿里巴巴集團董事局主席馬云在其卸任集團CEO職位的演講中說到:“大家還沒搞清PC時代的時候,移動互聯網來了,還沒搞清移動互聯網的時候,大數據時代來了?!?/p>
什么是大數據?
早在1980年,當時著名的未來學家阿爾文·托夫勒便在其著作《第三次浪潮》中熱情洋溢地將大數據贊頌為“第三次浪潮的華彩樂章”。不過直到時光抵達2009年,“大數據”才開始成為互聯網信息技術行業的流行詞匯。
環顧四周,我們都已經切身感受到了當今的信息量正在以前所未有的速度膨脹。當我們的普通民眾在上世紀90年代剛剛接觸個人計算機的時候,1MB的磁盤,1GB的硬盤已經是不錯的配置。然而現在呢?GB、TB都已經無法滿足我們丈量數據大小的需要,PB、EB、ZB已經義無反顧地承擔起了丈量數據的大任。
隨著互聯網自媒體的普及,每天都有數以億計的人在發微博、寫微信、更新個人主頁、使用社交網站、發表個人評論……全球互聯網上每天會有220萬TB的新數據產生,90%的數據都是在過去的24個月內創造出來的,如今,這個比例還在不斷上升。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中,他們對大數據的表述是:大數據(big data),或稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策更積極目的的資訊。他們對大數據的特性進行了歸納,提出了4V特點,即Volume(數據量大)、Velocity(要求實時性強)、Variety(數據的種類多樣)、Value(數據是有價值的)。
而《互聯網周刊》則認為“大數據”的概念遠不止大量的數據和處理大量數據的技術,或者所謂的“4V特點”之類的簡單概念。大數據是涵蓋了人們在大規模數據的基礎上所能做到的事務,而這些事務在小規模數據的基礎上是無法實現的。換句話說,大數據讓我們能夠以一種前所未有的方式,通過對海量數據進行分析,獲得具有巨大價值的產品和服務,或者深刻的洞見,進而最終形成變革世界的力量。
2大數據應用的現狀分析
最早提出世界已經迎來“大數據”時代的機構則是全球知名的咨詢公司——麥肯錫。麥肯錫在其研究報告中指出:數據已經滲透到每一個行業和業務職能領域,逐漸成為重要的生產因素;而人們對于海量數據的運用將預示著新一波生產率增長和消費者盈余浪潮的到來。
大家都或多或少地意識到應該能從這些海量的數據中獲取些什么,然而究竟我們能獲取到什么呢?
一個被廣為傳播的典型案例是:在2012年初美國的一家Target超市,一位憤怒的父親突然闖進來對店鋪經理咆哮道:“你們竟然給我17歲的女兒發嬰兒尿片和童車的優惠券,她才17歲啊!”經理下意識地認為是店里出了問題,也許是誤發了優惠券,于是立即向這位父親道歉。然而經理卻沒有意識到,其實這是公司正在運行的一套大數據系統得出的分析結論。
Target會從其會員的購買記錄中去了解該顧客的性格、類別等一些列業務活動。上面的例子正是Target為適齡女性創建的一套懷孕期變化分析模型,如果相關客戶第一次購買了嬰兒用品,系統將會在接下去的幾年中根據嬰兒的生長周期向顧客推薦相關的產品,從而培養和提高客戶的忠誠度。
果然,一個月后,該名憤怒的父親打電話給商鋪道歉,因為Target發來的嬰兒用品優惠券不是誤會,他的女兒確實懷孕了。
利用數據挖掘用戶的行為習慣和喜好,在凌亂紛繁的數據背后發掘出更符合用戶興趣和習慣的信息、產品和服務,并對這些目標化的信息、產品和服務進行針對性地調整和優化,這便是大數據能帶給商家最誘人的價值之一。
隨著社交網絡在人們生產生活中地位的快速提升,大量UGC(User Generated Content用戶自生成的內容)進入互聯網,上述價值的實現也變得越來越明顯。
事實上,全球IT業巨頭都已經意識到數據的重要意義和“大數據”時代的到來。包括IBM、EMC、惠普、微軟在內的全球知名跨國公司都陸續通過收購與“大數據”相關的廠商來實現技術整合。
目前典型的大數據應用領域有:
商業智能。例如:用戶行為分析,即結合用戶資料、產品、服務、計費、財務等信息進行綜合分析,得出細致、精確的結果,實現對用戶個性化的策略控制,這在營銷網絡的流量經營分析中占有越來越舉足輕重的地位。個性化推薦,即在各類增值業務中,根據用戶喜好推薦各類業務或應用,這已成為運營商和門戶提供商服務用戶的一個最有效方式之一,比如應用商店的軟件推薦、IPTV視頻節目的點播推薦、購物或旅游網站的猜你喜歡等。
公共服務。一方面,公共機構可以利用大數據技術把積累的海量歷史數據進行挖掘利用,從而提供更為廣泛和深度的公共服務,如實時路況和交通引導;另一方面,公共機構也可以通過對某些領域的大數據實時分析,提高危機的預判能力,如疾病預防、環境保護等,為實現更好、更科學的危機響應提供技術基礎。
政府決策。通過對數據的挖掘,從而有效提高政府決策的科學性和時效性。例如:日本大地震發生后僅僅9分鐘,美國國家海洋和大氣管理局(NOAA)就了詳細的海嘯預警。并且隨即NOAA通過對海洋傳感器獲得的實時數據進行了計算機模擬,制定出詳細的應急方案,并將制作的海嘯影響模型實時在了YouTube等網站上。
3大數據解決方案的現狀分析
以往談及大的數據通常用來形容一個公司創造的大量非結構化和半結構化的數據。如今把“大數據”作為一個專有名詞提及,通常指的是解決問題的一種方法,即通過收集和整理生產生活中方方面面的數據,然后對其進行整理、挖掘、分析、處理,進而從中獲得有用的價值信息。這種衍化出的新的商業模式即為通常意義上的大數據解決方案。
雖然通常意義上的大數據解決方案描述了一種通常的行為,但要實現這種通常的行為,往往會遇到諸多技術和硬件上的問題。一個顯而易見的問題就是:大數據包絡萬象,而且像音頻、文本信息、視頻、圖片等非結構化數據正以突飛猛進的速度增長,加上移動互聯網的普及所帶來的如位置、生活信息等富含價值的數據,現有的,或者傳統的對數據的處理手段和硬件配置已越來越跟不上數據發展的步伐。
于是革命爆發了!
哈佛大學社會學教授加里·金就說道:“這是一場革命,龐大的數據資源使得各個領域開始了量化進程,無論學術界、商界還是政府,所有領域都將開始這種進程?!?/p>
數據需要存儲,存儲需要設備,存儲設備的容量和可擴展性以及讀取的速度成為了一大問題(容量問題);大數據不是一日而成的,往往都需要一定周期的積累,在數據的積累過程中,以前的數據和現在的數據在存儲上應該是能保持一致的,無論設備升級與否,而且這些數據要長期有效,這是一個持久的問題(積累問題);與持久相對應的,互聯網是變化的、經濟活動是變化的、整個世界都是變化的,針對某些實時問題,如交易、金融等,用已經過去的數據顯然是不合適的,這也是一大問題(延遲問題);大數據包絡萬象,有些是可以隨意獲得、和消除的,有些,如金融數據、醫療信息、政府情報等,則是需要按不同級別進行保護和加密的,特別是在需要交叉數據參考的應用中,不同部分的數據有著不同的安全需要,這又是一大問題(安全問題);為了滿足上述問題,我們顯然可以通過不斷加大投入,購買更多的存儲設備、雇傭跟多的工作人員、建設更多的數據中心和分析中心,但這一切都是由成本的,特別是對于以盈利為目的的商業機構而言,成本和收益永遠都是最優先考慮的問題之一(成本問題);當然還有很多其他的問題,這里就不一一羅列了。
驅動商業機構解決上述問題的動力肯定是商業利益。以全球知名的IT制造與服務和咨詢提供商IBM為例,其全球CEO調研顯示,唯有在數據獲取、將數據轉換為洞察力、再將洞察力轉化為行動力等方面表現優秀的企業,才能有持續的績效表現。績效突出者從海量數據中挖掘出有價信息的能力是績效不佳者的2倍。
IBM認為由于當今企業、市場、社會、政府之間的聯系變得越來越緊密,傳統的數據分析正日益呈現出“大數據”時代的新特點,即容量要求更高、速度要求更快、數據類型多樣和數據來源復雜4個方面。結合多家領先市場咨詢機構的調研數據顯示:
2010-2015年,“大數據”市場年均符合增長率為39.4%,將是整個信息與通信技術市場增速的7倍;管理及維護數據的成本將是購買存儲設備所需成本的4倍;全球數據量的年均復合增長速度為59%;未來需要分析的信息源中,混合類型數據所占比重將高達85%;數據分析直接受到服務器性能制約的數據量將占到總體的87%;僅2012年一年,服務器在整體“大數據”市場投資中就將占去14%的比重。
這就意味著傳統計算的低效正在為企業發展帶來阻礙,企業感到當前的IT系統變得更加復雜且難以管理。數據顯示:企業用于運營和維護IT系統的費用已經超過整體預算的70%,并且這一比例仍在持續增長;企業有三分之二的IT項目及解決方案部署超出了原定計劃;IT架構的復雜度將以當前速度每兩年就增加一倍。
于是出乎絕大多數人意料的事情發生了:IT部門,這個曾經作為企業現代化和創新化能力標志的部門,正越來越成為企業新創新的阻力而非動力。
怎么辦?
很多人立即想到了另外一個熱詞:“云計算”。
IBM全球高級副總裁Rod Adkins認為,當前全球IT領域有了令人振奮的發展趨勢和挑戰,現在每天有大量數據和信息生成,這為大數據分析提供了機會;數據中心的挑戰也為IT提供了新機會,比如云計算,能降低數據中心成本。
EMC資深產品經理李君鵬認為,大數據本身就是一個問題集,云技術是目前解決大數據問題集最重要有效的手段。云計算提供了基礎架構平臺,大數據應用在這個平臺上運行。目前公認處理大數據集最有效手段的分布式處理,也是云計算思想的一種具體體現。Teradata技術總監Stephen Brobst則表示,公有云架構對數據倉庫沒有影響,因為企業的CIO不會無緣無故把財務數據或者客戶數據放到云上,那樣很危險。然而,是私有云架構確實有影響:第一,通過私有云,可以鞏固數據集市,減少利用率不足的問題;第二,可以通過靈敏的方式將數據集成,實現業務價值。
于是有人就此理解為:大數據的最佳解決方案是采用云計算和分布式處理,利用互聯網將運算能力、存儲能力都做分布式的處理,認為這樣做就可以最大程度上地降低成本、增加擴展性和靈活性。
然而事實真的如此嗎?
讓我們來分析一下最近IBM公司在國內針對百萬人口的城市級信息中心制定的解決方案:
面對數量龐大且增長迅速的各類交通信息:120萬輛機動車電子卡、4萬輛機動車的實時GPS定位、200萬筆公交IC卡數據、518個高清卡口的113億張圖片等,該市信息中心的領導意識到,當前多個項目能源消耗大、占地要求非常高、并且原有的網絡設備難以滿足新增的需求,網絡設備經常更換,并且這些相互獨立的數據庫、服務器和存儲,以及不同的訪問權限和沒有統一的管理界面,讓本就壓力巨大的數據中心的效率大打折扣,同時也極大浪費了寶貴的人力、能源和其他各種資源。
IBM給出的解決方案是:
首先,在基礎平臺上摒棄了分布式的服務器架構,而是采用大型服務器在基礎架構上對處理能力、I/O吞吐和主存儲進行了整合,這樣做的最大亮點是,將原有成百計的分布式服務器整合到了個位數,極大地節省了空間和能源,做到綠色環保;因為不用考慮各分布式服務器之間的互通互聯和各服務器之間的狀態及負載均衡與調配,節省了相當數量的管理人員;另外大型服務器自身端到端的管理功能和適用于異構工作負載且基于策略的框架,有效幫助信息中心實現中心控制,實現極高的性能。
其次,在整合的基礎平臺之上,采用“云計算”框架虛擬化設計,實現了智能交通和政務網站的整合。這一方案讓用戶在使用上可以享受與分布式架構相同甚至更加優越的性能。由基礎平臺通過虛擬化形成的任意數量的虛機,在統一云管理軟件URM的配置下,能夠提供統一的管理視圖和管理機制,簡化在多套異構業務系統環境下系統的運營和維護工作。
而在本方案中的存儲部分則采用了運行穩定、性能領先、技術成熟的SAN網絡架構,具有很好的穩定性,能為前端各應用提供可靠的數據存儲平臺,并且整個SAN網絡中的部件都配置了雙冗余組件,保證任一部件的損壞不會影響整個系統的運行,而關鍵數據庫的數據都通過合理的備份策略,定期備份在了物理磁帶上,保證關鍵數據的絕對安全。
總結下來,整合的基礎平臺,“云計算”框架的虛擬化設計,和定制化的高速存儲,打造出了最穩定、最可靠、最安全、最綠色的運行環境,讓政府的大數據應用完美落地。
可見,大數據的解決方案不同于純粹云計算的解決方案,雖然云計算帶來了看上去更便宜的處理能力和存儲能力,但對于往往都有相當數量級規模的大數據應用而言,在基礎架構上巧妙地整合和部分的集中,反而能更好地解決安全性、可靠性、穩定性和綠色環保的需要。