大數據平臺解決方案范文

時間:2023-03-20 18:17:38

導語:如何才能寫好一篇大數據平臺解決方案,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公文云整理的十篇范文,供你借鑒。

大數據平臺解決方案

篇1

EMC Isilon:橫向擴展 性能突出

數據存儲不是一類單獨的產品,它有很多實現方式。EMC Isilon存儲事業部總經理楊蘭江概括說,大數據存儲應該具有以下一些特性:海量數據存儲能力,可輕松管理PB級乃至數十PB的存儲容量;具有全局命名空間,所有應用可以看到統一的文件系統視圖;支持標準接口,應用無需修改可直接運行,并提供API接口進行面向對象的管理;讀寫性能優異,聚合帶寬高達數GB乃至數十GB;易于管理維護,無需中斷業務即可輕松實現動態擴展;基于開放架構,可以運行于任何開放架構的硬件之上;具有多級數據冗余,支持硬件與軟件冗余保護,數據具有高可靠性;采用多級存儲備份,可靈活支持SSD、SAS、SATA和磁帶庫的統一管理。

通過與中國用戶的接觸,楊蘭江認為,當前中國用戶最迫切需要了解的是大數據存儲有哪些分類,而在大數據應用方面面臨的最大障礙就是如何在眾多平臺中找到適合自己的解決方案

EMC針對不同的應用需求可以提供不同的解決方案:對于能源、媒體、生命科學、醫療影像、GIS、視頻監控、HPC應用、某些歸檔應用等,EMC會首推以Isilon存儲為核心的大數據存儲解決方案;對于虛擬化以及具有很多小文件的應用,EMC將首推以VNX、XtremIO為核心的大數據存儲解決方案;對于大數據分析一類的應用需求,EMC會綜合考慮客戶的具體需求,推薦Pivotal、Isilon等一體化的解決方案。在此,具體介紹一下EMC用于大數據的橫向擴展NAS解決方案——EMC Isilon,其設計目標是簡化對大數據存儲基礎架構的管理,為大數據提供靈活的可擴展平臺,進一步提高大數據存儲的效率,降低成本。

EMC Isilon存儲解決方案主要包括三部分:EMC Isilon平臺節點和加速器,可從單個文件系統進行大數據存儲,從而服務于 I/O 密集型應用程序、存儲和近線歸檔;EMC Isilon基礎架構軟件是一個強大的工具,可幫助用戶在大數據環境中保護數據、控制成本并優化存儲資源和系統性能;EMC Isilon OneFS操作系統可在集群中跨節點智能地整合文件系統、卷管理器和數據保護功能。

楊蘭江表示,企業用戶選擇EMC Isilon的理由可以歸納為以下幾點。第一,簡化管理,增強易用性。與傳統NAS相比,無論未來存儲容量、性能增加到何種程度,EMC Isilon的安裝、管理和擴展都會保持其簡單性。第二,強大的可擴展性。EMC Isilon可以滿足非結構化數據的存儲和分析需求,單個文件系統和卷中每個集群的容量為18TB~15PB。第三,更高的處理效率,更低的成本。EMC Isilon在單個共享存儲池中的利用率超過80%,而EMC Isilon SmartPools軟件可進一步優化資源,提供自動存儲分層,保證存儲的高性能、經濟性。第四,靈活的互操作性。EMC Isilon支持眾多行業標準,簡化工作流。它還提供了API可以向客戶和ISV提供OneFS控制接口,提供Isilon集群的自動化、協調和資源調配能力。

EMC Isilon大數據存儲解決方案已經在醫療、制造、高校和科研機構中有了許多成功應用。

方案點評

EMC Isilon是一個強大但簡單的橫向擴展NAS方案,適用于希望投資數據管理而不是單純存儲的企業。當初,EMC將收購來的分布式數據倉庫軟件廠商Greenplum的軟件與Isilon存儲組合成了EMC最早的大數據解決方案。用戶既可以分開選擇Greenplum軟件或Isilon存儲,也可以選擇由Greenplum軟件和Isilon存儲組成的一體機解決方案。現在,Greenplum軟件雖然已歸Pivotal公司,但EMC是Pivotal的經銷商與合作伙伴,Greenplum與Isilon存儲的組合方案并不會因此受到影響。

HDS UCP:統一平臺 應用優化

HDS中國區解決方案與專業服務事業部總監陳戈認為,大數據存儲應該是一個解決方案:“大數據解決方案是由基礎架構的各部件組成的,包含數據存儲、計算和分析,而存儲是此架構中的一部分。”

大數據的存儲類型與傳統的存儲類型有一定區別:在大數據存儲中,更多的應用是一次寫、多次讀,讀得更多是大數據存儲的一個特點,而在傳統的數據存儲中,讀寫是隨機的,由于每個應用不同,其讀寫的比例也是隨機的;大數據存儲需要具有橫向的可擴展性,并可支持多種接口、多種數據訪問協議,便于不同數據進入這個大數據平臺。

談到中國用戶在大數據存儲應用中最迫切的需求是什么,陳戈認為,中國用戶最迫切的需求是如何逐步實現大數據應用,即用戶從現有的模式如何過渡到大數據,如何更好地利用大數據進行經營分析。

大數據的經典定義可以歸納為四個“V”,但企業不可能一步到位實現四個“V”,這需要一個循序漸進的過程。海量的、多種類型的數據是一次性全部載入到大數據中,還是通過現有的平臺進行數據初選,再導入到大數據平臺中,是兩種不同的實現途徑。“先通過現有平臺進行數據初選,再導入到大數據平臺,這種方式更適合于客戶逐漸實現大數據,可以縮短用戶實現大數據應用的時間。”陳戈表示,“大數據主要是非結構化數據。用戶可以使用基于對象數據存儲的HCP,利用其獨特的元數據采集和智能工具,對非結構化文件數據進行管理,實現智能的自動化,這有助于對數據進行深度分析,幫助客戶從單一系統中存儲、共享、同步、保護、保存、分析和檢索文件數據,減少垃圾數據,進而為大數據分析建立一個良好的基礎。”

談到用戶在大數據應用中遇到的主要障礙,陳戈表示,一方面,應用軟件本身的智能程度是否能滿足行業應用需求,應用軟件是否已經成型,大數據人才是否具備等,是讓大數據應用落地的關鍵;另一方面,如何抽取數據,放在大數據平臺中進行相應的計算是另一個關鍵問題。

HDS可為所有數據提供單一、可擴展的虛擬化集成平臺。HDS推出了“三步”云戰略,從基礎架構、內容和信息三個層面幫助客戶解決目前所遇到的問題。具體來看,通過“基礎架構云”,HDS可以幫助客戶進行虛擬化和集成管理,實現數據中心的整合;在第二層的“內容云”當中,HDS可以按需提供內容,更可以不受應用限制地進行數據搜索和集成;在第三層的“信息云”中,針對所有數據類型,HDS在其存儲平臺中融入了分析功能,使客戶可以從數據信息中獲取洞察力。

HDS提供的UCP for SAP HANA集成了基于大量數據集的創新和內存分析技術,并提供實時的洞察力,從而使當前的信息驅動型企業可以加快其商業決策的速度。陳戈介紹說,UCP for SAP HANA解決方案結合了HDS刀片服務器技術、企業級存儲系統和業內領先的網絡組件,在這樣一個集成的、高性能的硬件平臺上可以快速交付SAP下一代內存計算技術。全球已有超過200家客戶在使用HDS和SAP的大數據解決方案。

方案點評

其實,HDS的“三步”云戰略也可以看成是其大數據戰略。HDS借助以UCP為核心的大數據平臺,可以幫助企業用戶構建從基礎架構到內容歸檔和搜索,直至信息提取和分析的全面、高效的大數據解決方案。HDS的“信息云”直接與大數據相關。UCP是一個集成了計算、存儲與網絡的一體化平臺,它既可以提供像一體機一樣的整合性、簡單性,又可以提供靈活的選擇,連接第三方的設備組件。HDS還通過與包括SAP在內的眾多大數據分析類的合作伙伴合作,針對行業定制優質的大數據解決方案。

HP StoreAll :快速部署 極速搜索

中國惠普有限公司企業集團存儲產品部存儲架構師張楠向記者表示,大數據存儲是一套解決方案,應該能夠對大數據的Volume、Velocity、Variety和Value四個方面提供全面的支持。

第一,大數據存儲要支持海量級的數據存儲,比如具有PB級的存儲能力。第二,大數據存儲要支持更高的存儲速度,支持10Gb甚至更高的網絡連接。第三,大數據存儲要支持數據的多樣性,如圖片、文本、視頻、音頻等。第四,大數據最重要的是價值的體現,而為了實現這一點,存儲本身應該具備快速、智能的數據檢索能力。“在存儲的最底層提供最直接、快捷的數據檢索。這一過程簡單說就是,將上層的數據挖掘工作下移,充分利用存儲強大的處理能力和數據識別能力。”張楠舉例說,“比如,在秒級的單位內對數據進行極速的搜索, 從幾千萬甚至上億個文件中找到目標數據。”

另外,模糊查詢能力也是大數據存儲不可缺少的功能。智能的模糊查詢將為大數據平臺提供更加便捷的存儲服務能力,使得存儲更像一臺智能的高速計算設備。

目前,很多中國用戶在存儲廠商的引導下,片面追求存儲的大容量和高性能,而忽略了大數據存儲本身應該提供的其他額外屬性。中國用戶在實施大數據的過程中經常遇到的障礙有以下兩方面:第一,無法將存儲與大數據平臺進行對接;第二,無法充分利用大數據存儲的價值,也很難將其運用到實際的業務中。張楠表示,究其原因,主要在于有些大數據存儲產品沒有開放的接口協議,或沒有針對用戶的大數據場景進行特別優化,也沒有用戶容易接受的易用的管理方式等。

惠普在大數據方面可以提供軟硬結合的解決方案。惠普在收購Autonomy公司之后,將其軟件與惠普的硬件平臺進行了整合, 形成了一套完整的大數據解決方案。張楠介紹說,在存儲方面,惠普擁有像StoreAll這樣的大數據存儲平臺。借助HP StoreAll硬件平臺,用戶除了可以實現海量數據的存儲和高速數據訪問以外,還能實現高級的數據檢索功能,對特殊文件進行快速定位。同時,結合HP Autonomy軟件的特性,惠普還引入了模糊查詢、智能語義庫等概念,可以幫助企業用戶通過存儲底層為上層業務帶來所需的大數據業務價值。

如今,閃存不僅在大數據領域,而且在Tier 1存儲市場同樣占據著十分重要的地位。對于大數據平臺來說,閃存可用來提升存儲的存取速度,降低I/O的響應時間等。針對那些I/O壓力十分明確的大數據平臺, SSD可以發揮其效果, 提升存儲的整體性能。但是,SSD并不是萬能的。因為大部分的數據都是非結構化的,而非結構化數據對I/O的響應要求遠遠沒有對帶寬的需求大,所以,讓用戶花數倍的價格購買SSD存儲在目前來看還是比較困難的。從目前情況看,引入閃存的大數據解決方案還不是很普遍。

方案點評

惠普在大數據方面收購了兩個軟件公司Vertica與Autonomy,然后將它們的軟件與原有的硬件平臺進行整合,針對結構化和非結構化的數據都可以提供針對性的解決方案。惠普在將大數據軟件與存儲硬件結合上也進行了嘗試,其中一個成功的例子就是HP StoreAll大數據存儲平臺。HP StoreAll具有以下特點:橫向擴展,最大可以擴展到16TB;集成HP Autonomy搜索引擎,可以快速搜索,實現實時大數據的價值;內置對OpenStack的支持,可快速部署;支持文件和對象類型的數據存儲。

NetApp:統一架構 無限擴展

如今,企業若想獲得成功,就必須想方設法應對具有前所未有的復雜性、高性能的海量數據,并盡可能地管理這些數據,從中發掘更大的商業價值。

對于國內用戶來說,無論企業的規模和數據量大小如何,運用大數據的關鍵在于,企業是否把大數據作為一個真正的工具,去體現企業的差異化,從而提升競爭力。隨著越來越智慧的企業信息化的發展,IT不再是束縛企業發展的瓶頸,而是真正地融入了企業自身的業務中。越來越多的公司將大數據成功地運用于企業的商業模式。例如,在歐美,很多企業已經著手將大量資源投放在大數據領域。反觀國內,在金融領域,有為數不少的企業通過大數據的分析工具來分析金融的走勢,實現風險管理,進行信用卡的追蹤等。此外,像零售、制造、電信等行業也已在嘗試利用大數據分析工具為企業營銷和決策提供支撐。

無論企業現在是否正在使用大數據工具,企業都應全面地考慮自身未來發展的需求,選擇一個廠家的平臺與之共同發展,這可以有效避免因數據和應用遷移帶來的麻煩。

在大數據方面,NetApp能夠幫助企業實現數據管理,應對業務挑戰的極限,將以數據為導向的洞察轉化為有效行動。若想將數據轉化為商機,僅僅提升管理能力是不夠的,需要徹底轉變數據和業務之間的聯系模式。NetApp可以幫助企業用戶持續管理數據,迅速把握意料之外的新商機,永久保存所有數據,并在靈活、開放的存儲平臺之上打造屬于企業自己的大數據解決方案。

NetApp提供了可高效處理、分析、管理和訪問大規模數據的大數據解決方案。NetApp的解決方案組合可劃分為分析、帶寬和內容三個主要用例,這被稱之為大數據的“ABC”基本要素。

具體來看,分析(Analysis)是指針對極大數據集的高效分析。NetApp分析解決方案就是幫助用戶深入了解和利用數字世界,將數據轉化為高質量的信息,以及提供關于業務的更深入見解,從而幫助企業做出更好的決策。

帶寬(Bandwidth)是指適用于數據密集型工作負載的性能。此類解決方案著重于為速度非常快的工作負載提供更高的性能。高帶寬應用包括高性能計算(能以極快的速度執行復雜的分析)、用于監控和任務規劃的高性能視頻流、媒體和娛樂領域中的視頻剪輯和播放。

內容(Content)是指無限的安全數據存儲。此類解決方案著重于滿足可擴展的安全數據存儲需求。內容解決方案必須支持存儲的無限擴展能力,以便企業可以根據需要存儲任意多的數據,并能在需要時找到所需的數據。

NetApp致力于通過一系列解決方案來提供高性能的運算和大數據的應用。2013年11月,NetApp再次更新了E系列家族產品,推出E2700和E5500。該系列產品采用可輕松擴展的設計,適用于要求99.999%的可靠性且穩定、高性能的工作負載。

用戶在采購大數據存儲產品時,需要注意以下五個方面的問題:大數據存儲必須具有向上擴展與向外擴展的能力;架構必須是針對工作負載進行優化的,具有實時處理能力;具有整合的數據保護功能;保證7×24小時運行不中斷,可在線進行容量擴展,實施數據遷移等;可以實現服務的自動化。

方案點評

NetApp的技術優勢集中體現在其統一存儲平臺上,從入門級產品到企業級產品,全部基于同一個體系架構和操作系統,不僅部署和使用方便,而且升級和擴展非常簡單。當初,NetApp收購LSI Engenio,其中一個重要的原因就是為了大數據。2013年,NetApp不斷更新E系列產品線,推出E2700和E5500等。E5500可以支持高IOPS混合工作負載和數據庫、高性能文件系統和帶寬密集型流等應用,可確保數據的高可用性、完整性和安全性。

曙光XData:高度集成 貼近行業

關于大數據存儲,目前業界沒有一個通用的定義。曙光信息產業股份有限公司總裁助理兼存儲產品線產品總監惠潤海從曙光大數據平臺和解決方案角度,概括出大數據存儲的主要特征。

首先,大數據存儲必須支持全類型數據, 包括結構化、半結構化和非結構數據,實現統一數據支持。

其次,存儲性能上,一方面,大數據存儲要支持海量數據,并且要在保證數據可靠性的基礎之上,實現容量與性能的線性擴展;另一方面,為了實現大數據的價值,批處理和實時處理兩種措施都需要高性能的數據訪問獲取能力。

最后,在系統達到一定規模之后,系統的易用性和可管理性也是不可或缺的。

從應用角度來說,目前中國用戶在大數據存儲應用中最迫切的需求,是如何真正實現用戶數據的價值,如何驅動業務發展,實現決策和運營。“從系統構建層面說,要實現數據高性價比的存儲和管理,同時滿足數據服務的相關需求。”惠潤海表示。

針對用戶對大數據存儲的需求, 曙光推出了像大數據一體機這樣的全類型數據分析型產品,同時還基于該產品構建了基于行業的解決方案,以幫助用戶實現大數據落地。

“除此之外, 我們還提供了大數據統一數據中心解決方案, 涵蓋了像主攻事物處理的DS900、DS800,以及針對文件存儲的Parastor等存儲產品。我們基于這些存儲產品構建了大數據運營管理平臺。”惠潤海介紹說,“曙光的優勢不僅在于可以提供全面的產品支撐,更重要的是能夠提供數據生命周期過程服務支持。目前,我們提供的免費維保期限為5年。”

曙光開發了針對不同行業和應用場景的大數據存儲解決方案。以金融行業為例,目前國內四大行的應用系統每年產生的非結構化數據量已達到PB級,結構化數據也以百TB計。面對如此大量的數據,如何存儲、管理、利用和盤活它們呢?惠潤海認為,只有通過商業智能和高級分析應用解決方案才能將數據的價值最大程度地發揮出來。

針對金融行業用戶的需求,曙光開發的XData大數據解決方案利用優化的大數據處理技術,對文件管理、歷史數據查詢和數據分析類應用等進行深入研究,為數據爆炸式增長帶來的海量數據存儲及分析應用提供高可靠的解決方案。

曙光金融行業XData大數據解決方案采用曙光自主研發的SN-MPP并行數據庫,同時結合大數據處理事實標準Hadoop,并充分考慮了多方面的數據收集,加入ETL工具和連接驅動器,提供了類SQL的接口,還和現有金融業務系統進行對接。

針對金融行業歷史數據,XData大數據解決方案在方案設計上主要考慮了數據的安全性、歷史數據高效導入、快速訪問與分析報表。曙光金融行業大數據解決方案立足于基礎平臺建設,同時切實貼合金融行業用戶需求,提供了優質的軟硬一體化解決方案,為用戶一攬子解決了部署、業務移植開發等技術難題,幫助用戶跨過應用門檻。

篇2

這正是白宮網站的《大數據研究和發展倡議》所追求的——“通過收集、處理龐大而復雜的數據信息,獲得知識和洞見,提升能力,加快科學、工程領域的創新步伐,轉變教育和學習模式”。

各行各業都能用得上大數據,只是對大數據重要性的意識程度不同:凱捷咨詢(Capgemini)的調研結果顯示,76%能源和自然資源行業的高管相信公司是數據驅動的,在醫療醫藥行業和生物科技行業這個數字為75%,在金融行業為73%。包括英特爾在內的有能力提供大數據解決方案的IT廠商正在努力讓各行各業的企業切實感受到大數據的魔力。

能否置身事外?

隨著網絡應用和多媒體應用的興起,互聯網成為大數據的主要來源。隨之而產生的網絡營銷調整圍繞大數據而展開。淘寶是國內公認的對用戶數據利用得較好的公司——淘寶網利用大數據統計分析得到諸如“歐洲杯的球隊勝負如何影響各隊球衣的銷量?花露水的最佳搭配是電蚊拍還是痱子粉?”等問題的有趣結果,并以此為依據來更好地調整營銷戰略。

近日,阿里巴巴集團宣布,將在集團管理層面設立首席數據官崗位(Chief Data Officer),負責全面推進阿里巴巴集團成為“數據分享平臺”的戰略。這直接證明了大數據對于互聯網企業的意義。

別的行業能不能對大數據冷眼旁觀呢?賽迪智庫軟件與信息服務業研究所研究員安暉認為,雖然目前大數據的主要來源是互聯網,但許多以信息流作為核心競爭力,如金融、電信、零售等行業的機構或企業,其數據量也不容低估。例如,美國國家海洋和大氣管理局(NOAA)數據中心存儲的數據超過20PB,沃爾瑪數據中心的存儲能力超過4PB,eBay分析平臺每天處理的數據量高達100PB。并且,由于這些機構和企業所存儲的數據更加有針對性,其數據的價值密度更高,進行大數據處理的意義更強,運用大數據的需求也更為迫切。

安暉以數個典型行業為例來說明大數據能帶來什么好處——電信行業可以從龐大的數據中分析出不同群體的差異化需求,實現套餐制定等精準營銷;制造行業可以通過整合來自研發、工程和制造部門的數據以實行并行工程,顯著縮短產品上市時間并提高質量;交通行業可以通過整合和處理相關數據,實現智能交通(管理)與高效物流調度。

賽迪顧問軟件與信息服務業研究中心研究總監胡小鵬認為,金融行業中證券、信用卡、電子支付等數據規模龐大,具有使用對象多樣化、信息可靠性、實時性、保密性要求高等特點;電信行業中大數據主要體現為電信業務系統產業的計費賬務數據和用戶信息(包括客戶資料、客戶服務數據等),不僅數據量大,而且保存時間長;能源行業大數據主要集中在石油勘探以及電力生產、經營、管理等數據,具有數據量大、分散、類型復雜等特點。其中,在金融行業,利用大數據的挖掘和分析改善用戶體驗、監督欺詐行為、驗證合規性、服務創新等,從而助力金融智能決策,提升競爭力;而對于電力行業,大數據分析有利于電網安全高效運行(安全檢測與控制、災難預警與處理、供電與電力調度決策支持和負荷預測)、電力營銷(用戶用電行為分析)、集團集中管控與精細化管理等。

大數據這場盛宴上,哪個行業也不愿意沒有一席之地。

誰能站出來?

大數據的熱度可以由英特爾、IBM、EMC、惠普等廠商紛紛推出面向大數據的一體化產品和解決方案直接反映出來。

然而,一個不能逃避的現實是,雖然越來越多的行業用戶嘗試應用大數據的解決方案,但是大多數行業用戶對于大數據的認知仍然比較有限。面對林林總總的不同廠商提供的大數據解決方案,用戶分不清這些解決方案的差異在哪里,也就不會真正了解哪種解決方案適合自己。

有用戶反映,大數據解決方案容易給人的錯覺是該解決方案就是把數據分布存儲,再并行處理。即使采用國外廠商的工具,這些工具成熟度不是特別高,導致解決實際問題的時間過長。

英特爾相關專家表示,從總體上看,中國大數據市場發展迅速,特征明顯,相關技術和應用可改進和提升的空間巨大。而且大數據要落地,必須實現包括芯片商、軟件企業等在內的IT基礎設施與服務層平臺的開放。

英特爾在硬件上的領先無需多言。在軟件層面,考慮到Hadoop的開源特性,很多廠商都有機會在Hadoop的基礎上推出產品,但行業解決方案提供商面臨的一個苦惱是,他們不得不進行底層開發。實際上,底層解決方案是有很多共性的。對行業解決方案提供商來說,如果有一個由可靠廠商優化過的平臺再好不過了。利用這個平臺,行業解決方案提供商可以拋開重復的、無意義的勞動,將注意力和精力更加集中在行業特點上,進而開發出滿足行業所需的實打實的行業解決方案。在這種情況下,英特爾適時地推出了英特爾Hadoop發行版,打造一個優秀的、高價值的底層平臺。

對于如何從大數據中發掘價值,英特爾指出,這需要在IT基礎設施與服務層、數據組織與管理層、數據分析與發現層、決策支持與IT服務層全面引入新的技術,特別是在堪稱大數據應用“載體”的IT基礎設施與服務層,采用基于開放架構的平臺將是最佳選擇。

O‘Reilly Strata和Open Source Convention大會委員會主席Edd Dumbill曾指出,使大數據真正變得強大的方式之一就是讓上層程序員可以將精力放在數據而非底層Hadoop設施的抽象特征上。他們編寫更簡短的程序,能夠更清晰地表達出對數據所做的處理。這些將有助于為非程序員創建更好的工具。

延伸到企業層面,“行業解決方案提供商需要穩定性和可用性都足夠好的平臺。在這樣的平臺上,行業解決方案提供商可以從不必要的重復性勞動中解放出來,從而把更多的精力放在提供差異化特色方案和服務上。”英特爾亞太研發有限公司總經理、英特爾軟件與服務事業部中國區總經理何京翔的看法類似。進而,他解讀了英特爾Hadoop發行版的優勢:“英特爾Hadoop發行版的優勢在于:處理接近于實時;能在英特爾平臺上實現最優化的性能,比非英特爾發行版有成倍的增長;通過和電信、智能城市、醫療等行業客戶的合作,英特爾Hadoop還做了更進一步的優化。”

除了提供平臺,英特爾(中國)行業合作與解決方案部中國區總監凌琦強調,英特爾還會把大數據解決方案的研究和服務作為投資部門的重點。英特爾的風險投資部門也對大數據中所涉及的關鍵平臺、關鍵應用、提供商,給予關注。

行業側重點

英特爾硬件平臺的特點讓其可以用“通吃”來形容,行業特色則由軟件來體現。

正如英特爾Hadoop發行版白皮書所指出的,它“為企業應用而優化”,其擁有的增強高可靠性、增強分布式文件系統HDFS擴展性(使集群的I/O吞吐量能夠隨著節點數量的增加而線性增加)、動態調整數據復制策略(提高熱點數據的并發訪問能力)、改進分布式計算框架調度算法(避免并行任務退化成串行執行)、增加Hadoop集群監控管理、優化HBase查詢、實現細粒度的HBase合并調度控制(避免合并風暴)、創建異地HBase大表、均衡負載等相對開源Hadoop和其他Hadoop發行版的核心優勢在多個行業中均不可或缺。

篇3

日前,在戴爾公司召開的2012年高層客戶峰會上,戴爾亞太及日本地區總裁、全球新興市場董事長閔毅達(Amit Midha)表示,IT市場目前呈現出五大趨勢:IT系統簡化、虛擬化與云計算逐步普及、數據大爆炸、新興市場發展、IT消費化。因此,他認為,推動部署虛擬化、降低IT系統運營成本、管理快速增加的復雜數據、管理工作人員所使用的各種IT設備,這些都成為企業面臨的挑戰。戴爾近年來同樣通過轉型,努力提高全面服務于客戶的能力,為用戶提供端到端的解決方案。

收購加速能力提升

在IT界,一直以來都不乏通過對具有先進技術的公司的收購,來迅速提升本公司能力的案例,對于以往以PC等終端設備見長的戴爾來說,要想轉型進軍企業級市場,收購無疑是一條快速實現目標的捷徑。從2008年開始,戴爾就將目光投向了在存儲、網絡、安全、軟件、服務等領域有特色的廠商,開始了有計劃、有步驟的收購行動。

至今,戴爾已經收購了20多家廠商,其中不少很成功的收購為業界所津津樂道。例如對存儲廠商EqualLogic的收購,兩年時間就使其業績達到10億美元,而用戶數增加了8倍;2010年年底收購的智能存儲廠商Compellent,使戴爾的存儲解決方案上了一個臺階,Compellent的“流動數據”理念現在已經成為戴爾存儲的設計理念;對咨詢服務廠商佩羅的收購更是填補了戴爾企業級咨詢服務的空白,使戴爾的解決方案成為名副其實的“端到端”,并有效地帶動了戴爾其他產品線的銷售。

正是這一次次的收購,使戴爾迅速轉型,業績不斷提升,在當今云計算和大數據時代,也有了更多的話語權。戴爾全球企業解決方案事業部副總裁Cheryl Cook認為,戴爾在大數據方面擁有創新性的解決方案,不僅可以為用戶節省大筆資金,同時可提供極高的價值。她認為,大數據從開始到成熟分為5個階段,即從混亂、保留、優化到簡單分析、復雜分析。在這5個階段里,戴爾針對前3個階段,可提供大數據保留解決方案;而對于后兩個階段,戴爾則擁有大數據分析解決方案。Cheryl Cook認為,戴爾創新性的解決方案可處理成熟度模型范圍內的結構化、半結構化和非結構化內容,她特別說道,戴爾將利用Hadoop,并與從事Hadoop開發的Cloudera公司合作,為用戶提供大數據分析解決方案;而在大數據保留解決方案中,戴爾將充分發揮在存儲方面的優勢,通過存儲虛擬化和整合、應用程序優化、數據保護、災難恢復以及數據保留和管理等技術,為“流動的數據”提供存儲和保護。

深諳用戶需求

在戴爾2012年高層客戶峰會上,戴爾服務部首席創新官James Stikeleather就“IT的未來”進行了演講,他認為,企業IT未來將面臨著來自IT價值、所有權和角色等方面的五大根本性變化,這些變化包括:信息超越流程、IT嵌入在業務服務之中、外部化的服務交付、企業合作伙伴的責任更大、減弱的獨立IT角色。

作為IT解決方案供應商,戴爾同樣也是一家企業,James Stikeleather認為,在當今這個轉型的時代,戴爾已經成功地轉型成為高效企業,它將戰略性支出從2008年占IT預算的20%提高到今天的52%。這期間,戴爾的IT經過了標準化、簡化、自動化,并最終實現云,比如將97%的系統遷移到x86平臺;大力推進虛擬化,從而減少了6000臺服務器;僅用一個控制臺就可管理13萬臺服務器和客戶端;運用云平臺聆聽客戶的聲音、信息和進行交互。這些舉措使戴爾更加了解用戶,更有針對性地為用戶提供適合的解決方案,真正解決用戶的問題。

閔毅達介紹說,戴爾目前針對不同行業推出了不同的解決方案,尤其在金融、教育、醫療、制造業等行業中更是擁有大量的用戶,并與用戶一起合作開發和培養人才。在會上,戴爾與教育部教育管理信息中心針對教育信息化建設和管理人才技術培訓及試點合作簽訂了備忘錄,與北京大學計算機科學技術研究所簽署了戴爾虛擬集成系統(VIS)聯合實驗室項目備忘錄,還與中國東方航空就長期發展簽署了合作備忘錄。

篇4

一體化方案確保信息回報

一項由惠普主導的調查表明,亞太地區60%的受訪企業表示今年將把至少10%的IT創新預算用于大數據,而在中國這一數字為56%。三分之一的亞太地區和中國受訪企業還堅信,大數據是其最大的差異化競爭優勢。然而,調查卻發現,近一半的亞太地區受訪企業所實施的大數據計劃都失敗了,而在中國,這一數字為55%。很顯然,大數據中蘊含著巨大的商業價值,然而駕馭大數據不是一件容易的事,并不是所有企業都具備像Google一樣“玩轉”數據的基因與技術儲備。許多行業除了需要做好大數據思維上的轉變之外,還需要有不同工具來進行大數據的處理與分析。

通過對收購的Vertica、Autonomy、ArcSight等產品進行優化整合,惠普在融入Hadoop等大數據技術的基礎上打造了大數據分析平臺HAVEn。“HAVEn平臺提供了大量的應用開發接口(API),惠普希望通過HAVEn與合作伙伴共同打造一套完整的大數據分析生態系統,讓更多應用解決方案落地到行業。它可以充分利用惠普的分析軟件、硬件和服務,創建新一代為大數據準備的分析應用和解決方案。” 惠普公司軟件集團大中華區總經理于志偉表示,“同時,HAVEn平臺還支持各種主流硬件平臺,為客戶提供最佳的投資回報(Return On Investment)與信息回報(Return On Information)。”

不只是軟件平臺

“HAVEn”這個名字實際上來源于其各個組件的首字母,即Hadoop(HDFS)、Autonomy、Vertica、Enterprise Security以及nApp(行業解決方案)。可以看出,HAVEn平臺實際上是一個惠普大數據產品的組合。實際上,HAVEn解決方案中除了包含此前提到的四方面內容外,還支持Hadoop這樣通用的技術,而且是“雙向集成”。同時HAVEn并不是一個孤立的軟件產品,而是更多軟、硬件產品的服務能力的體現。“HAVEn不只是一個軟件平臺,更是一個生態環境。”于志偉表示。

篇5

【關鍵詞】大數據 體系架構 國產化 自主可控

1 前言

在全球已經全面進入信息時代的今天,數據已經成為與水、石油、天然氣同等重要的國家戰略資源。IDC報告指出,截止2011年底,全球的數據量已達到了1.8萬億GB,未來十年還將增長50倍,迅速積累的海量數據蘊含著重大的商業價值和社會價值。作為云計算領域的重要延伸,大數據在行業內的熱度在不斷升溫。2012年我國大數據市場規模為4.5億元,同比增長40.6%。IDC預計,全球大數據2016年將達238億美元,中國市場規模未來5年將增長近7倍。

大數據技術最近幾年在迅速發展,國內外的廠商和組織已經推出了多種大數據解決方案。在金融領域,已經利用大數據技術解決詐騙檢驗、IT風險管理和自助服務等問題,未來大數據技術將會起到越來越重要的作用。目前國內外很多金融機構如摩根大通、花旗銀行,以及風電、太陽能發電、石化企業等制造業企業也開始采用大數據的解決方案進行設備監控、優化和故障預防[1]。

由于國內外針對商業機構系統頻頻發生的安全事件,國內各行業的信息化目前正在向基于國產軟硬件和自主可控方向發展,大數據也是目前國內各行業重點關注的技術。很多廠商和企業紛紛進行技術研究、方案準備和內部測試,并逐步開始在歷史數據查詢、分析,非結構化數據檢索等方向上開始使用[2]。從最近幾年的趨勢來看,安全、自主可控的大數據解決方案在大數據的行業領域有非常大的市場需求。

國內的很多關鍵行業應用,如金融信息系統的許多關鍵設備都沒有采用國產產品,導致無法準確判斷其安全隱患,這使得我國信息化建設的安全底數不清。迫切需要國內IT企業和行業共同研發自主可控、自主知識產權的信息系統、信息環境和信息安全產品。針對這種狀況國家銀監會提出了“自主可控,持續發展,科技創新”的三大戰略[3],國產的信息化產品,在金融領域的應用已經開始了破冰之旅,事實也已經開始證明,自主可控的軟硬件產品,在關鍵行業領域的應用是可行的,但是缺乏完整的經過驗證的整體解決方案和實際案例,無法復制和推廣。

本文基于國產軟硬件產品進行自主可控的大數據體系架構研究要打破國外技術依賴,掌握技術命脈。針對現有行業關鍵系統多數是直接引用國外成熟技術,關鍵、復雜、核心的應用系統大多是建立在非自主產品上,形成了對國外的技術嚴重依賴的現狀,本文的研究將可以在大數據領域打破國外技術的壟斷,形成有競爭力的國產解決方案。

2 主要研究內容

本文主要研究面向行業應用、基于自主可控基礎軟硬件產品的大數據體系架構,研究內容主要包括:

2.1 行業大數據應用的需求分析

2.1.1 面向多源異構業務數據的采集和管理需求

在客戶信息為例,行業內的集團企業經常會面臨急需解決的數據集成問題,企業存在大分散的客戶信息資源,并由各系統自主采集和維護,沒有良好的共享體系,客戶信息、訂單信息等異構的存在不同數據源中,沒有橫跨多個業務領域的客戶信息的統一管理和分發體系。因此,要求統一建設行業信息大數據管理系統,是一套為所有在線業務服務的、整合的行業信息大數據管理與分析系統,并具有行業先進水平的大數據管理和分析能力,以滿足企業形成市場競爭優勢的要求。

2.1.2 針對海量異構大數據的高性能存儲需求

通過調研發現很多大型企業的信息系統已經積累了大量的業務數據,而且隨著業務拓展的需求,大數據分析的數據源已經不僅局限于企業內部,如對客戶流失分析或者產品銷售趨勢預測,就還需要互聯網社交網絡或者電商消費信息等。這些多源、異構、海量的數據對于大數據平臺的存儲提出了極高的要求。以某大型企業集團的客戶和生產經營信息為例,數據規模已經達到上百TB容量,且相關數據量,特別是生產線的傳感器數據和用戶行為等數據還在持續大幅增長。

2.1.3 多樣性大數據分析和處理需求

大數據分析系統不但集成了多個系統的數據源,未來大數據分析應用系統也會被多個部門,多個業務中使用,而且不同的部門和不同業務對大數據分析處理 的響應時間、數據量、結果準確程度以及具體的分析算法都會有很大差異。因此需要完整的對這些分析和處理需求進行分析,以便于設計滿足當前和潛在需求的大數據分析處理架構。

2.1.4 行業大數據的安全監控和隱私保護需求

面向行業和企業的大數據平臺都將集成來自于不同數據源的數據,其中有很多數據會涉及商業秘密和個人隱私等安全問題,所以這些數據在大數據平臺中應該被合理的授權使用,并有完善的安全監控和隱私保護措施,以避免引起數據泄密或者隱私糾紛。

2.1.5 行業大數據平臺的業務應用和可視化展現的需求

大數據分析的結果是更好的支持業務推廣和運營決策,所以企業大數據分析還是要和現有的業務應用緊密結合,并且以簡單友好的操作,以及可視化的方式直觀的展現分析結果,這樣才能被各部門和各級別的人員使用好大數據系統。

篇6

5月5日,亞信數據推出了OCDP的最新版本4.0。亞信數據橘云產品線總經理朱軍表示:“新產品的還在其次,我們現在更關注的是打造大數據生態圈,充分釋放開源大數據技術的能力,讓各類合作伙伴在以OCDP為核心的數據操作平臺之上開發垂直應用,讓大數據解決方案變得更加簡單、易用。”呼應亞信集團的整體戰略,亞信數據要打造以大數據為核心的PaaS,走出有自己特色的大數據發展之路。

充分釋放開源技術的能力

Hadoop商業發行版何其多,亞信數據OCDP到底有何過人之處?簡單說,亞信數據OCDP的基礎還是那些開源技術組件,不過OCDP是針對企業級用戶的需求設計的,并在局部功能上進行了增強。總之,來自開源,優于開源,高于開源。如果非要給OCDP找個對標的產品,它與Hortonworks有幾分相似。

產品的更新換代只是一方面,為了更好地推動大數據應用,亞信數據于2015年加入了大數據ODPi國際組織。它不僅僅是一個技術組織,更是一個大數據企業聯盟,包括Hortonworks、IBM、Pivotal、SAS等在內的國際知名的大數據企業都參與其中。亞信數據此舉,既可以讓自己在大數據方面具有開放性和國際化眼光,同時也能將國際先進的理念、技術與中國用戶的需求和自身的實踐經驗相結合,更好地服務于企業級大數據應用。朱軍表示,亞信數據的大數據產品定位其實很簡單:在技術上,充分利用開源技術,保持國際領先;在產品化方面,結合中國行業應用的特點,不斷增強底層技術,率先在運營商、金融、公安、政府等領域實現突破。

OCDP為企業級用戶在大數據中心搭建統一的分布式操作平臺,實現統一的資源分配、應用管理和數據治理,并支持并發多用戶在OCDP基礎上采用敏捷方式整合大數據分析應用的開發與運維。OCDP意在敏捷開發和智能運維,它為企業提高業務創新效率、改善數據中心資源利用率提供了堅實的系統支撐平臺,同時為企業的開源節流提供了有效的產品和技術保障。

朱軍告訴記者:“市場上的Hadoop商業發行版80%的功能是通用、相似的。為了保持領先性和差異化,有些廠商在通用功能上又加入了自研的技術。而OCDP始終堅持走開放和國際化的道路,100%開源,保證了透明性,將開源技術的價值釋放出來,并在此基礎上針對企業用戶的需求,增強了產品本身的性能,簡化了應用。”

其實,企業用戶并不關心具體的技術細節,他們只是希望能夠利用新技術解決實際的應用問題。開源軟件的一個好處是,所有人都可以為開源軟件做貢獻,使得開源軟件的價值能夠充分釋放。像亞信數據這樣的企業,可以在開源技術的基礎上,面對垂直行業增加差異化的功能。朱軍介紹說:“OCDP既能滿足運營商的需求,也可以支持商業企業的應用,并且充分保證系統的穩定和安全。在提供80%的通用功能的基礎上,我們會針對不同行業客戶的個性化需求,增強相應的能力。比如,公安行業對圖形圖像存儲的要求很高,我們會針對此提供定制化的解決方案,尤其是充分發揮硬件的性能優勢。”

大數據不是技術驅動的

目前,在眾多大數據產品中,用戶選擇Hadoop的比例較高。但是在不同的行業,人們對大數據的需求不同,因此如何應用Hadoop也會有差異。

朱軍介紹說,國內在大數據應用方面走得比較靠前的是運營商,以及金融、保險行業的客戶。在大數據上升為國家戰略后,政府、公安等行業的客戶也對大數據有了更深刻的認識,開始有意識地應用大數據手段解決業務問題。

運營商、金融客戶對大數據有明確的、自發的需求,它們希望將開源技術與Hadoop的能力充分釋放出來,實現實時的數據處理和分析。在其他很多行業,比如農業、水利、物聯網等,大數據還是一個待挖掘的金礦,如何收集、使用數據,數據能夠為這些行業的用戶帶來什么樣的價值,以及如何將數據轉化為資產,通過深入分析和挖掘,找到新的價值點,還需要像亞信數據這樣有經驗的廠商幫助用戶一起分析,提高認知度。朱軍表示:“我們的數據操作平臺側重計算、存儲和分析能力的提升。而亞信現有的數據資產管理軟件,可以有效促進用戶對數據的理解和分析。當用戶一旦明白了如何應用數據后,不管采用什么樣的技術手段,都可以很快切入,找到數據價值所在。”

大數據市場并不是單純由技術驅動的,對于廠商來說,必須找到適合大數據的應用場景,然后針對用戶的具體需求提供定制化、差異化的解決方案。亞信數據就是這樣做的。朱軍對自己的技術團隊和產品都十分有信心。去年,亞信數據做了一個開源項目,圍繞資源調度策略平臺YARN做了增強,同時使用Docker容器實現了應用隔離。“這些技術和產品上的優化,目的是讓企業用戶的大數據應用變得更加簡單,讓用戶更放心。今年,我們還計劃利用大數據技術監控大數據集群的運維情況,比如系統資源的利用率是否合理,如何進行優化和調配等。”朱軍介紹說。

提供一站式的大數據解決方案是亞信數據的獨特優勢。以OCDP為核心,整合亞信集團其他業務部門的產品,比如數據資產管理軟件,以及Hadoop一體機等,亞信數據可以提供覆蓋數據采集到梳理、開發整個過程的整體解決方案,為客戶提供一站式的大數據服務。用戶根本不用操心大數據系統的安裝、部署和調試,直接拿來就可以使用。

從底層的硬件,到數據操作平臺,再到上層的大數據應用,這是一個完整的生態鏈,同時也是一個完整的大數據應用體系。朱軍告訴記者,現在越來越多的企業級用戶開始構建完整的大數據系統。舉例來說,運營商開始想方設法將以前“煙囪式”的集群整合起來,制定統一的大數據規劃。一個完整的大數據體系包含多個層次,要自下而上逐層構建、夯實。在這個過程中,用戶要特別注意保證整體架構的可伸縮性,為以后逐步增加更多應用做好準備。

大數據PaaS平臺

隨著大數據應用逐漸走向深入,人們對大數據又有了更加深刻的認識,而不僅僅是一個“大”字。“我們并沒有刻意強調大數據的‘大’,而是大力倡導數據操作平臺的概念。從某種程度上說,數據操作平臺相當于一個操作系統,可為數據共享和運營提供支持,從而改變了傳統的大數據運營模式。”朱軍解釋說。

既然OCDP是一個大數據平臺,那么它就應該有新的商業模式和打法。亞信數據早就有了準備,推出了相關的合作伙伴計劃,希望吸引更多的垂直應用廠商,基于OCDP打造面向不同行業應用的解決方案,或者一體機。在本次OCDP新版本會上,亞信數據和合作伙伴一起展示了基于OCDP構建的智慧醫療、智慧旅游等解決方案,以及亞信數據Hadoop一體機解決方案。另外,亞信數據還深挖亞信集團內部潛力,將兄弟部門的BI產品與OCDP相結合,提供一些新型的服務,比如利用運營商的位置信息提供實時營銷服務等。“我們專注于底層的大數據平臺,保證平臺的質量、穩定性和安全性,以滿足企業用戶的嚴苛需求,同時提供行之有效的運維支持。這樣做的目的是為了讓合作伙伴更放心地選擇我們的產品,在我們的大數據平臺之上充分展現他們的價值,共同為客戶創造新的應用價值。”朱軍表示。

為了更好地實現上述目標,亞信數據在研發方面下了大力氣,計劃將現有的研發團隊擴展到百人左右的規模,并以西安、北京兩地為研發基地,主要的產品研發集中在西安,北京主要保留一些高端的技術人才。

篇7

若論存儲新產品的數量,今年的云計算大會不如去年,這主要是因為華為存儲已經擁有了比較齊全的存儲產品線,現在只是在原有基礎上的豐富和優化。不過從華為存儲旗幟鮮明地進入企業級市場后,“存以智用,融以致遠”的華為融合存儲戰略就從未動搖過,而且“智”、“融”的特色越來越突出。

高端存儲一年考

傳統上,高端存儲市場一直是國外廠商的天下,中國存儲廠商通常會從中低端存儲起步,然后慢慢向高端市場滲透。華為存儲從進軍企業級市場那天就把高端存儲當成了奮斗的目標,不斷在技術上推陳出新,并且在一些重點行業領域實現了突破。華為IT存儲產品線總裁范瑞琦在云計算大會上告訴記者:“我們的高端存儲產品正式面市雖然只有一年多,但已經在運營商、公安、金融、稅務、電力、大企業、政府、社保、醫療、交通、石油等20余個重點行業實現了突破,累計銷售超過70套。”

Gartner的報告顯示,2013年第一季度,華為存儲取得了中國區出貨量第一,全球收入排名第九的好成績。據范瑞琦透露,在第二季度中,華為存儲依舊保持了強勁增長的態勢。華為存儲整體實力增強的同時,其在一些重點產品線上,比如高端HVS存儲、大數據存儲N9000等也實現了突破。

在本次云計算大會上,IDC與華為聯合了《企業高端存儲安全可信白皮書》。IDC在白皮書中建議,企業在選擇存儲系統時,應重點關注存儲系統在硬件架構、數據存儲、業務應用三個層面的可靠性。華為高端存儲領域經理趙海龍表示:“安全可信、彈性高效是華為高端存儲設計的核心理念。從Smart Matrix全冗余系統架構設計到基于全虛擬化設計理念的XVE存儲操作平臺,再到革命性的RAID 2.0+兩層虛擬化數據管理模式、自檢測自修復端到端的數據保護機制等。”

在本次云計算大會召開之前,很多業內的記者都在猜測,本次大會上最重要的存儲產品是什么?大家一致認為是全閃存陣列。果不其然,范瑞琦在大會上正式了華為首款全閃存高端存儲OceanStor 18800F。它具有百萬級IOPS、微秒級的穩定時延和“0”硬盤失效率三大特性,此外還具備出色的抗震、抗腐蝕等性能。不過,記者在解決方案展示區沒有看到OceanStor 18800F的實物,商業化的產品據說明年才能上市。

大數據存儲追求高效

媒資是華為大數據存儲解決方案最先落地的行業之一。在本次云計算大會上,華為宣布將與中央電視臺共同研發深度節能的大容量存儲設備,據稱可以比傳統設備節省能耗60%~80%。

隨著數字化技術的不斷完善以及高清電視、IMAX/3D電影、移動新媒體市場的快速增長,媒體的生產者必須及時提供高清化、多樣化的媒體節目,而傳統以磁帶設備為核心的媒資存儲平臺已經不能滿足需求。華為可以為媒體提供以N9000系列存儲為核心的大數據存儲架構。N9000集海量數據的存儲、歸檔和分析于一體,具有極強的橫向擴展能力,可支持超大單一文件系統(最大為40PB),實現非結構化數據的存儲與共享。

華為存儲的媒資解決方案順應傳統電視媒體向全媒體演進的趨勢,以開放、融合的ICT基礎架構為核心,全面兼容業內主流的上層應用系統,可提供全臺網、高清制作、無帶化媒資庫、媒體云、網絡互聯及協同辦公等業務支持。華為存儲秉承“被集成”的策略,與業內許多知名的媒體應用提供商合作。

篇8

隨著移動互聯網、云計算、4K大視頻、大數據、物聯網等新業務的迅猛發展,爆發式的數據流量增長和海量的設備連接對通信網絡提出了更高的要求,傳統的剛性、煙囪式網絡已難以為繼,運營商需要打造更加敏捷、智能、開放的新一代網絡架構,用來承載未來更加多樣化、智能化的業務應用。隨著IT和CT的深度融合,由此而產生的云計算、SDN/NFV等新技術,為運營商的網絡與業務轉型帶來了巨大的機遇。

作為國際知名信息通信網絡產品與解決方案提供商,烽火通信近年來積極探索并加速ICT轉型,立足于光通信,業務深入拓展至信息技術與通信技術融合而生的廣泛領域,如云計算、智慧城市、4K融合視訊、SDN/NFV等,客戶遍布國內、國際和信息化三大市場,為客戶提供領先的端到端信息通信網絡產品和解決方案。

在12月27日舉行的2016中國通信產業大會暨第十一屆中國通信技術年會上,烽火通信NFV產品線市場總監鄭發金向《通信產業報》(網)記者詳細介紹了烽火通信面向ICT轉型的云、網、端產業布局和基于SDN/NFV的FitNet戰略。

深化ICT轉型 全面布局云、網、端

近年來,隨著“寬帶中國”、“智慧城市”、“互聯網+”、“中國制造2025”等國家戰略的實施和推進,光通信、4G網絡、數據中心等經歷了較快的發展階段,大數據、云計算、SDN/NFV、物聯網等新技術有望迎來新的發展機遇。烽火通信基于穩健增長的光通信、光纖光纜等傳統網絡業務,業務領域逐漸向云和端進行擴展,已經取得了令人矚目的成績。烽火通信在武漢、南京、西安、成都、長春、珠海等地部署產業基地,深化ICT轉型進行產業布局和新技術研究開發。

云:烽火通信積極布局云計算、智慧城市等業務,借力“智慧湖北”建設的重要發展契機推動大數據業務的開展,在原有烽火集成、烽火網絡、烽火星空、南京數據中心等業務范圍基礎上,積極構建“大集成”框架,并成立智慧地鐵公司、教育資源平臺運營公司、武漢光谷智慧科技有限公司、湖北省楚天云有限公司等,并了“智慧城市解決方案暨FitCloud云網一體化技術戰略”,全自主開發的“大數據平臺+應用開發+數據分析”產業鏈正逐步形成。烽火通信在南京投資建設的云計算中心一期項目順利進行,自主研發的FitCloud云計算平臺現已成功應用在湖北省教育云、湖北省政務云(楚天云)中。

網:伴隨全球加快邁向信息社會,光通信產業成為最具潛力、增長速度最快的領域之一,大容量、高帶寬仍是未來光網絡發展的基本需求。烽火通信立足于光通信,目前已擁有光通信O備、數據通信設備、SDN/NFV、關鍵芯片等全系列網絡產品和解決方案。烽火通信光通信系統、光纖光纜的綜合競爭力均排名世界前五,數通市場排名世界前七。在SDN/NFV新技術方面,烽火通信不斷加大研發投入,目前有從接入到核心的全系列SDN產品,包括SPTN、SIPRAN、SDON、光與IP協同SDN控制器等,并已在多個項目中成功應用;在NFV方面,積極布局X86服務器NFVI基礎設施,在虛擬化、VNFs、MANO等方面不斷加強產品方案的研究開發。

端:烽火通信終端產品從無到有,經過幾年的沉淀與積累,現已擁有寬帶終端、智能網關、OTT盒子、無線路由等全系列終端產品,銷售額裂變式地增長,全球累計出貨超過1200萬臺,全線產品大規模應用于亞歐拉美市場,樹立了全球知名的終端品牌形象。2016年4月,烽火通信了全新一代4K融合視訊平臺及CDN解決方案,助力運營商做大做強視頻業務和提供基礎服務保障的同時,也在不斷地挖掘新的商業價值。

網絡云化 推出FitNet解決方案

從語音時代,到數據時代,再到未來的智能化時代,通信網絡也經歷了數字化、IP化和IT化的階段。隨著IT和CT技術的深度融合,國內外運營商紛紛提出了網絡轉型計劃,如AT&T提出了Domain2.0計劃,中國聯通提出了CUBE-Net 2.0新一代網絡架構,中國移動提出了NovoNet 2020未來網絡,中國電信提出了CT-Net 2025計劃。在此背景下,烽火通信提出了FitNet網絡解決方案,以SDN、NFV、云計算等技術為基礎,以DC為中心重構未來網絡,不斷豐富產品方案,助力運營商未來網絡和業務轉型。

FitNet是烽火通信面向ICT轉型,基于光與IP融合、云網一體化以及SDN/NFV等新技術,面向運營商、行業用戶推出的泛在、超寬、極簡、隨需、開放的網絡整體解決方案。烽火通信FitNet解決方案通過SDN實現網絡靈活控制、業務自動部署,通過NFV實現網絡軟硬件解耦,硬件平臺標準化、網絡功能虛擬化,廣泛應用于政企承載、園區網、廣域網、數據中心等業務場景,實現業務隨需部署,資源全局調度,容量彈性伸縮,架構靈活調整,能力全面開放,為客戶提供最佳的網絡解決方案和業務體驗。

烽火通信FitNet解決方案有以下幾個特點:1.極簡網絡架構,以DC為中心,實現光與IP融合、云和網融合、網絡與數據融合、CT與IT融合。2.泛在連接,超寬管道,全網SDN智能控制,網元功能虛擬化部署,實現資源池化、彈性部署、按需使用、自助服務。3.運營級品質,電信級可靠性,以用戶為導向,開放式設計,傳統網絡平滑演進,異廠家兼容互通,合作共贏。FitNet戰略體現了烽火通信對云計算、大數據時代ICT融合架構演進的深入思考,是烽火通信整體實力的集中呈現。

深耕SDN/NFV 重構未來網絡

根據Infonetics預測,到2018年,全球SDN市場規模將達180億美元。HIS預測,到2019年,全球NFV軟硬件及服務市場達116億美元。2016年4月中國SDN/NFV大會《NFV產業發展白皮書》,指出未來五年,SDN/NFV國內市場規模接近2500億元。SDN/NFV市場將會逐漸覆蓋數據中心組網、DCI互聯、光網絡、接入網、移動核心網、IMS等領域。

目前烽火通信擁有從接入、匯聚到核心的全系列SDN產品和解決方案,如SPTN、SD-UTN、SIPRAN、SDON、SD-WAN等,同時自主研發了全系列“光+IP”協同控制器、數據中心SDN交換機等產品,通過開放標準的API接口,實現了跨域、跨網、跨廠商互通,并實現了傳統網絡平滑升級,控制器與網管完美融合。烽火通信在SDN國際標準領域取得重大突破,主導制定的G.7711標準已獲得ITU正式批準。

篇9

自從VMware在2013年的全球用戶大會上推出vSphere Big Data Extention(BDE)以來,大數據這匹駿馬越來越受到大家的追捧。當然BDE主要針對是Hadoop的大數據應用,其實大數據不僅僅是Hadoop,即使只算Hadoop也還有不同的版本。但是無論Hadoop的哪個版本或者哪個大數據平臺,都蜂擁開始追隨云計算,就像好馬配好鞍一樣重要,那怎樣的云計算平臺才是大數據的好鞍呢?運行環境平臺:多租戶、資源供應和管理。

在過去幾個月的客戶溝通中,我學習了運行大數據的多種不同平臺,包括Twitter使用的Mesos、Fedex使用的虛擬化和Yahoo使用的Yarn。而不同的云計算平臺特性能解決大數據應用的不同問題。比如:Yarn的目標是支持Hadoop上的非M-R應用。而Twitter使用的Mesos則可以支持混合的負載,并且會利用操作系統的虛擬化。由于企業的大數據應用場景往往是多樣的,所以需要選擇一種平臺適合不同的應用場景,這包括:

部署新的大數據應用極其簡單:可以通過自動化和自助服務來完成;

可以支持多種不同的負載:也就是能運行多種大數據應用,不僅僅限于Map-Reduce,還可支持一些Hadoop生態圈應用、SQL服務和其他通用應用;

可靠的安全隔離:如果需要將某些敏感信息隔離,該平臺有能力確保數據集和環境安全;

安全的資源隔離:為了能夠提供足夠的資源來滿足整體SLA要求,可以將吵鬧的鄰居隔離來確保性能;

多版本支持能力:能運行多個不同版本的運行環境,滿足不同用戶、開發者要求;

企業級的可用性:確保整個系統的強壯性,提供企業等級的可用性。

網絡的挑戰

對網絡而言,挑戰和機遇并存。今天兩層核心聚合交換網絡不能跨機架提供足夠的帶寬。機架內的帶寬應該沒有問題,經常可以達到每秒幾百Gbit,但機架間的帶寬往往十分有限,為此往往需要優化流量到本地,也就是數據和計算完全整合的模式。幸運的是,新的網絡拓撲,包括CLOS和主干加分支設計都提供了很好的解決方案。使用這些新型的網絡拓撲,可以在整個集群延時基本恒定的情況下確保足夠的帶寬,無論是機架內還是機架間都不會有帶寬問題。

存儲平臺的選擇

隨著存儲技術的不斷發展,大數據的存儲選擇越來越豐富。當然Hadoop的HDFS處于最核心圈,但其他的存儲平臺也可以提供跟Hadoop類似、即插即用的兼容能力,并且提供了某些獨特的價值。幾個主要的存儲選項如下:

傳統的SAN或者NAS:這應該算是支撐大數據應用的最佳存儲選項,因為目前大量的數據中心都可以提供這樣的存儲選項,并且也包括了各種存儲服務,例如:快照、歸檔、復制等;

服務器內置磁盤構建的軟件定義存儲:這方面HDFS是主要的代表,其他的選項包括CEPH、Gluster和MAPR,他們都可以建立文件系統,滿足大數據的應用;

橫向擴展存儲方案:很多獨具特色的新興公司提供了可以替代HDFS橫向擴展存儲,很好解決了成本和帶寬問題。比如Isilon的橫向擴展存儲方案,提供了3到144個節點的解決方案,可以擴展到15PB、每秒85GB吞吐能力,成為橫向擴展存儲的典型代表。

篇10

關鍵詞: 智能數據平臺 產學研 整合思路

一、社會治理智能數據平臺的構建思路

隨著信息化時代的到來,人們對大數據的研究開始日漸加深。研究者開始越來越多地強調對大數據的深層次挖掘,其中這種挖掘使得研究者能有越來越多探討和發現原來所不存在的事物之間的相關關系。可以說,大數據的出現,是“長尾理論”和“黑天鵝”理論的雙重驗證――原本被統計學剔除在外的小概率事件納入其中。但是,值得深思的是,目前對大數據的研究仍然過多地集中在理論層面,缺乏實踐性的探討,更缺乏深層次的具有統籌規劃方案能力的全方位的探測。因此,在高校研究和社會治理層面,這種非計算機科學的社會應用,如果能夠行之有效地將大數據概念引入實踐化,就成了擺在社會科學研究者眼前的重中之重。特別是構建一套完整智能數據平臺,幫助社會科學研究者在數據收集、數據分析和同用戶反饋交流中起到平臺作用,進而實現生產、教學和科研三位一體的布局戰略。

智能數據平臺所實現的這三個功能既是獨立的又是相輔相成的。說這三者是獨立的,原因在于這三個功能個各司其職地完成了相對較為獨立的任務。其中,智能數據平臺的生產功能為用戶滿足商業、政府、NGO等社會組織數據收集、數據分析及滿足市民在各種生活情境中對信息的精確獲取功能。智能數據平臺的教學功能為以學生為主體,深入細致地挖掘智能數據平臺中生活情境中可能存在的需求。而科研功能則在通過完成軟件的生產和教學功能的同時,進一步拓展了軟件的價值。其中,科研的方向可以有二:第一,科研人員可以根據特定情境下智能數據平臺收集到的數據進行深入加工和挖掘,在獲得深層次變量關系的同時,完成滿足社會需求的科研論文和項目。此外,圍繞智能數據平臺的功能拓展,也是一項重要的科研功能。三者雖然擁有各自的功能,但是在另外一個層面三者之間也存在不可分離的關聯。其中生產功能以需求為導向為智能平臺的建設提出了方向,這種方向性的指引保證教學過程中能以社會情景、社會組織和社會人的需求為方向進行知識傳授。這種以生產為導向的知識傳授正是現代應用型技術人才培養的需要。最后,在教學中,由于學生教師以智能數據平臺為工具的社會需求解決方案設計,能夠進一步保證教師的科研有明確的方向性和應用性。這種應用型將會進一步影響智能數據分析平臺的生產和教師的教學。可以說智能平臺的構建是能夠真正地從滿足社會需求方面出發培養應用應用技能性人才,提高教師科研能力較好的解決方案。

二、圍繞智能數據平臺建設的產學研示例探討

圍繞智能數據平臺出發制訂產學研三位一體的發展方案不僅能夠有效地拓展應用型技術人才培養的思路,而且能夠提高實際教學質量,使得教師從原本簡單的知識講解轉換到和學生一起尋找具體社會問題的解決方案。例如,在傳統的社會工作類專業中,一般都會部署發展社會學、西方社會學、社會組織管理、社會調查研究方法和數據分析技術這5門課程。按照傳統意義的劃分來看,這5門課程分別對應了社會理論和研究方法的課程。從傳統課程的講解體系上來看,這5門課程都是自成一體的,依照教學大綱對應著不同的細致知識點。但是從構建智能數據平臺建設為核心的產學研研究中,這5門課程便可以有效整合成為一個整體。特別是在以社會情景需求為專題突破口的前提下,這5門課程更是成為統一專題服務的工具,它們以不同的視角指向了同一目標。例如,以“如何了解市民的心理健康程度,保障社會安全”的社會需求為例,教師可以在西方社會學和發展社會學這兩門課程中向學生引出該主題,同時要求運用這兩門課程的知識,明確能夠解決需求的社會理論。學生在理論的確定過程中,通過與教師和其他同學的討論明確了理論的本質和解決問題的思路,此后將依據理論界定出關鍵概念和研究主題與研究假設。在社會組織管理課程中,學生將依據研究主題和假設,明確社會需求可能解決的突破點――選擇和那些具體的社會組織進行合作與探討,從數據收集和分析的角度科學化地提出一整套解決方案。在未來的社會調查研究方法和數據分析技術中,研究者將可以通過已確定研究主題、假設和社會組織的具體情況進行概念操作化和問卷設計,并將問卷、測量或其他形式的數據收集方式置入智能數據平臺中。在數據分析技術課程中,學生將按照已經設定好的研究方案運用智能數據分析平臺對分析數據并輸出報告。最終,這些報告和數據結果將有針對性地提交給對應的社會管理組織,在實踐中評估其對社會需求的解決程度。

參考文獻:

[1]陳陽,張梅.大數據基礎上抽樣調查在社會治理中的應用探討[J].理論界,2015,11:151-155.

[2]陳陽,魏玉東.大數據影響下的政府社會經濟調查動向探尋[J].遼寧經濟,2015,01:76-77.