云計算的特征范文

時間:2023-12-22 18:04:36

導語:如何才能寫好一篇云計算的特征,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公文云整理的十篇范文,供你借鑒。

云計算的特征

篇1

關鍵詞: 云計算; 數據特定特征; 特征挖掘技術; 提取精度

中圖分類號: TN911?34; G420 文獻標識碼: A 文章編號: 1004?373X(2017)13?0178?03

Abstract: For the imprecise data specific information extraction in the process of traditional cloud computing, a specific characteristic mining method of massive data in cloud computing environment is presented. The matrix node difference model is used to arrange the data orderly, and avoid the imprecise extraction data caused by data confusion of the traditional method. The huge cloud data makes the data positioning imprecise. In order to eliminate the above problem, the multidimensional data positioning calculation is adopted to solve the problem of imprecise positioning effectively, and extract the data information successfully. In order to verify the effectiveness of the massive data specific characteristic mining method in cloud computing environment, the contrast simulation experiment was designed. The experimental results fully prove that the method can improve the accuracy of the data extraction effectively.

Keywords: cloud computing; data specific characteristic; feature mining technology; extraction accuracy

0 引 言

隨著科技的快速發展,數據信息時代逐漸向著云時代變遷,數據的運算存儲已經由傳統的硬盤存儲逐漸發展成為云端計算存儲[1]。通過云端的計算存儲已經在很大程度上摒棄了原有的算法規則,能夠更大程度的進行數據統計和數據運算[2]。在使用云端計算的環境下,存儲在云端的海量數據都是通過數據定位以及數據分析進行計算的,使用適當的調度方法可以在很大程度上進行數據的特征提取。所以,有效的數據調度可以充分提高數據的特征提取能力,但是傳統的云端計算過程由于數據存儲量過于繁雜,并且在進行數據定位的過程中需要進行數據識別。傳統的方法是使用數據的屬性進行標識識別,但是為了數據的存儲方便一般會進行適當的數據壓縮和數據轉換,數據進行調用過程中十分的繁瑣,并且數據的調用過程是一個識別提取的過程,這種方式極大地影響了數據特征提取的速度以及準確性[3?4]。在進行數據特征提取的過程中還存在一些數據節點,這些節點極大程度上限制了提取的精度[4?5]。綜上所述,本文設計了一種云計算環境下的海量數據特定特征挖掘方法,該方法能夠有效解決上述問題[6]。

1 運用矩陣節點差分計算方法進行數據特定特

征挖掘

使用矩陣節點差分計算可以提高數據提取的精準度,在計算之前需要進行數據的方位確定以及數據的預處理[7?8]。

式中:為單位下數據信息量;為數據的信息坐標;為提取條件下的屬性條件;為實際的儺災滌頡

當限制節點傳輸信息至時,傳輸單位需要經過個節點才能進行屬性提取。關系式為:

保證數據的正確性和快速性是通過區域的劃分得到的,劃分前需要預設參數,通過設定能夠對選擇精度進行控制,避免誤差的產生。

式中:為離散參數;為整合參數域;為區域值;表示提取深度;代表數據衡量值。

進行數據的特征提取過程中,使用矩陣節點差分方法,因此需要進行數據的預處理[9],預處理之后才可以使用,首先是數據編續:

經過序號的排列以后,方便數據在大量數據中進行準確提取,但是排序之后的數據不能直接使用,需要一定的調用計算,方便在提取過程中屬性的搭配:

式中:表示單位時間數據能夠調用的屬性;表示實際區域范圍內數據的識別碼;是實際計算中的屬性參數;表示計算常量。

通過上述計算便可以進行矩陣節點差分方程的計算,建立如下矩陣:

通過化簡的公式可以看出數據與實際調用的關系,把公式進行加權處理就可以得到關系公式,這樣可以更加精確的在海量數據中完成特征提取。

限定好實用的屬性參數及屬性目標,進行加權計算:

本文運用矩陣節點差分計算方法進行數據特定特征挖掘,在計算前進行數據的預處理保證了數據的有效性,提高了結果的精準度,最后用條件進行限定保證在大量的數據中能夠進行精準的計算。

2 實驗驗證

為了驗證本文設計的云計算環境下的海量數據特定特征挖掘方法的有效性,設計了對比仿真實驗。選定某網絡數據公司大型云端數據庫進行數據特征提取,首先使用傳統的方法進行云端數據提取,然后使用本文設計的云算環境下的海量數據特定特征挖掘方法進行數據的特征提取。

2.1 參數設置

為了保證實驗的有效性,同時進行實驗,設置調配參數為65.8;數據坐標分別為150,100;為了保證數據提取的速度,設置為68.5;設置分別為55,60,100。

2.2 數據對比分析

實驗對比結果如圖1,圖2,表1所示。

通過圖1可以看出本文設計的方法能夠在更短的時間內得到結果,同時所用的時間是傳統方法的一半左右。

通過圖2的誤差對比結果可以看出,本文設計的云計算環境下的海量數據特定特征挖掘方法能夠有效地降低誤差,保證在海量數據下的特征提取。

表1的實驗結果能夠充分證明,本文設計的云計算環境下的海量數據特定特征挖掘方法能夠有效地提高數據特征百分比,同時能夠在更短的時間內進行更多的特征提取。

3 結 語

本文設計的云計算環境下的海量數據特定特征挖掘方法能夠有效地解決數據特征提取過程中提取不精確的問題,同時所需要的時間更短,得到的結果不需要進行修正,能夠更好地完成對海量數據的特征提取。本文的研究能夠為云端數據提取提供良好的理論依據。

參考文獻

[1] 廉文武,傅凌玲,黃潮.云計算環境下數據弱關聯挖掘模型的仿真[J].計算機仿真,2015,32(4):359?362.

[2] 盧小賓,王濤.Google三大云計算技術對海量數據分析流程的技術改進優化研究[J].圖書情報工作,2015,59(3):6?11.

[3] 何清,莊福振,曾立,等.PDMiner:基于云計算的并行分布式數據挖掘工具平臺[J].中國科學:信息科學,2014,44(7):871?885.

[4] 劉輝.云計算環境下海量激光點云數據的高密度存儲器邏輯結構設計[J].激光雜志,2016,37(9):91?95.

[5] 白紅偉,馬志偉,朱永利.基于云計算的絕緣子狀態監測數據的處理[J].電瓷避雷器,2011(4):19?22.

[6] 錢維揚,王俊義,仇洪冰.基于Hadoop的數據挖掘技術在測光紅移上的研究[J].電子技術應用,2016,42(9):111?114.

[7] 劉海龍,宿宏毅.利用Hadoop云計算平臺進行海量數據聚類分析[J].艦船科學技術,2016(14):148?150.

篇2

【關鍵詞】云計算 產業鏈 融資策略

一、引言

當前,中國云計算產業尚處于導入和準備階段。根據賽迪顧問最新的《中國云計算產業發展白皮書》的研究報告顯示,2012年中國云計算服務市場規模將增長到606.78億元,到“十二五”末,產值規模將突破萬億。隨著我國云計算的產業化快速發展,從知識創新到產業化的各階段都產生大量而持續的資金需求。然而,由于金融機構對云企業認知不足、融資標準缺失、融資風險難以規范等諸多問題,導致資本市場對云計算企業的接受程度較低。與此同時,學術界針對云計算產業金融方面的研究也大都偏向技術應用層面,涉及企業發展根源的融資策略方面的研究較少。因此,本文提出了以云計算產業鏈的細分為基礎的融資策略研究思路。在深度剖析云計算產業鏈特征、資金特征和風險特征的基礎上,找出能與云產業特征相匹配的階段性融資策略,旨在為我國云企業提供新的融資思路。

二、我國云計算產業鏈細分

目前學術界常用IaaS、PaaS以及SaaS這三個層面概括云計算產業鏈。然而IaaS等僅僅只是云計算產業的三種服務模式,沒有包涵云計算基礎設施的生產以及衍生產業的環節。為了有針對性地剖析云企業在不同階段的融資特點,本文重新對云計算的產業鏈進行了劃分,如圖1所示。

三、云企業融資需求特征分析

充分把握產業鏈每個環節的資金投入、運行、回籠周期,有利于企業在選擇融資策略時提高針對性、有效性以及準確性。通過以上對云計算產業鏈的細分及各階段的業務形態分析,可以得出不同層次云企業的融資需求特征。

(一)云計算基礎設施提供商的融資需求特征

云基礎設施提供商的資金需求主要環節包括基礎設施研發、產品產業化和市場推廣三方面。在交付使用方之前,基礎設施提供商需要大量的流動資金來承攬項目墊資。基礎設施項目的建造是對大量高技術設備的組裝和配置安排,在技術層面上門檻較低,同時基礎設施商還擁有廠房與設備等實體可作為抵押物資融資。這些都使得基礎設施提供商具備較好的融資基礎,對于金融機構來說風險可控性較強。

(二)云服務供應商的資金需求特征

云服務供應商分為基礎、平臺及應用三個方面,它們都有各自的特點。

首先,在IaaS服務層面,云服務的提供商主要向用戶或組織提供建立在基礎設施之上的云計算資源服務,需在基礎設施的購置及運維上投入大量的資金。由于基礎設施服務是建立在企業用戶對云平臺的需求基礎上,服務提供商將虛擬硬件作為服務租售給所需的用戶并給予用戶對這些設施的訪問和控制權,因此對于該環節的企業來說,用戶對服務的需求是可持續的。并且基礎設施提供商已經在硬件設施上降低了基礎即服務企業的開發成本與技術風險,因此該環節的企業風險偏好相對較低。

PaaS層面,提供商主要為滿足用戶某種特定需求而提供其消費的軟件的計算能力。因此,服務提供商將會把大量的資金、科研人員投入到研發具有良好兼容性、擴展性和功能強大的云平臺項目中,從而產生規模較大的資金需求。在平臺研發期間,提供商面臨著較大的時間成本和技術風險。同時,由于云計算的概念剛剛引入,還沒有被用戶普遍接受,研發出來的平臺市場推廣成本巨大。因此,該環節的資金需求風險偏好較強。

SaaS層面,使得研發應用程序的門檻降低,應用程序作為應用即服務的提供商的主要業務,其應用的種類和市場決定了應用服務提供商經營的業績,于是提供商將會把大量的資金投入應用產品的研發,資金流向單一,因此資金需求規模較小。由于應用即服務市場準入門檻較低,擁有眾多的提供商,所以市場競爭激烈,服務提供商將面臨強大的市場風險,會因為服務產品不能被市場接受而導致項目失敗。并且,應用產品研發的過程中也有較大的技術風險。

(三)增值服務企業資金需求特征與風險評估

與應用即服務類似的是,增值服務提供商的資金流向大都集中在軟件研發上,對于硬件設備的購置需求較小。且由于云計算增值服務商以自由企業為主,對企業的實力和規模要求不受限制。除個別具有實力的企業巨頭外,大多數增值服務的提供商屬于中小型企業規模,甚至是微型企業。這些企業的經費有限,研發項目單一,經營規模不大,因此資金需求規模也較小。但有別于應用即服務的是,增值服務的范圍還涉及行業解決方案、規劃咨詢服務等內容,市場提供商眾多,市場競爭激烈,中小服務提供商面臨較強的市場風險,成長和成熟的可能性較小,因此風險偏好較強。

四、基于產業鏈的云企業階段性融資策略選擇

云計算企業階段性融資策略是針對處于產業鏈不同階段的云企業資金需求特征,并結合各種融資渠道的特點,選擇可行的融資形式。根據上述對產業鏈上云企業不同融資需求特征,可進一步提出以下階段性融資策略選擇。

(一)基礎設施提供商融資策略選擇

云產業的基礎設施提供商,普遍具有投資規模大、風險低的特點。處于這個層次的云企業一般擁有大量生產云計算基礎設施的物理資產甚至云計算產業園的土地資產,這些資產都可以作為融資抵押或固定資產償債,對于銀行來說融資風險是可控的。所以抵押類貸款是云計算基礎設施提供商的傳統性融資策略。同時,夾層融資策略能滿足處于成長期的云計算基礎設施提供商的資金需求。從融資成本上來說,成長期的云計算基礎設施提供商已經具有穩定增長的歷史,企業通過引入兼具債權和股權性質的夾層資金,有利于降低企業的總融資成本,促進企業的擴張和發展。

(二)云服務供應商融資策略選擇

云計算基礎即服務(IaaS)提供商具有向用戶提供基礎設施租賃的服務,因此,融資租賃必然成為其首選融資策略。云計算基礎即服務的提供商對于融資租賃的需求主要在于對云基礎設施的購買上。云基礎設施的購買,要花費大量的流動資金,若運用融資租賃則會減小云服務提供商短時間內資金支出的規模,有利于基礎即服務的可持續性發展。

對平臺即服務提供商的盈利模式和風險收益特征,比較適合該環節服務提供商的市場融資方式主要有夾層融資、知識產權擔保等策略。目前我國處于PaaS服務提供商都是傳統IT產業發展較好且具有相當實力的企業,例如微軟、Google、新浪等企業,企業在云計算市場占有較大份額。這些條件都比較符合夾層融資的基本要求,因此PaaS服務提供商可以選擇夾層融資來獲取所需資金。同時,這些企業還擁有大量的知識產權無形資產,可以通過評估機構的評估,用知識產權作為債權擔保以獲取資金。

與平臺即服務(PaaS)相比,雖然SaaS服務提供商也需要研發軟件和推廣市場,但是其提供商規模和研發難度都要小得多。當用戶需要某種服務的時候,不再自己投資開發,而是從云計算服務提供商那里租用。比如從SaaS提供商那里租用CRM服務。根據軟件即服務提供商的盈利模式和風險收益特征,企業可考慮使用天使投資、供應鏈融資、知識產權擔保等融資策略。其中供應鏈融資策略是SaaS服務提供商比較理想的融資策略。通過利用業務合作對象的資信實力,一方面有助于幫助中小軟件提供商解決融資難問題;另一方面,SaaS服務提供商還可以通過這一融資策略來獲取銀行授信,以企業的應收賬款作為質押給予一定的信貸支持,增強企業資產的流動性和賒購賒銷中的信用能力。

(三)增值服務提供商融資策略

處于該層次的企業大多屬于中小型企業,甚至是微型企業。因此,云計算增值服務企業應堅持以靈活的市場化融資策略,企業可采取風險投資類策略、貸款類策略以及擔保類策略相結合的方式。風投類策略方面,天使投資、私募股權投資等風險投資的進入與當前云計算增值服務企業面臨的高風險相匹配。據賽迪投資顧問統計,2010年至2011年10月,中國軟件企業通過天使投資進行股權融資的案例總量為9例,僅有1例披露了股權融資金額,金額較小,且是一次性投入。貸款融資方面,供應鏈融資可成為主要模式。另外,互助擔保、知識產權擔保等擔保類策略也為云計算增值服務提供商有效方法。雖然云計算增值服務企業規模不大,融資能力不強。但是通過互助擔保等創新融資策略,不僅提高了該類企業的融資能力,還在一定程度上降低了銀行的放貸風險。同時,由于云計算增值服務企業是知識密集型企業,企業擁有的是高新技術,缺乏傳統融資擔保標的,很難從傳統的融資渠道獲得資金。因此,利用企業的優勢資源即知識產權資源進行擔保融資是屬于高新技術企業特有的融資策略選擇。

五、小結

本文從產業鏈角度把握住了各類云計算企業的基本融資特點,通過分析其業務特征、融資特征和風險特征,構建了能與其相匹配的融資策略框架,為不同層次的云企業在今后的融資實踐應用中提供了思路與方向。但階段性融資策略研究是一個復雜系統的過程,本文僅進行了云企業融資策略的梳理,今后產業鏈每個階段的融資策略都可以繼續展開深入研究,并且還可以在未來的云企業實踐中加強金融創新,實現云企業融資策略的多樣化發展。

參考文獻

[1]賽迪顧問.中國云計算產業發展白皮書[R],2011.

[2]洪崢.霧里看花:云計算中的投融資機會[J].國際融資,2011(01).

[3]陳瀅.談本土云計算項目融資困境[J].科技創業,2011(09):100.

[4]張紀元.云計算產業鏈和基本特征及電信運營商盈利模式[J].廣東通信技術,2011(08).

[5]張建文,汪鑫.云計算技術在銀行中的應用探討[J].華南金融電腦,2009(06):16-19.

[6]謝世清.論云計算及其在金融領域中的應用[J].金融與經濟,2010(11):9-11.

篇3

Abstract: As the location retrieval accuracy of mining massive music resources in the cloud big data environment is not high, positioning mining method of massive music resources in cloud computing environment is improved, and a high?precision positioning mining method of massive music resources based on adaptive cascade retrieval control is proposed. The semantic feature segmentation and time series state space reconstruction of data information in massive music resource database are conducted according to the key words and music types, and then the self?correlation feature extraction of massive music resources in cloud computing environment is carried out. The extracted self?correlation features are taken as the pheromone guide to make high?precision positioning mining. The adaptive cascade retrieval control model is used to control the mining accuracy. The simulation analysis results show that this method can improve the positioning mining accuracy of music resources, resource utilization and data precision ratio.

Keywords: cloud computing environment; massive music resources; location mining; retrieval control

?S著大數據信息技術和云計算技術的發展,大量的音樂資源通過Deep Web數據庫的形式存儲于網絡空間中,提供給網絡用戶進行有償或者免費的下載[1]。對海量音樂資源的高效優化管理能提高音樂欣賞用戶的體驗,提高對音樂播放軟件的認可度,海量音樂資源信息庫是搜集、整理、收藏音樂資源并供人下載和播放的數據庫,結合音樂播放軟件實現音樂共享和傳播。在云計算環境下,需要對海量音樂資源進行高精度定位,對云計算環境下海量音樂資源進行優化配置和訪問控制,提高云計算環境下海量音樂資源的管理和檢索效率;因此研究音樂資源在云計算環境下的高精度定位挖掘方法具有重要意義。

1 海量音樂資源信息預處理

1.1 音樂資源信息語義特征分割

為了實現對云計算環境下海量音樂資源的高精度定位挖掘,需要進行語義特征分割,降低資源定位挖掘的計算開銷,采用自適應特征分割模型進行海量音樂資源庫的存儲音樂信息的數據特征重構和特征分割,去除冗余的信息特征[2?3]。音樂資源存儲區域按音樂的歌詞的關鍵詞和音樂類型進行語義特征分割。音樂類型的存儲本體特征通過自適應均衡分割方法被分為若干個(K個)數據子集,為云計算環境下海量音樂資源的語義特征并查集,滿足:。根據音樂的播放環境和流行程度,進行資源分布區間的網格模型構建,使得音樂資源存儲的狀態分布結構滿足,其中且。由此,采用決策樹模型構建音樂資源信息檢索和挖掘的特征訪問控制模型。在進行音樂資源信息語義特征分割中需要首先創建一個空節點root作為根節點,在匹配節點的父節點處創建語義特征分割的分支結構模型[4],并通過規則數據集匹配的音樂資源的存儲空間,進行節點匹配,搜索節點為root節點,以葉節點B:0.7為起始節點進行語義特征分割。在匹配節點的父節點處得到候選數據項為: ,以節點C:0.8中的BC為搜索節點,得到語義特征分割的自適應概率分布為0.7×0.8=0.56,由此構建壓縮的UF?tree決策樹模型,實現對云計算環境下的音樂資源信息存儲空間的語義特征分割如下:

式中:表示待匹配本體的關系模型;為到當前數據項在TID集的概率分布。云計算環境下海量音樂資源庫中的特征空間采樣數據集,根據音樂資源信息語義特征分割結果,進行了分布式特征重構分析。

式中,為云計算環境下的音樂資源檢索的統計頻次參量。通過自適應級聯檢索控制,挖掘音樂資源的候選項集和產生頻繁項集,提高對音樂的準確檢索和定位挖掘能力。具體算法描述如下:

輸入: 音樂資源搜索節點初始化參數,音樂資源定位挖掘的概率向量,候選集AllCandidate

輸出:音樂資源挖掘的繁項集和規則集FrequentItems

(1) group?dependen=new MapReduce framework (Null);

(2) parallel closed frequent T in DBgid

(3) LocalFPtree.insert_tree(T,LocalFPtree.root,G?List);

(4) file management item in nowGroup

//閉頻繁項集特征分解

{ Heap HP= Parallel FP?Growth ();

LocalFPtree.FPGrowth(mining large data.,item, HP);

//遍歷每條事務數據

Support=0.0f;

Add(candidateItem,FrequentItems)

End}

3 實驗測試分析

對海量音樂資源的定位挖掘仿真實驗建立在Hadoop云計算平臺上。仿真的硬件CPU為Intel? CoreTM i7?2600。采用Matlab仿真工具進行數學仿真,結合酷狗、QQ音樂軟件進行音樂資源的嵌入式訪問接口設計和兼容性數據庫存儲,音樂軟件通過100 MB以太網相連在互聯網中。對音樂資源進行語義特征分割的尺度為1.45,音?紛試吹氖?據信息流采樣樣本長度為1 024,頻帶2~30 kHz、時寬3.6 ms,對DeepWeb數據庫中的海量音樂資源進行信息采樣和挖掘定位仿真。根據上述實驗環境設定,進行音樂資源的定位挖掘,以挖掘精度為測試評價指標,進行10 000次挖掘實驗,采用不同方法進行對比,得到挖掘精度對比結果如圖2所示。圖3為數據查準率對比。

據查準率對比

圖3給出了以酷狗音樂軟件為訪問接口,采用本文設計的音樂資源定位挖掘方法和傳統的挖掘方法進行音樂資源檢索的查準率對比。分析上述仿真實驗結果得知,采用本文方法進行云計算環境下海量音樂資源的定位挖掘的精度較高,信息檢索的查準率高于傳統方法,實現高精度的定位挖掘。

篇4

【關鍵詞】云計算計算機安全防護措施

云計算背景下的計算機在功能上有了拓展,在計算機為人們提供方便的同時,也帶來了很大的信息安全風險。解決這些方面的安全問題就成為云計算發展的重要課題,在當前的計算機安全問題上還相對比較突出,要能從實際出發,對這些安全問題加以針對性的解決。

一.云計算的特征體現和計算機安全問題分析

1.1云計算的特征體現分析

云計算的技術應用是在近幾年開始的,其主要是依靠著互聯網技術作為依托,進而來提供相應的服務,以及在交互模式的作用上能夠得到充分的發揮。云計算技術在當前之所以能夠得到廣泛的應用,就是因為其自身有著鮮明的優勢發展特征,這些特征主要體現在能有效實現資源共享[1]。由于云計算是多種資源的結合體,能夠為用戶提供多方面的服務,滿足其實際的需求。另外,云計算自身的收縮性以及擴展性的特征也有著比較鮮明的呈現,在對云計算應用過程中,能有效結合實際進行資源的再分配,這樣就對云計算資源配置效率能得到有效提升。除此之外,云計算的按需付費以及訪問多樣化的特征也比較突出,能夠通過手機以及平板電腦等進行多樣化的訪問,還能有效實現按需付費的目標,能夠對用戶的使用成本得到有效降低。

1.2云計算環境下計算機的安全問題分析

云計算環境下的計算機的安全問題也是比較突出的,主要體現在數據的安全層面。在云計算背景下數據的傳輸以及存儲的過程中,由于其存儲空間比較大,在信息的實際傳輸過程中,就比較容易受到黑客的攔截,或者是病毒的傳播等,對信息系統造成嚴重的威脅。在對信息數據存儲過程中,也會存在著信息的存儲以及共享等方面的安全風險[2]。這些都是在云計算環境下面臨的比較主要的安全風險問題。再者,云計算下計算機的用戶訪問權限的管理安全問題方面。對云程序的軟件進行應用下,能有效實現檢索以及瀏覽的功能,但在進入權限方面有著相應的設置,但不管是哪種方式管理,都會給黑客帶來很大的誘惑,這就比較容易讓黑客利用相關的漏洞來對資料進行訪問,對信息造成破壞等。另外,從計算機的網絡取證的安全問題上也比較突出。在這一問題上主要是由于計算機網絡安全的問題比較突出,并且短時期內不能有效解決,由于網絡環境的開放性,就比較容易造成網絡安全的取證較為困難。對于這些方面的問題要能充分重視,從多方面對安全問題進行分析,針對性的進行解決。

二、云計算環境下的計算機安全防護措施

第一,從元計算環境下的計算機安全進行保障,就要注重多種措施的實施。要對云計算的業務定位加以明確化,并要從法律層面進行嚴格的規范。云計算所包含的業務類型比較多樣化,這就需要對云計算的業務有明確化的定位,將完善的市場準入制度以及監管制度進行構建,對云服務的發展進行保障。通過相關的法律法規的建設進行加強和完善,對云計算下的計算機業務進行防護。第二,加強對計算機穩定數據安全的保護,這就需要對云計算的運營商在數據的加密保護工作上進行加強和完善。在對數據的讀取過程中,通過密碼的加密處理,就能將信息數據的安全性得到有效保障。再有是對計算機的數據存儲安全性得到充分加強,通過虛擬存儲的方式以及在實名注冊的方式上進行加強防護,這些措施的實施都能對計算機的安全性得到保證。第三,對云計算下的計算機用戶權限的管理進行加強,以及從網絡取證的措施上進行優化。要能通過多種驗證方式加以應用,避免系統的漏洞出現,通過設置安全措施對用戶權限要加強檢測,對比較敏感的操作要充分注重按照規范進行操作[3]。而在網絡取證方面,云計算服務提供方以及用戶要能在相關的義務方面有詳細的了解。只有在這些基礎工作上得到了加強,才能有利于計算機安全的保障。第四,加強云計算下的計算機安全還要能將技術監控的水平不斷提升,要能在相關業務的分析能力上進行強化,構建完善有效的技術監控體系,對審計系統以及定位系統的建設,為計算機的安全提供良好的發展平臺,為網絡的安全性提供良好保障。再有就是從制度的建立上進行完善化,在這些方面得到了加強,才能保障計算機的安全。

三、結語

總而言之,云計算環境下的計算機安全保證措施的實施,要從實際出發,保證措施實施的科學有效性。只有在計算機的安全上得到了保證,才能真正的促進相關產業的發展,對實際的需求才能得到有效滿足。此次主要從多方面對計算機安全問題和措施進行了探究,希望能通過此次理論研究,對解決實際問題起到促進作用。

參考文獻

[1]羅擁華,邱尚明,姚幼敏.云計算背景下計算機安全問題及對策[J].電子制作.2015(14)

[2]紀凌,談良.云計算背景下計算機安全問題及應對方法分析[J].電子技術與軟件工程.2014(03)

篇5

幾乎與此同時,國內另一家反病毒廠商瑞星公司也宣布,利用云計算模式,利用廣泛的互聯網用戶資源,讓每個人能為病毒代碼更新貢獻力量,創新病毒樣本收集方法。

雖然這兩家著名的反病毒廠商采用的云計算模式的內涵并不一樣,但顯然都采用了最近正在甚囂塵上的云計算。那么,云計算真的如他們預言,會改變目前的反病毒方式嗎?

張偉欽的回答是:“一定的。” 近年來計算機和網絡中病毒特征碼文件呈指數級增長,2005年,一天只有大約50種特征碼被添加到數據庫中,而2008年,該數字增加到了5000,這會消耗掉大量的網絡內存和網絡帶寬,由于占用越來越多系統資源,系統的效率也就越來越低,這成為傳統反病毒技術最令人詬病之處。“要想解決這一問題,就必須采用新的革命性方法。這就是趨勢科技提出的云安全架構――利用云計算構建一個全球網絡,病毒特征碼只保存在互聯網云數據庫中,特征對比也在云計算數據庫中,而在端點處保持最低數量,這樣,Web威脅、電子郵件威脅和文件威脅在到達最終用戶或公司網絡之前就可被攔截,因此在預防網絡被病毒侵襲的同時,還極大降低了客戶網絡和端點的系統和帶寬消耗。”他說,“這是反病毒技術的一次重大革命!”

篇6

為了實現資源的調度,使資源的負載能夠達到平衡,就需要對資源、性能信息進行必要的了解。要對故障進行診斷的話,需要從監控系統中獲取足夠的信息,這樣系統管理者才能將相應的故障問題發現、識別,進而將其解決。經過對這些規律的總結,能夠對故障的發生進行相關的預測,進行對故障發生進行預防,或是通過動態處理來及時將故障解決,減少其對于系統的影響。能夠被云環境監控的資源數量較多,以往的資源的限制在云環境下都不再成為問題,云資源已經蔓延到世界各處,就連海洋、太空都是云環境的監控范圍。

也正是因為如此,為了能夠對這龐大的資源進行統一管理,就需要采用結構化的方法。生產者、中介、消費者是一般信心監控系統包括的三個主體。信息的采集是生產者的任務,生產者將相關的信息給中介,中介將大量的信息轉化成為系統的服務,而消費者就利用中介提供的服務。

2云計算系統用戶管理

相較于傳統的系統,云計算不但有著更為廣泛的用戶數目,還有著更大的資源數目,也正是因為如此,才需要通過用戶管理機制來對云計算用戶進行管理,這樣才能逐漸完善云計算技術,使其得到完善和發展。具體來說,云計算系統用戶管理主要包括如下內容:

2.1云計算用戶

為了進入云計算系統,每個云計算用戶都有一個唯一的標識,只有擁有這個標識才能向服務器表明自己的身份,要注冊成為云用戶,需要相關權威機構的認可,這樣才能得到相應的標識,成為云計算用戶。

2.2云計算用戶的命名

在云計算系統內部,每一個用戶都可以有自己的標識符,而且這個標識符是相對唯一的,通過對這個標識符的觀察,我們就能知道用戶的特征,若是用戶的名字不足以進行區別的時候,往往需要通過附加特征來對其進行甄別,這樣才能形成較為完整的命名體系,諸如我們可以說馬勇,當其他人也想用這個標識符的時候,需要進行附加特征來描述,諸如馬勇2等,這樣標識符的唯一性就能確定,雖然用戶的真正姓名并不會發生變化,但是我們看到的代號卻更加精確的顯示出用戶的唯一性。故而我們也看出了用戶命名的一個特點,那就是為了保障標識符的唯一性,在名字的基礎上還需要添加額外的特征說明,這樣才能固定用戶的范圍和唯一性,將不同的用戶進行區別。

2.3云計算用戶管理操作

和其他云實體一樣,用戶也是云上的實體,故而其也存在著生命周期,通過創建和注銷等操作就代表了這個周期的始終。我們需要注意的是,在這個周期內發生變化的還有用戶的權利,為此,相應的授權和變更操作是難免的。具體來說,云計算用戶管理操作主要包括如下三個方面:

其一,用戶創建,只有經過合法的手段才能擁有自己的賬號,成為合法的云計算賬戶,為了進行新用戶的創建,需要具備相關的身份證明材料。創建成功之后,相應的就能獲取的用戶名和密碼。用戶的信息集合主要由兩個方面組成:一個方面是用戶提供的信息,另一個方面是云的信息記錄。用戶名標識是對用戶云活動記錄的重要的手段。

其二,用戶登錄,當相關的用戶稱號經過合法手段創建之后,在進行登錄的時候,需要輸入相應的用戶名和密碼,若是存在接入設備的話,則可以關聯設備標識和用戶名,這樣就省去了重復輸入的操作。通過使用過的相關專用設備,云計算就可以知道的賬號,通過這個設備,用戶可以任何網絡進行的呢公路,網絡映像相同,不會出現差異。

其三,用戶授權,各種資源都可以很輕松地在云上找到,但是這些資源并非全部用戶都有權利訪問,用戶要進行訪問操作,需要得到相應的授權,這個操作可以由網絡權威機構進行設定,資源的擁有者也可以執行該操作。其四,用戶變更,若是需要注銷自己的云賬號,只需要對原始信息進行認證。

2.4云計算用戶管理系統

虛擬組織是云計算用戶管理系統的重要支撐,構成云計算用戶管理系統的主要有兩個部分,一個部分是虛擬組織用戶注冊數據庫,另一個部分是本地節點上的用戶管理。當用戶向注冊管理員提供相應信息后,才能加入虛擬組織,提供的信息需要與協議要求一樣,這樣管理者才會將用戶加入虛擬組織數據庫。

3總結

篇7

關鍵詞:云計算平臺;物聯網;數據挖掘

物聯網是當前智能化社會發展的一個重要顯示,近幾年隨著科研事業的快速進展下,物聯網以及從一個概念存在逐漸融入到現實生活中。物聯網的出現實現了人們生活與工作的智能化,極大的改變的了生活與工作方式,提升了辦事效率。而物聯網的實現依靠中的技術的支持,其中數據挖掘技術便是其中一個重要支撐條件,數據挖掘實現了海量信息的獲取與挖掘,而這種信息能夠支撐物聯網在實際操作中的智能化實現。文中在云計算平臺的基礎上分析物聯網數據挖掘的相關研究,其中包括物聯網數據挖掘所面臨的挑戰、在云計算平臺中物聯網數據挖掘的相關技術以及實際應用。

1云計算與物聯網理論基礎

1)云計算理論云計算是一種依賴于互聯網技術,經由互聯網服務為用戶提供依據需求而明確服務的計算方式。而云計算命名的由來是由于整個服務資源的選自源互聯網內的數據,且互聯網多會應用云狀圖案對資源進行顯示,因此被稱之為與計算。云計算基于其應用技術的先進性具備了以下幾大特征:第一,規模大。云計算中的云所顯示的便是差大的規模,當前就谷歌云計算來看已經擁有了100多萬臺服務器,而其他較大型的搜索引擎也具備了數十萬臺服務器。第二,虛擬化。云計算能夠支持用戶在任意位置或任意終端進行服務器的登錄,所有操作在云空間進行運行,由此也便形成了虛擬性特征。第三,可靠性。云計算應用數據多副本絨促以及計算節點同構可互換等措施來確保服務的可靠性。第四,通用性。云計算不會針對特定的應用,在云支持下能夠創造出海量的應用。第五,可延伸性。云計算的超大規模能夠支持其進行動態的伸縮,由此滿足各類應用與用戶規模的增長需求[1]。2)物聯網理論物聯網屬于全新信息技術的主要構成部分,同時也是信息化時展的重要階段。物聯網實際上所指的是經由多種技術的應用實現物與物之間的連接,而這種連接形成了一個局域網絡,實現遠程與集中操控。物聯網雛形的出現可追溯到1990年,后期隨著各項理論與技術的不斷研發下,在近幾年已經能夠實現在現實生活中,且被廣泛的應用。其實際意義在于,經由各項技術將多種物品與互聯網進行連接,實現信息交換與通信,由此實現了物品的智能化,用戶可經由遠程終端進行操控,便捷了人們的生活,同時也提升了各物品應用的安全性。與互聯網對比物聯網具備了以下幾大特征:一方面表現在物聯網應用到多種感知技術;第二方面表現在物聯網屬于建立在互聯網基礎上的泛在網絡;第三方面表現在物聯網的核心價值是提供不限定任何場合與時間的應用場景與用戶的自由互換[2]。3)物聯網的建設物聯網在應用過程中需要多個行業的參與,且需要政府方面所提供的支持,物聯網具備多種優勢,可廣泛地應用在社會各個領域中,但是在實際應用過程中技術建設始終是一大難題。就常規上來講,物聯網的建設需要經由以下幾個步驟:第一,對需要建設物聯網的物體屬性進行識別,包括靜態與動態的屬性,其中靜態屬性可直接進行存儲,而動態屬性則需要應用傳感器進行探測;第二,對識別完成后的物體屬性進行讀取,將讀取信息轉換為網絡識別數據;第三,將物體的信息經由網絡傳輸至信息處理中心,由處理中心實現物體與互聯網之間的通信[3]。

2數據挖掘技術界定與特征分析

2.1數據挖掘技術概念

數據挖掘技術出現在二十世紀后期,雖然其出現時間不長,但是對社會中各領域的發展形成了巨大的影響,也引起自有優勢得到了廣泛的應用。數據挖掘從廣泛意義上來講所指的是從大量數據中經由可靠的算法搜索隱藏其中信息的整個過程。數據挖掘與計算機科學存在著緊密的聯系,利用計算機技術經由統計、分析、情報檢索、機器學習等多種手段實現其實際價值。當前數據挖掘在應用到不同領域后,也被賦予了不同的概念。但就其應用價值可從三個方面進行概述,第一個方面為提供海量可靠信息;第二個方面為經由數據挖掘所獲取的信息對人們具有較高的應用價值;第三個方面為所獲取的信息能夠被人們理解與分析,并以此為根據做出決策[4]。

2.2數據挖掘技術特征

數據挖掘技術具備了分布廣、規模大、節點資源有限、安全性復雜等特征。其中分布廣主要是數據挖掘是物聯網技術中的一個構成部分,而物聯網本身就具備的分布廣泛的特點,由此數據挖掘基于需要將數據存儲在不同的地方,也便具備了分布廣的特點;規模大方面主要是物聯網中具有海量數據的傳輸與應用,而數據挖掘作為數據分析與處理環節自然具備了規模大特點;節點資源有限方面是給予物聯網較為龐大的數據鏈,需要設置多個傳感器節點,因此需要有能夠快速解決處理數據的中央節點,而節點資源并非無限,中央節點通常不需要所有的數據,但需要數據參數,由此對需求數據進行輸出[5]。

3物聯網數據挖掘面臨的挑戰

基于物聯網技術自身所具備的特征,在數據挖掘中也具備了一定的優勢,但是新技術在數據挖掘中應用較多,物聯網技術在數據挖掘中也面臨著一定的挑戰,具體表現為以下幾個方面。第一,物聯網數據具有一定的規則,但是由于其規則過多也相對較為繁雜,經由中央模式對分布式數據進行挖掘的方式效果并不理想。第二,物聯網數據規模較大,需要及時給予可靠的處理,而當前處理模式對硬件要求較高,若硬件不能夠符合要求則可能無法實現。第三,數據需求的節點不斷增加,需求與供給之間存在著一定的矛盾。第四,給予物聯網數據存在著諸多外在影響因素,包括數據傳輸安全性、數據傳輸的隱私性、法律約束等因素。將所有數據集中存儲在相同的數據倉庫中這一渠道顯然不具備可靠性。基于上述幾點問題充分顯示出,對物聯網進行數據挖掘過程中,當前所具備的以及應用的多種技術與手段存在著一定的弊端,針對此需要不斷地進行更為深入的研究,以尋找到更為有效的解決方案。

4基于云計算平臺的物聯網數據挖掘技術分析

4.1物聯網感知層

物聯網感知層也就是實現感知作用,具體是依賴于目標區域范圍內設置大量數據采集點予以實現。也就是說節點是經由傳感器與攝像頭以及其他相關設備實現數據的采集,所采集到的數據需要依賴于物聯網感知層所具備的網絡通信設備進行集中處理,將所需要的數據傳遞至各節點,再經由集中儲存后再次通過傳輸層傳遞至云計算平臺的數據處理中心,實現整個感知層的職能。

4.2物聯網傳輸層

物聯網傳輸層是所有數據傳遞的中間環節,其中涵蓋著傳感器、無限網絡等設備與技術,經由多種網絡設備的連接,形成高效率無縫數據的傳輸系統,能夠更為有效地將物聯網感知層所收集到的數據經由網絡傳輸到數據處理中心,由此實現全方位的互通互聯目標。就其實際工作內容來分析,所指向的是將多種屬性的監測處理設備進行聯網,實現傳輸功效,對各設備與節點之間的數據信息進行傳播。

4.3數據層

數據層是物聯網云計算平臺中數據挖掘技術的核心環節,物聯網自身具有一定的異構性與海量性特點,由此在數據層內將物聯網設備所收集到的所有數據信息進項儲存處理與分析的能力是基于云計算的物聯網數據挖掘平臺的重點。數據層內部涵蓋了數據源轉化與存儲兩個主要部分,其中數據源轉化所指的是對物聯網異構性的數據化進行轉化,存儲方面所指向的是應用Hadoop所構建的平臺中HDFS系統進行分布式存儲,由此將物聯網中大量的數據能夠可靠的存儲在各個數據節點中。在物聯網平臺內部,針對不同的目標需要收集不同的數據類型對其進行顯示,在特定環境下,同一種目標同樣會選擇不同的數據類型進行表現,基于此數據源轉化的作用主要為表現保持數據的完整性,同時避免異構性的物聯網數據在轉化中基于其他不確定因素有所損壞,由此實現確保數據挖掘可靠性的目的。數據源轉化在整個系統中的價值主要是作為數據層與感知層之間的連接線角色存在,經由數據包的解碼與轉換將不同屬性的數據轉換為所需要的數據類型,同時將其以分布式手段存儲在數據處理中心。

4.4數據挖掘服務層

數據挖掘服務層內部涵蓋數據準備模塊、數據挖掘引擎模塊、用戶模塊幾個部分。其中數據準備模塊中涵蓋著對數據的情況、轉變、數據規等環節;數據挖掘引擎模塊中涵蓋著數據挖掘算法集、模式評估等環節;用戶模塊中涵蓋著數據挖掘知識的可視化展現技術。基于知識挖掘類型的差異性,數據挖掘引擎模塊具備了區分、關聯、聚類、趨勢分析、偏差分析、類似性分析等特征。而提供以上所述的功能核心環節為數據挖掘模塊中的算法集所具備的多種功能算法,在Hadoop平臺中數據挖掘算法需要對傳統所應用的數據挖掘算法進行一定程度的調整,也就是實現算法并行化的處理。用戶模塊是應用物聯網數據挖掘平臺用戶的直接接觸端,基于其擔負著將系統顯示轉化為用戶可識別顯示的重要責任,需要具備一定的友好性,也就是一定的人性化,使用戶能夠便捷的應用用戶界面進行操作,實現數據挖掘的目的,同時也能夠獲取到能夠理解的知識。為提升數據挖掘平臺的可移植性,在用戶服務底層模塊加入了一個開放接口模塊,由此能夠使得第三方調用物聯網數據挖掘平臺的功能,使物聯網具備更為豐富的應用,同時提升其實際應用價值。

5結論

云計算與物聯網均屬于信息化社會的先進產物,是社會發展的一大表現,物聯網引起自身的多種優勢被廣泛地應用在社會各個領域中。但是,當前物聯網在我國發展進程較為緩慢,主要是由于物聯網的建設需要應用到多種技術,而技術建設始終是一個難題,為此,在本文中對基于云計算平臺的物聯網數據挖掘技術應用與實現效果進行了全面分析,為進一步推動基于云計算基礎物聯網的建設提供理論參考。

作者:湯勇峰 單位:江蘇省徐州醫藥高等職業學校

參考文獻:

[1]張虎.基于云計算的物聯網數據挖掘模式的構建[J].無線互聯科技,2016,2(20):50-51.

[2]陳達峰.基于云計算的物聯網數據挖掘關鍵技術研究[J].中國新技術新產品,2014,5(23):20.

[3]李立,張玉州,江克勤.一種改進的基于云平臺的物聯網數據挖掘算法[J].安慶師范學院學報:自然科學版,2014,7(2):37-40.

篇8

【 關鍵詞 】 地理信息科學;數字地球;云計算;空間計算;時空;高性能計算;地理信息網絡基礎設施

1 引言

“唯一不變的是變化本身”——肯尼迪。在全球化和人類活動地域擴張的21世紀,理解變化變得越來越重要(Brenner 1999; NRC 2009b)。這些變化在一定的空間范圍內發生,這個范圍可以小到個人或周圍的小空間,也可以大到整個地球(Brenner 1999)。我們用時空維度來更好地記錄空間的相關變化(Goodchild 1992)。為了理解、保護和改善我們的生活環境,人類已經積累了約十萬年或更長時間發生的變化的寶貴記錄。這些記錄通過各種傳感技術獲得,這些傳感技術包括我們人類的視覺、觸覺和感覺,以及最近發展的衛星、天文望遠鏡、原位傳感器和傳感器網(Montgomery and Mundt, 2010)。傳感技術的進步極大地提高了記錄的精度和時空范圍。總的來說,我們已經積累了EB級的記錄數據,而且這些數據集每天以PB級的速度在增加(Hey, Tansley and Tolle 2009)。

云計算的出現為解決地理科學的挑戰,即能夠靈活訪問廣泛集中的、實體化的以及負擔得起的計算機資源,帶來了可能的解決方案(Cui et al., 2010; Huang et al., 2010)。21世紀的地理空間科學與所描述的密集問題可以受益于最新的云計算框架,并充分利用時空原理以優化云計算。要抓住云計算和地理空間科學之間的內在關系,我們引入了空間云計算:a)解決地理空間科學中的4個密集問題;b)促進實施和優化云計算匯集、彈性、按需以及其他特點。

2 空間云計算(Spatial Cloud Computing (SCC))

云計算正在成為下一代的計算平臺,政府機構正在促進它的使用以降低啟動、維護和能源消耗成本(Buyya et al., 2009; Marston et al. 2011)。結合地理空間科學,幾個試驗性的云計算項目正在諸如FGDC、 NOAA和 NASA等聯邦機構內實施。商業機構,如微軟、亞馬遜和ESRI正在調研如何在云計算環境中操作地理空間應用,了解如何最好地適應這個新的計算模式。早期的調研發現云計算不僅能夠幫助地理空間科學,而且能夠采用時空原理進行優化以最好地使用分布式計算資源(Yang et al., 2011)。地理空間科學問題具有強時空約束和原則,能夠通過系統地考慮通用時空規則來獲得最好的答案(De Smith 2007; Goodchild 1990; Goodchild et al., 2007; Yang et al., 2011b):1)物理現象是連續的,數據表示在時空上是離散的;2)物理現象在空間、時間和時空關系上是異構的;3)物理現象在局部地理域上是半自治的,并且能夠被分割和合并;4)地理空間科學和應用問題包括數據存儲、計算/處理資源、物理現象和用戶的時空位置;上述四種位置的相互作用隨空間分布強度愈發復雜;5)時空現象越接近越相關(Tobler' first law of geography)。

一個支持地理空間科學的云計算平臺應該利用上述時空原則和限制,以便以一種時空形式更好地優化與使用云計算,而不是設置限制條件和重新設計應用架構(Calstroka and Waston 2010)。

時空云計算涉及地理空間科學驅動的計算規范,通過將分布式計算環境應用于地理空間和其他科學發現,其能夠被時空原則所優化。

空間云計算框架包括物理計算基礎設施、分布在多個區域的計算資源,和用來管理為終端用戶提供服務的資源的空間云計算虛擬服務器。

空間云計算可以用一個架構來表示,這個架構包含物理計算基礎設施、分布在多個區域的計算資源,以及一個管理為終端用戶提供服務的資源的空間云計算虛擬服務器。

空間云計算環境的核心組件主要通過結合時空原則的SCCM來支持地理空間科學,以尋求計算資源的優化。基于傳統空間云計算平臺和核心GIS功能是能夠實現的,例如動態重投影和空間分析。本地用戶和系統管理員通過SCCM管理接口,能夠直接訪問私有云服務器,云用戶能夠通過空間云門戶訪問云服務。還需要進一步研究IaaS、PaaS、SaaS和DaaS環境在云計算與地理信息科學兩方面可用的一致性。在下一節中,我們使用四種有代表性的應用來說明四種密集的問題。

3 空間云計算應用

為說明云計算如何能潛在解決四個密集問題,我們選擇了四個科學和應用場景來分析這些問題、時空原則和潛在空間云計算解決方案間的內在聯系。

3.1 數據密集型

地理空間科學中的數據密集型問題至少可以總結為三個方面:1)利用專門的投影和地理坐標系統,多維地理空間數據在二維以上空間表示;2)諸如衛星觀測、照相獲取、或者模型模擬,會收集或產生海量多維數據;3)數據的全球分布。許多數據密集型的應用訪問和數據整合,因此,大數據可能在快速計算機網絡中傳輸,或者通過組合技術實現最小傳輸。

為解決這些數據密集型問題,我們開發了一種DaaS——分布式的目錄和基于空間云計算的門戶,來發現、訪問、使用地理空間數據。這個DaaS基于Microsoft Azure, Amazon EC2和 NASA 的地理空間社區的云服務上正在進行開發與測試。

空間云計算可考慮擁有和使用數據、服務、計算和終端用戶的位置、能力、容量和質量等信息并予以優化,當然是在計算、地理空間科學和應用使用時空原則的情況下。

3.2 計算密集型

計算機密集型是地理空間科學需要解決的另外一個問題。在地理科學元素中,在信息/知識的數據挖掘、參數提取和現象模擬應用中計算密集型問題愈發突出。這些問題包括:1)地理空間科學在建模和分析方面天然是耗費計算資源的;2)參數提出需要運行復雜的地球物理算法,以從海量觀測數據中獲取現象值(Phenomena Values),這個復雜的算法運算使得參數提取更具有計算密集型特征;3)當考慮到地球系統的所有動態參數時,模擬地理空間現象是非常復雜的。周期性的現象模擬密集計算的不斷循環,高性能計算機常用來提升此類計算速度。更重要的是,現象處理的時空原則可用來優化分布式計算單元的組織,以實現時空科學模擬和預測(Govett et al., 2010; Yang et al., 2011)。這些原則對于實現數據挖掘、參數提取、現象模擬的云計算來優化計算資源也是很關鍵的(Ramakrishnan et al. 2011; Zhang et al. 2011),主要通過:1)利用動態需求和能力,為計算工作選擇最匹配的計算單元;2)并行化操作單元以降低這個處理時間或提高整個系統的可操作性,3)利用更加匹配的工作、計算應用以及存儲與網絡狀態,優化整個云操作性。由于科學算法的多樣性和動態性,最好的實現平臺是PaaS和IaaS。

3.3 并發訪問密集

互聯網的發展和“在任何地點、任何時間將正確信息提供給任何人”的理念,使得基于位置的地理空間服務流行開來(Jensen 2009),并允許數以千萬計的用戶并發訪問系統(Blower 2010)。例如,Google Earth通過其SaaS支持數百萬互聯網用戶并發訪問。這些并發密集型訪問在某一時間(例如2011年3月日本海嘯和地震期間)非常密集,而在另外時間則很少。為更好地滿足這些并發訪問,空間云計算需要彈性調用更多的來自不同區域的服務進程來應對訪問峰值。

實驗證明計算進程越多,性能越高。彈性自動提供和釋放計算資源允許我們共享其他無并發訪問峰值的應用的計算資源,以應對當前的并發訪問峰值。

3.4 時空密集型

為更好地理解過去和預測未來,一些被收集的地理空間數據是基于時間序列的,將已有的觀測數據進行時間序列的重建工作也已實施。時空密集型的重要性體現在時空索引(Theodoridis and Nascimento, 2000; Wang et al., 2009)、時空數據建模方法(Monmonier, 1990, Stroud et al., 2001)、地球科學現象關聯分析(Kumar 2007)、颶風模擬(Theodoridis et al., 1999)以及計算機網絡技術(在傳輸負載與拓撲復雜性上飛速發展)(Donner et al., 2009)之上,面臨著的挑戰也來自于這些。

針對數據采集,不同的路徑傳感器、照相機以及公眾探測技術用來獲取實時的交通狀態信息(Goodchild 2007)。已存在的路徑連接和節點也被添加進來作為基礎數據。模型模擬在高性能計算環境中進行。不像靜態路徑規劃可利用Dijkstra算法實現,近實時的路徑規劃則不能如此(Cao 2007),我們不得不針對每一個路徑規劃請求進行準實時的計算。此復雜性給計算和地理科學帶來很大的挑戰。由于路徑規劃請求的動態特點,我們不能為應對最大量的用戶而去維持最大的計算能力,通常我們不需要全部的計算能力。云計算提供的彈性與按需特征能夠用來解決這個問題,PaaS最適合這種應用。

4 機遇與挑戰

這篇論文羅列了21世紀地理空間科學面臨的諸多巨大挑戰:數據、計算、并發和時空分析密集特征。我們論證采用空間特征的云計算的最新進展能夠為解決這些巨大挑戰提供潛在的解決方案。

時空云計算的成功依賴許多因素,例如時空云計算在能夠采納云解決方案的地理空間科學家中的推廣,在能夠采納時空原則進行設計、建設和部署云平臺的計算科學家與工程師中推廣。我們列舉了幾個方面,包括:

4.1 時空原則挖掘和提取

地理空間現象在時間和空間上不斷變化,利用四維或更多維去表示或描述其演變是可能的。我們已建立了歐幾里德和其他空間去描述這些現象。由于現象的復雜性和多維的龐大,我們力圖簡化維度,引入現象的特征或模板去幫助更好地在理論和計算環境中表示,使得其具有可計算性。

在地理空間科學中,由于人類活動的擴展和全球化,一些表示方法需要重新定義。例如,我們需要整合陸地區域、海洋和大氣進程以更好地理解氣候變化。另一方面,我們需要更好地描述地理空間現象如何影響我們的生活。這些時空關系幫助我們形成更好的時空原則,開發多維狀態下的時空案例。橫向應用需要多領域的不同背景的科學家進行合作。社會上,跨領域和地域的處于分散狀態的科學家合作是一個巨大挑戰。

4.2 重要的數字地球與復雜的時空科學及應用

Digital Earth要求將我們星球的數字信息進行整合,并開發出地理空間問題的解決方案。理解可預知的模式并提供特定環境下的解決方案,這是非常必要的。解決這些問題不僅為人們提供需求便利,而且從長遠看能夠改善人們的生活質量。

為此,需要研究:a)辨明具有較大影響的基礎性的應用,以及需要的計算支持;b)結合可獲取的分布式計算能力,分析應用中的四個密集型問題;c)通過考慮云計算能力和時空需求,擴展或指定數學和概念模型到計算機模型,以實現應用的可計算性;d)為決策者和其他最終用戶解決或提出問題;e)通過改進傳感器技術、數據處理算法、數據結構和模型模擬以改善應用;f)總結經驗教訓,優化通用云計算技術。

4.3 支持空間云計算(SCC)特征

空間云計算嚴重依賴計算基礎設施的狀態,除了工程研究和計算基礎設施特征的可用外,網絡、CPU、RAM、硬盤、軟件許可和其他資源的使用/狀態,對于優化使用時空原則的云計算環境也是重要的。

在調研面向解決四種密集型地理空間問題的云計算特征工作中,需要進行擴展研究以更好地理解計算基礎設施和應用的時空特性,應用和計算資源的優化調度也是關鍵的(Mustafa Rafique et al. 2011)。

4.4 安全

云計算公司通常會使用授權和認證技術來保護用戶隱私,云服務提供商確保其基礎設施安全并擁有可行的保護用戶數據與應用的解決方案是必須的。美國聯邦首席信息官(The US Federal CIO)正努力合并安全訪問與授權成為統一功能,這計劃為三個步驟(FEDRAMP 2011):a)安全需求底線;b)持續監控;c)潛在訪問與授權。

(注:本文譯自《國際數字地球學報》International Journal on Digital Earth)

譯者簡介:

翟永(1969-),男,碩士,高級工程師;研究方向:計算機網絡、服務器和空間數據庫系統集成以及安全保密技術。

劉津(1989-),女,學士,助理工程師;研究方向:空間數據庫管理和地理信息管理系統集成。

篇9

關鍵詞:點云去噪;雙邊濾波;統計濾波;半徑濾波;尖銳特征

中圖分類號: TP391.41

文獻標志碼:A

Denoising algorithm for bilateral filtered point cloud based on noise classification

YUAN Hua, PANG Jiankeng*, MO Jianwen

School of Information and Communication, Guilin University of Electronic Technology, Guilin Guangxi 541004, China

Abstract:

Focusing on the issue that different scale noise exists in denoising and smoothing of 3D point cloud data model, a bilateral filtering denoising algorithm for 3D point cloud based on noise classification was proposed. Firstly, the noise points were subdivided into the largescale and the smallscale noise, and the largescale noise was removed with statistical filtering and radius filtering. Secondly, the curvature of the 3D point cloud data was estimated, and the bilateral filter was improved to enhance the robustness and security. Finally, the smallscale noise was smoothed with the improved bilateral filter to achieve the smoothing and denoising of 3D point clouds. Compared with the algorithms simply based on bilateral filtering or Fleishman bilateral filtering, the smoothing average error index of 3D point cloud data model obtained by the proposed method respectively decreased by 50.53% and 21.67%. The experimental results show that the proposed algorithm increases the efficiency of calculation by scale subdivion of noise points, and avoids excessive smoothing and detail distortion, which can better maintain the geometric characteristics of the model.

英文關鍵詞Key words:

point cloud denoising; bilateral filtering; statistical filtering; radius filtering; sharp feature

0引言

隨著三維激光掃描技術的高速發展,人們可以很容易獲取真實世界中物體的表面三維點云數據,因此三維點云數據模型被廣泛應用于虛擬現實、逆向工程、城市建模等[1]。然而,受到掃描設備本身精度、人為操作和被測物體表面材質等因素的影響,三維點云數據在獲取階段不可避免存在許多小振幅的噪聲和離群點,從而嚴重影響重建的表面精度。因此,必須對三維點云數據模型進行去噪、光順預處理。

國內外許多學者對點云去噪進行深入研究:鄒北驥等[2]將脈沖耦合神經網絡引入點云去噪,對噪聲進行定位,能夠有效去除噪聲,同時保持模型的幾何特征,但對點云反饋定位可能存在誤差。Wang等[3]提出一種基于移動最小二乘曲面的點云去噪算法,將采樣點移動到其對應的局部曲面上來去除噪聲,具有較好的魯棒性,但時間復雜度不佳。Rosman等[4]通過拉普拉斯貝爾特拉米算子生成一個平滑曲面來處理高頻噪聲,但降低了物體表示精度。Xu等[5]根據點云幾何特征分割去噪,能有效提高點云去噪的效率,但沒有針對性地考慮特征的保持。Yang等[6]提出了一個系統性的三維點云去噪平滑算法,較好地達到了點云去噪和保持曲面特征的目的。蘇志勛等[7]提出了一種基于法向修正及中值濾波的點云平滑算法,迭代降噪,但噪聲跟離群點較多時,法向量修正會出現誤差,影響平滑效果。聶建輝等[8]提出了散亂點云離群點的分類識別算法,根據基于曲面變化度的局部離群系數(Surface Variation based on Local Outlier Factor, SVLOF)將離群點進行分類、去除,但在頂點曲率估計上有誤差。葛寶臻等[9]將平面投影與雙邊濾波算法相結合進行自適應去噪,集成了兩種方法的優點,有較好的光順效果,但在頂點曲率估計上有誤差。曹爽等[10]提出了基于特征選擇的雙邊濾波點云去噪算法,對噪聲進行分類,計算特征點與非特征點的雙邊濾波因子,避免出現雙邊濾波過光順的現象,但需要較長時間來確定特征選擇。其他點云去噪方法還有橢圓體準則[11]、群體智能點云光順去噪方法[12]等。以上方法在特定鄰域都取得了較好的光順效果,但都難以避免細微特征的損失,且沒有考慮在保持特征性的同時進行三維點云數據模型的優化,使模型形狀均勻。

在點云去噪方法中,雙邊濾波具有較好的特征保持與平滑性能,通過控制三維點云數據中各點鄰域的大小來保持模型的特征,但不能處理大范圍噪聲,且存在著一定的特征丟失的概率[8]。另外,僅采用雙邊濾波對具有復雜表面幾何特征的三維點云數據進行去噪時,很難做到在三維點云數據模型特征豐富區域保持特征,同時在特征欠缺的平坦區域高度光順。針對以上雙邊濾波存在的不足,本文提出一種基于噪聲分類的雙邊濾波點云去噪算法:首先對噪聲進行細分,將其分為大尺度和小尺度噪聲;然后采用統計濾波和半徑濾波相結合,設定相應的閾值來去除大尺度噪聲;接著對新三維點云數據進行曲率估算,并對雙邊濾波因子進行改進,增強其魯棒性和保特征性;最后使用改進雙邊濾波對小尺度噪聲進行光順濾波。該方法對噪聲進行分尺度處理,簡單有效,運算速度快,既可以解決數據點中包含大尺度噪聲的問題,又能很好利用雙邊濾波強保特征性與光順性,較好地保持了三維點云數據模型的幾何特征,避免了模型的萎縮變形和過光順。

1三維點云數據模型去噪

噪聲通常為高頻信息[4],常用的去噪方法都是濾除高頻信息,保留低頻信息。但是,在三維點云數據模型中,尖銳的幾何特征也是高頻信息,濾除高頻信息會誤刪尖銳幾何特征,從而丟失特征信息。而人類視覺對物體的尖銳幾何特征感覺比較敏感,因此在三維點云數據模型去除噪聲的同時,保持三維點云數據模型的幾何特征非常必要。

通過分析噪聲產生原因,并在此基礎上將噪聲分為遠離點云主體的大尺度噪聲和靠近點云主體的小尺度噪聲兩類,并分別進行處理:用點云統計濾波結合半徑濾波去除大尺度噪聲,對小尺度噪聲進行部分光順;用改進的雙邊濾波對小尺度噪聲進行光順。圖1中給出點云去噪光順過程框圖。

2大尺度噪聲去除

大尺度噪聲主要包括偏離主體點云且懸浮在主體點云上方的稀疏點和距離主體大片點云中心較遠、小而密集的點云,具有高頻率、大幅值等特點。讀入三維點云數據后,統計濾波對查詢點與鄰域點集之間的距離進行統計分析,并去除掉那些不符合一定標準的大尺度噪聲。對大尺度噪聲移除是基于輸入三維點云數據中對數據點到鄰近鄰域點距離分布的計算。對每個數據點pi,計算pi到它所有鄰近點的平均距離,獲得一個高斯分布的結果,其形狀由均值和標準差決定,平均距離在標準范圍(由全局距離平均值和標準差定義)之外的數據點,則被定義為大尺度噪點,并可從點云數據集中去除。在本文算法中,首先設置用于計算平均距離估計時用的鄰域點的數目k和標準差倍數閾值std,點云中所有點與其鄰域的距離大于μ±σ?std,則被認為是距離大片點云中心較遠、小而密集的點云,并刪除該數據點,其中:μ代表估計的平均距離,σ代表標準差。

半徑濾波是指在三維點云數據模型中,用戶指定每個數據點在一定范圍內至少要有足夠多的近鄰。例如,如果指定至少要有2個鄰近點,當數據點周圍的鄰近點只有1個時,這個數據點就被認為是噪聲,并刪除。將統計濾波后的三維點云數據輸入半徑濾波,如果一個點在給定搜索半徑范圍內鄰近點數量小于給定閾值M,則判斷為偏離點云且懸浮在主體點云上方的稀疏離群點并刪除。設置用于確定濾波的k近鄰的球體半徑r和一個點在給定搜索半徑內被認為是內部點(即有效點)所需要的最低近鄰數量閾值M。如果一個數據點pi在其k近鄰的球體半徑r中的近鄰數目少于設定的閾值M,則判斷該點pi為離群點,從而進行刪除。

3小尺度噪聲光順

三維點云數據模型去除大尺度噪聲后,還會存在某些小尺度噪聲,這類噪聲會干擾后續曲面重建的光滑性,使得模型表面發生起伏,存在一定程度上的失真,所以需要對其進行平滑濾波處理。在常用的點云去噪算法中,Fleishman等[13]將圖像處理中的雙邊濾波思想應用到三維點云數據模型中,速度比較快,可以取得較好的去噪效果,但在處理大范圍噪聲時容易產生局部過光順,且不能有效保持模型中的細節特征。另外,雙邊濾波因子容易受到局部鄰域特征的影響,如果三維點云數據模型存在大范圍噪聲時,則會干擾三維點云數據模型局部特征估計,導致算法不穩定,出現光順不徹底問題。因此,雙邊濾波仍然需要解決光順性與保特征性的矛盾問題。本文在現有雙邊濾波因子基礎上進行改進,增強其魯棒性和保特征性,并將其用在小尺度噪聲光順。

3.1散亂點云法向估計

雙邊濾波需要用到點云的法向量[14-15],而法向量估計質量直接影響到三維點云數據模型的平滑效果。目前通用的散亂點云法向量估計方法是基于點云局部協方差分析的主元分析法(Principal Component Analysis,PCA),本文采用該方法來獲得采樣點的法向估計。給定散亂點云中采樣點pi∈S及其最近k鄰域N(pi),對以下的協方差矩陣C進行特征根分解:

C=1k∑pi∈N(pi)(pi-)(pi-)T

(1)

其中:=1k∑pi∈N(pi)pi,得到三個特征根記為0≤λ0≤λ1≤λ2,其對應的特征向量為v0、v1、v2,將最小特征根λ0 對應的特征向量v0作為pi∈S的法向量的一個近似估計。計算所得到的法矢方向一般是不協調的,需要使用歐幾里得最小生成樹來統一所有法向量的方向。

3.2改進的雙邊濾波因子

雙邊濾波是圖像濾波中一種常用的方法,現已推廣到三維點云數據模型濾波。三維點云數據模型雙邊濾波是將噪聲點沿點的法矢方向移動,不斷調整噪聲點的位置和坐標。雙邊濾波的表達式為:

p′i=pi+α?n

(2)

其中:p′i為濾波后的點;pi為原數據點;α為雙邊濾波因子;n為點pi的法矢。α的表達式如下:

α=∑pj∈N(pi)Wc(pi-pj)Ws(ni,pi-pj)

〈pi-pj,nj〉∑pj∈N(pi)Wc(pi-pj)Ws(ni,pi-pj)

(3)

式中:N(pi)是數據點pi的鄰域點;?表示向量的模或絕對值;〈?,?〉表示向量的內積;Wc是數據點pi到其鄰域點的光順濾波權因子;Ws是數據點pi到鄰域點在pi法向ni上的特征保持權因子;ni是數據點pi的法向量;nj是鄰近點pj的法向量。雙邊濾波因子依賴于局部鄰域特征信息,并且不能處理較大噪聲。本文對雙邊濾波因子進行改進,提高其魯棒性與保特征性,改進后的雙邊濾波因子定義為:

α′=∑pj∈N(pi)Wc(pi-pj)Ws(〈ni,nj〉-1)〈pi-pj,nj〉∑pj∈N(pi)Wc(pi-pj)Ws(〈ni,nj〉-1)

(4)

光順濾波權函數是標準高斯濾波,定義為:

Wc(x)=exp[-x2/(2σ2c)]

(5)

特征保持權函數也是標準高斯濾波,定義為:

Ws(y)=exp[-y2/(2σ2s)]

(6)

其中:σc和σs為高斯濾波參數,反映了計算任意采樣點的雙邊濾波因子時切向和法向的影響范圍。

σc為數據點pi到其鄰域點的距離對pi的影響因子,它用來控制光順程度,σc越大,說明選取的鄰域點越多,則三維點云數據模型的光滑性就越好;

σs為數據點pi到鄰近點的距離在其法向上的投影對數據點pi的影響因子,它用來控制特征保持程度,σs越大,說明改進雙邊濾波因子在平滑數據點pi時在其法矢上移動的距離越長,則三維點云數據模型的特征保持性就越好。

σc控制光順程度而σs控制特征保持程度。σc越大,說明選取的鄰域點越多,則點云數據模型的光滑性就越好;σs越大,說明改進雙邊濾波因子在平滑數據點pi時在其法矢上移動的距離越長,則點云數據模型的特征保持性就越好。

通常情況下,σc可以用數據點pi的鄰域半徑來表示,σs可以用數據點pi的鄰域點標準差來表示。當σc確定后,σs的不同取值對于三維點云數據模型的平滑效果的影響是比較明顯的。

三維點云數據模型表面的起伏變化可以當作三維點云數據模型的特征,具有某種不連續性。式(3)中已有的雙邊濾波因子使用鄰域點在其切平面上投影距離作為權重因子,在特征變化比較劇烈的尖銳區域不能靈敏地展示出來,具有一定局限性。如圖1的鄰域濾波保持權因子示意圖所示,當前處理點p位于三維點云數據模型的尖銳特征區域附近,局部特征變化比較劇烈,查找到的鄰域點包括位于尖銳特征兩側的數據點q1和q2。q1和q2具有相同幾何灰度值,假設q1、q2到點p的距離相等,則根據改進前的雙邊濾波因子,q1、q2具有相等的投影距離權重,但實際情況是數據點q2對當前處理數據點p的影響要更大一些。

本文對現有雙邊濾波因子進行改進,選用法向夾角的余弦值作為雙邊濾波因子的特征保持權因子。由于局部鄰域內的采樣點法向變化能夠反映該鄰域所在平面的特征變化,當三維點云數據模型中某一局部鄰域是尖銳區域時,其特征變化比較大,對應的法向變化也比較大;而當局部鄰域是平坦區域時,其特征變化比較小,對應的法向變化也比較小。因此,采用鄰域點之間的法向夾角作為特征保持權因子的改進的雙邊濾波因子,能夠在尖銳特征區域靈敏地展示出來,同時能夠捕捉三維點云數據模型征變化的不連續性。當鄰域點與當前處理點的法向夾角在0°~90°時,其余弦值隨夾角的增大而減小,故改進的雙邊濾波因子的特征保持權值也隨夾角的增大而減小;當夾角大于90°時,令其特征保持權值為0,即該鄰域點對當前點不再有任何影響。

圖1中具有相同幾何灰度值的q1、q2在改進雙邊濾波因子中因與處理點p的夾角不同,故具有不同的特征保持權值。因此,通過限定夾角的權值,從而把雙邊濾波因子的特征權重因子限定在一個更為合理的范圍內,能夠增強雙邊濾波因子的保特征性。另外,改進的雙邊濾波因子為當前處理點pi鄰域中的每個采樣點都定義一個濾波平面,通過使用多個濾波平面,使得雙邊濾波結果不僅由其自身的鄰域決定,而且還受到其鄰域點的鄰域即當前數據點pi的二階鄰域的影響,這可以削弱數據點pi對其自身鄰域的依賴,增強數據點pi的抗噪能力,提高改進雙邊濾波因子的穩健性。

3.3雙邊濾波光順

本文提出的小尺度噪聲光順算法流程如下:

1)對于每個數據點pi進行k鄰域的搜索,求出它k 個最近鄰域點N(pi)。

2)散亂點云法向量估計。對三維點云數據模型中的每個數據點pi在k鄰域的基礎上通過

主成分分析(Principal Component Analysis, PCA)方法來獲得數據點pi的法矢,并進行法向一致性調整,使得所有的法向量都朝向模型的外側。

3)對于每個鄰域點求出光順濾波權函數的參數x=pi-pj,為點pi到鄰域點pj的距離;計算特征保持權函數的參數y=ni-nj,為點pi的法矢與鄰域點pj的法矢兩者的內積。

4)按照式(5)和(6)計算出光順濾波權函數Wc(x)和特征保持權函數Ws(y)。

5)將Wc(x)和Ws(y)代入式(4),求出改進雙邊濾波因子α′的值。

6)數據點pi幾何位置調整。計算經過濾波后的新數據點p′i的位置,將采樣點pi移動到新的幾何位置,重建出該點的幾何信息。

7)當所有的數據點都經過更新后,輸出去噪和光順后的光滑三維點云數據模型,算法結束。

4實驗結果及分析

為驗證本文算法的有效性,選用兔子和馬三維點云數據模型進行了實驗。

表1為統計濾波結合半徑濾波使用的參數;表2為本文雙邊濾波點云光順使用的參數;表3為兩個算例在實驗中使用的效果最佳的參數;表4為單獨雙邊濾波、Fleishman雙邊濾波和本文算法客觀性能對比。

兔子和馬三維點云數據模型去除大尺度噪聲、小尺度噪聲雙邊濾波光順以及不同去噪方法的三維點云數據模型曲面重構效果圖。

馬點云數據模型去除大尺度噪聲效果圖、馬點云數據模型的小尺度噪聲雙邊濾波光順效果圖、不同去噪方法馬點云數據模型曲面重構圖。

從圖2(b)和圖5(b)可以看出,基于統計濾波結合半徑濾波的算法能夠有效剔除大尺度噪聲,由圖3(a)和圖6(a)可以看出三維點云數據模型的噪聲已經去除,特征也得以保持,能更真實地表達原始采樣模型。將圖2(b)、(c)或圖5(b)、(c)進行對比發現:在去除大尺度噪聲時,如果球形搜索半徑r和標準差倍數閾值std取得過大,則會將噪聲點虛報為尖銳特征點,達不到去除大尺度噪聲的目的。將圖2(b)、(d)或圖5(b)、(c)進行對比發現:在去除大尺度噪聲時,如果球形搜索半徑r和標準差倍數閾值std取得過小,則細微特征可能被忽略,導致點云模型曲面尖銳特征點被當作噪聲,從而進行去除。將圖3(a)、(b)或圖6(a)、(b)進行對比發現:在雙邊濾波光順時,增大σs,則特征保持性好,但平坦區域的光順

性差。將圖3(a)、(c)和圖6(a)、(c)進行對比發現:在雙邊濾波光順時,增大σc,則光順性好,但細節特征損失嚴重。

通過多次實驗,本文算法使用的最佳自由參數如表3所示,是去除大尺度噪聲最佳參數與雙邊濾波最佳參數的組合。

圖4(b)和圖7(b)為只采用雙邊濾波去噪后的兔子和馬的三維點云數據模型重建效果圖,整體平滑效果有了一定程度上的提高,模型特征得到了很好的保持,但處理不好噪聲污染比較嚴重及部分大范圍噪聲點的位置,導致大范圍的波紋噪聲依然比較明顯。圖4(c)和圖7(c)為使用Fleishman方法雙邊濾波后的兔子和馬三維點云數據模型曲面重建效果圖,可以較好地保持模型的幾何特征,但在背部等相對平坦區域的波紋噪聲依然明顯,致使模型存在明顯的噪聲殘余,沒有達到光順的目的。圖4(d)和圖7(d)是本文算法的結果,從中可以看出噪聲已經去除干凈,模型表面得到了較好的光順,有效地保持了復雜幾何特征,而且對模型特征有一定的增強。與圖4(b)和圖7(b)進行對比,在模型同時包含大、小尺度噪聲時,本文方法能夠更好地處理大范圍噪聲,具有良好的適應性;與圖4(c)和圖7(c)相比,本文算法可以很好地去除特征較少區域的波紋噪聲,去噪比較徹底,光順誤差比較小,表面積和體積變化不大,能夠較好地保持幾何特征,光順后的曲面形狀比較均勻,避免了在尖銳特征處過度光順和細節失真等問題。

為了對本文提出的算法作出更加客觀的評價,除了對不同點云去噪方法得到的效果作視覺效果對比之外,還采用了三維點云數據模型光順最大頂點誤差Emax、三維點云數據模型光順平均誤差Eave、三維點云數據模型的表面積S、三維點云數據模型的體積V、三維點云數據模型光順時間t這五種客觀評價指標對去噪效果進行定量分析,結果如表4所示。

光順最大頂點誤差Emax用于衡量三維點云數據移動的大小,Emax越小,說明三維點云數據質量越好,而從表4中可以看出本文算法的Emax最小。

光順平均誤差Eave反映了三維點云數據模型整體的噪聲情況,光順誤差越小,則三維點云數據模型整體去噪效果越佳,魯棒性就越強。從表4中可以看出,

對于兔子點云數據模型,與單獨雙邊濾波、Fleishman雙邊濾波相比,本文算法在Eave上分別降低了50.53%、21.67%;對于馬點云數據模型,與單獨雙邊濾波、Fleishman雙邊濾波相比,本文算法在Eave上分別降低了48.15%、15.15%

與單獨雙邊濾波和Fleishman雙邊濾波相比,本文算法的Eave均有所降低。

三維點云數據模型的表面積S是三維點云數據模型中所有三角形面積的和,三維點云數據模型的體積V采用文獻[16]中的公式計算,S和V反映了三維點云數據模型的收縮情況,S和V變化越小,說明三維點云數據模型整體形狀保持越均勻,保特征性越強。從表4中可以看出,與單獨雙邊濾波和Fleishman雙邊濾波相比,本文算法的體積V均有所減小。

對于兔子點云數據模型中,與單獨雙邊濾波、Fleishman雙邊濾波相比,本文算法在體積V上分別減少了22.68%、12.31%;對于馬點云數據模型,與單獨雙邊濾波、Fleishman雙邊濾波相比,本文算法體積V上分別減少了463%、4.42%。

不過本文算法由于參數設置過多,運行時間比單獨采用雙邊濾波算法和Fleishman雙邊濾波去噪要長,但算法效率基本可以滿足普通應用的需求。

綜合來看,本文算法得到的去噪效果無論是在主觀視覺效果還是在客觀指標上,均優于單獨雙邊濾波和Fleishman雙邊濾波。

5結語

本文提出了一種組合濾波算法,集成了統計濾波、半徑濾波和雙邊濾波的優點,在進行點云去噪光順時,簡單有效,運行速度快,具有較強的魯棒性和保特征性,可以防止過度光順和細節失真等問題。從實驗結果可以看出:一方面,本文算法適應性比較好,可以處理同時具有大尺度和小尺度噪聲的大規模散亂數據點集;另一方面,本文算法在去除噪聲的同時,也較好地保持了模型的尖銳特征,防止模型的萎縮變形。與單獨采用雙邊濾波算法和Fleishman方法雙邊濾波去噪算法比較,本文方法能夠處理具有較大范圍噪聲的大規模散亂點云數據,去噪比較徹底,光順誤差比較小。接下來研究本文算法中存在自由參數的人工調節問題,如何結合點云的統計特性和噪聲的統計特性來自適應地選擇自由參數并對參數進行優化;另外,研究非稠密點云的平滑去噪,提高算法的運行效率,也是下一步工作的重點之一。

參考文獻:

[1]

LIVNY Y, YAN F, OLSON M, et al. Automatic reconstruction of tree skeletal structures from point clouds [J]. ACM Transactions on Graphics: Proceedings of ACM SIGGRAPH Asia 2010, 2010, 29(6): Article No. 151.

[2]

ZOU B, ZHOU H, XIN G, et al. PCNNbased point set surface denoising [J]. Acta Electronica Sinica, 2013, 40(11): 2221-2225. (鄒北驥,周浩宇,辛國江,等.基于脈沖耦合神經網絡的點云曲面去噪[J].電子學報,2013,40(11):2221-2225.)

[3]

WANG X, LI Z, MAI Y, et al. Robust denoising of unorganized point clouds [C]// ICISS 2013: Proceedings of the 2011 International Conference on Intelligent Computing and Integrated Systems. Piscataway: IEEE, 2013: 1-3.

[4]

ROSMAN G, DUBROVINA A, KIMMEL R. Patchcollaborative spectral surface denoising [J]. Computer Graphics Forum, 2013, 32(8):1-12.

[5]

XU S, YANG Z, WU W. Algorithm of 3D reconstruction based on point cloud segmentation denoising [C]// ICISE 2010: Proceedings of the 2010 2nd International Conference on Information Science and Engineering. Piscataway: IEEE, 2010: 3510-3513.

[6]

YANG Z, XIAO D. A systemic pointcloud denoising and smoothing method for 3D shape reuse [C]// ICARCV 2012: Proceedings of the 2012 12th International Conference on Control Automation Robotics & Vision. Piscataway: IEEE, 2012: 1722-1727.

[7]

SU Z, LI Z, WANG X. Denoising of pointsampled model based on normal mollification and median filtering [J]. Journal of ComputerAided Design & Computer Graphics, 2010, 22(11): 1892-1898. (蘇志勛,栗志揚,王小超.基于法向修正及中值濾波的點云平滑[J].計算機輔助設計與圖形學學報,2010,22(11):1892-1898.)

[8]

NIE J, HU Y, MA Z. Outlier detection of scattered point cloud by classification [J]. Journal of ComputerAided Design & Computer Graphics, 2011, 23(9): 1526-1532. (聶建輝,胡英,馬孜.散亂點云離群點的分類識別算法[J].計算機輔助設計與圖形學學報,2011,23(9):1526-1532.)

[9]

GE B,XIANG C,TIAN Q, et al. Denoising approach of high density point clouds based on mixed classification of curvature features [J].Nanotechnology and Precision Engineering, 2012, 10(1): 64-67. (葛寶臻,項晨,田慶國,等.基于曲率特征混合分類的高密度點云去噪方法[J].納米技術與精密工程,2012,10(1):64-67.)

[10]

CAO S, YUE J, MA W. Bilateral filtering denoise algorithm for point cloud based on feature selection [J]. Journal of Southeast University: Natural Science Edition, 2013, 43(S2): 351-354. (曹爽,岳建平,馬文.基于特征選擇的雙邊濾波點云去噪算法[J].東南大學學報:自然科學版,2013,43(S2):351-354.)

[11]

JUN S. Twostage pointsampled model denoising by robust ellipsoid criterion and mean shift [C]// Proceedings of the 2013 Third International Conference on Intelligent System Design and Engineering Applications. Washington, DC: IEEE Computer Society, 2013: 1581-1584.

[12]

LI J, ZHANG C, FAN H. Point cloud denoising algorithm based on swarm intelligent [J]. Computer Integrated Manufacturing Systems, 2011, 17(5): 935-945. (李晉江,張彩明,范輝.群體智能點云光順去噪算法[J].計算機集成制造系統,2011,17(5):935-945.)

[13]

FLEISHMAN S, DRORI I, COHENOR D. Bilateral mesh denoising [J]. ACM Transactions on Graphics: Proceedings of ACM SIGGRAPH 2003, 2003, 22(3): 950-953.

[14]

GRIMM C, SMART W D. Shape classification and normal estimation for nonuniformly sampled, noisy point data [J]. Computers & Graphics, 2011, 35(4): 904-915.

[15]

LI B, SCHNABEL R, KLEIN R, et al. Robust normal estimation for point clouds with sharp features [J]. Computers & Graphics, 2010, 34(2): 94-106.

篇10

整合式創新

劉保華:每個人對云計算都有自己的理解。有一種觀點認為,云計算本身沒有技術上的創新,因為云計算中用到的許多技術,像集群、網格、虛擬化等很早以前就出現了。您對此有何看法?

周松年:我覺得這種對云計算的認識是只見樹木不見森林。云計算本身就是一項偉大的發明,但是這項發明并不是零部件產品的發明,也不是原始技術的發明,而是一種應用模式和集成模式的發明。技術發展到一定階段,最重要的創新不是零部件產品的創新,而是集成模式的創新,就是將A、B、C合在一起,那么生產出來的就是全新的ABC,而不是A或B或C了。

很明顯,云計算的應用模式與原來的IT使用方式是不一樣的。云計算是把已有的零部件集成在一起,用一種新的方式提供給用戶。Platform Computing從事集群和網格技術的開發和應用已經有很多年。網格也是為用戶提供一種服務,用戶使用多少資源就支付多少費用。從這一點上看,網格與云計算是一脈相承的。

從本質上講,云計算是一個新事物。但是,任何新產品、新應用都不是全新的,而是在原來的技術和應用的基礎上發展而來的,再融合一些新技術,然后進行集成式的創新。

所有現有的應用都可以運行在云計算架構之上,而不需要進行改變。此外,用戶還可以在云計算架構之上發明新的應用,比如Hadoop就是一個全新的應用。對于云計算架構來說,在硬件資源層和應用層之間需要一個中間件。Platform Computing做中間件已經有18年的歷史。云中間件現在是Platform Computing的主打產品。

劉保華:超級計算機與云計算之間是什么樣的關系?

周松年:超級計算機與云計算之間最基本的聯系就是應用。云計算的本質是提供不同的應用服務,比如基于高性能計算架構的云就是高性能云。

云計算的本質特征有兩個:第一,在資源層和應用層之間有一個管理系統,負責資源的調度和管理;第二,從運作模式上看,供與求是分開的。對于云計算的認知,人們往往會陷入這樣的誤區:一個是看什么都是云,另一個是看什么都不是云。計算機技術已經發展了五六十年,分布式計算早在上個世紀80年代就已經興起。如果從純粹的技術創新角度看,云計算似乎沒有什么創新。但是從應用創新、商業模式創新的角度看,云計算給市場、客戶帶來的改變是巨大的。我們應該從應用和業務的角度來認識云的價值。

劉保華:有專家說,現在沒有一款服務器是針對云計算架構設計的。您如何看待這一說法?

周松年:服務器本來就不應該專為云計算而設計。適用于云計算的服務器本身應該是標準化的、通用的和商品化的。用戶可以方便地從市場上采購到這樣的服務器,并把它們按需求組裝在一起就構成了一個云計算平臺。我至今還沒有聽到哪個客戶說過,在構建云計算平臺的過程中,通用的服務器不可用,非要采用專為云而設計的服務器的。如果用戶真有采用專用服務器的想法,那就錯了。專用服務器的價格會很高,這不符合云計算對節約成本的要求。在這里要再次強調一下,云計算不是零部件或某個設備(比如服務器)的創新,而是集成式的創新。這其實和蘋果公司的產品創新很像。

通用的硬件設備的可靠性相對較差,但是通過Platform Computing的管理軟件將這些設備管理起來,即使有某個設備宕機,也不會影響系統整體的運行效果。舉例來說,上海超算中心采用了Platform Computing的云中間件產品,使得其系統能夠安全穩定地運行。

讓不可靠的硬件成為最可靠的平臺,這是如何實現的?這主要依靠管理和軟件。State Street Bank是Platform Computing的一個客戶。它為企業提供資產信息保存和資產信息分析服務。這種服務與Google for Analysis類似。State Street Bank可以自動替客戶收集相關信息,并存放在一個大的數據庫或文件庫中,客戶可以隨時查看、調用這些信息。State Street Bank對IT系統的要求是,反應時間為兩秒鐘,并且系統要具有100%的可靠性,確保用戶隨時都可以訪問海量信息。Platform Computing的云中間件和云管理平臺滿足了State Street Bank對IT系統的要求。

隨著云計算技術和應用的普及,兩個傳統的IT概念可能要消失了:一個是高可用性(HA),另一個是容災。舉例來說,云計算系統是分布式的,當系統中的某臺機器宕機,其上的應用會迅速自動轉移到另外一臺機器上。從這個角度說,傳統的高可用性的概念就不復存在了。

貫穿底層架構與上層應用

劉保華:您覺得云計算有哪些主要的技術特征?

周松年:云計算最重要的是結構和設計。就像一幢樓的基礎結構決定了樓的高度、樓的功能一樣,云計算的系統結構決定了它的特征。從主機系統到網絡系統再到今天的云系統結構,IT系統結構經歷了一個螺旋式上升的發展過程。

云系統結構就是把標準化的零部件全部集中在一起,形成一個大機,稱為云機。云機就像是一臺主機,可以承載各種不同的應用,并且讓用戶分享。這臺主機既可以供一個企業內部的不同部門使用,也可以作為一個公用設施,讓企業外部的更多用戶使用,還可以將內部使用和外部使用這兩種模式結合一起。這就是人們常說的私有云、公共云、混合云的概念。

基于上述技術特征,云計算系統可以提供無盡的容量、各種資源以及服務。因此,云計算一定是基于異構平臺的。云就是一臺活著的計算機,而且永遠不死,永遠都在變化,就像人的皮膚細胞,每天都在進行新陳代謝。異構是云計算的一個基本特征。

由于云計算系統結構的需要,一個新的軟件層出現了,即云中間件。原來,每臺計算機都是各自為政,包括硬件、操作系統、應用,有的可能還有中間件。但是現在不同了,在云計算環境中,服務器不再是一立的設備,而是一個零部件。在零部件層與應用層之間需要一個云中間件來管理和調配這些零部件資源。

在云計算環境中,操作系統的作用也改變了。用戶不必直接與Windows、Linux這樣的傳統操作系統打交道。云管理軟件會根據用戶的需求,將工作負載自動分配到適合的機器上,在得到最終的計算結果后再反饋給用戶。云管理軟件這一層其實可以分成兩個部分,向下與基礎架構打交道的是云管理平臺,向上與應用對接的是云中間件。云管理平臺可與多個不同的云中間件連接。不同的云中間件可以支持不同的云應用。

劉保華:業界有這樣一種看法,云計算要經歷從私有云到公共云再到混合云的發展過程。云計算的大規模應用還需要時間,但是現在確實有一部分應用已經逐漸轉移到公共云上。您對此有何看法?

周松年:最開始的很多云應用都是公共云。從全球范圍來看,公共云一直處在不斷發展之中。State Street Bank提供的也是公共云服務。當公共云發展到一定程度,很多企業可能會想,不能總去飯店(好比公共云)吃飯,還是擁有自己的廚房(好比私有云)比較好。這樣一來,企業就會慢慢轉到私有云上。究竟采用哪種云計算模式,還要看應用的需求,有的應用只適合放在公共云上,有的應用則適合放在私有云上,還有的應用最好放在混合云上。

劉保華:雖然云計算的應用模式有很多種,但是對于用戶來說,它們并不關心應用具體運行在公共云還是私有云上。因此,實現不同云之間的無縫連接和交互是非常重要的。Platform Computing的云中間件和云管理平臺,可以實現跨云的交付嗎?

周松年:Platform Computing的產品可以實現跨云的交付。目前,有幾個用戶正在使用Platform Computing的云中間件和云管理平臺實現跨云的交付。當前,云計算還處于應用的初級階段,采用這種跨云交付的用戶還比較少,但是從技術的角度上看,實現跨云的交付并沒有障礙,只要提供一個通用的接口即可。

應用不同,所需的中間件也不相同。Platform Computing的云中間件是處于系統底層的,并與應用流程相關。這個流程是通用的,可以是財務流程,也可以是工業制造管理流程。Platform Computing的云中間件是通用的,可以支持任何應用,而不會與某個具體的應用綁定。將應用涉及到的一些通用功能都放在中間件中,實現服務平臺化,減輕應用開發者的工作量是Platform Computing要做的事。

在云計算方面,Platform Computing主要提供的是系統平臺和運作平臺,這兩個平臺是相輔相成的。Platform Computing的云中間件和云管理平臺都是通用的,不涉及具體的行業知識,主要是在系統的底層實現資源的調度。

有所為有所不為

劉保華:Platform Computing進入中國已經有很多年了,并且在中國擁有龐大的研發團隊和技術支持團隊。Platform Computing在中國市場上是如何給自己定位的?

周松年:在中國市場上,Platform Computing一定要實現轉型。第一,積極投身于中國市場,這并不代表Platform Computing一定要在中國銷售出更多的軟件許可證,而是要融入中國的云計算生態環境,成為大家的好伙伴,讓其他公司都愿意與Platform Computing合作;第二,集中精力實現云落地,選擇一些行業作為突破口,比如高性能計算、電信等,并占有一定的市場份額;第三,將公司總部的規范和經驗都應用到中國市場上,樹立更多的樣板客戶,與合作伙伴共同推動中國云計算市場的發展;第四,不斷提升中國團隊的管理和執行能力。

劉保華:Platform Computing要融入中國的云計算市場,將采取哪些策略?

周松年:Platform Computing將采取以我為主的策略,尋找更適合自己的合作伙伴。合作伙伴的規模不一定很大,但一定要在業務上與Platform Computing有契合點,雙方能保持十分緊密的合作關系。具體來說,我們會采用“燈塔戰略”,就是先做有影響力的大客戶,然后以此為樣板,輻射相關行業。盡管有困難,Platform Computing還是要堅持自己作業務的龍頭,然后再去拓展合作伙伴關系。

記者手記

二次創業

Platform Computing的創始人周松年是地地道道的北京人。雖然在加拿大生活了30多年,他仍然操著一口流利的北京腔。

在北美市場,創立于1992年的Platform Computing雖然在計算機集群、網格計算甚至云計算方面都享有盛譽,但在中國市場上,Platform Computing還不為大眾所知。近兩年,周松年回中國的次數更多了。他對中國市場,尤其是中國的云計算市場充滿期待。