計算機并行處理技術范文

時間:2023-09-15 17:33:26

導語:如何才能寫好一篇計算機并行處理技術,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公文云整理的十篇范文,供你借鑒。

計算機并行處理技術

篇1

【關鍵詞】遙感處理 電子政務 分布式并行計算技術

1 項目背景以及要求

1.1 項目背景

高分遙感在電子政務地理空間基礎信息庫建設與服務中的應用示范項目,是高分重要的應用示范項目,依托“國家自然資源和地理空間基礎信息庫”一期工作,重點解決高分辨率遙感衛星數據與國家自然資源和地理空間基礎信息庫的融合,推進高分數據在電子政務地理空間基礎信息庫的綜合應用示范,形成高分數據及其電子政務應用產品通過共享平臺進行分發和共享的機制和格局,為國家宏觀綜合決策服務,包括資源環境綜合監測評價、災后重建規劃實施效果監測、區域發展戰略研究和區域規劃、資源環境領域規劃和重大基本建設項目跟蹤及效益監測以及海洋資源開發和經濟發展的監測工作等,以及為政府綜合部門、業務服務和電子政務業務部門及社會公眾服務。

1.2 要求

為滿足海量遙感數據的需要,建設了高分遙感數據集群式生產系統,該系統具有高效、自動、智能的技術特性,遙感影像處理的基礎支撐平臺,提供統一的數據模型、業務模型接口,能夠支撐起大規模遙感影像的集群式并行自動化處理。

2 遙感影像處理結構層次

遙感影像操作可以劃分為三個不同的層次或者類別,下面就對其進行一一分析。首先為像素級操作,這是通過一副像素影像產生另外的像素影像,包括鄰域、括點、幾何操作等,很多數據都是有規則、幾何、局部。而這種幾何操作在進行遙感影像處理時表現為幾何校正,因為裝載在飛機、衛星的成像傳感器受到飛機姿態、衛星、時間、運動、氣候等不同因素的影響,其攝取的圖像可能出現幾何畸變的現象,因此,要能夠完成旋轉、重新定位、任意彎曲等操作;其次,其具有特征性操作的特征,這也是相關影像產生的特征,包括區域和線,常規性的特征包括紋理、形狀、三維特征、梯度特征,一般選擇一致的測度,包括方差、均值來進行處理和描述,其顯示特征區域進行的可行性,而且,還具有非局部、象征意義的特性,在局部區域并行的同時,還要能夠對整體加以處理;再者具有目標級操作的特征,這是由一系列特征誘發的目標,并且其信息具有復雜性、象征意義,一般都是通過相關知識來處理,從而對影像進行理解、描述、解釋。

3 通信和同步

在并行計算期間,因為不同進程之間需要傳輸以及調度數據,因此,其具有相應的通信開銷,并且這種開銷表現為以下不同的方面,首先為傳輸等進程之間的數據,主進程從進程調度、數據傳輸、任務分配入手。在處理遙感影像時,需要能夠劃分影像,并且將其映射給進程加以處理和計算,其主要依據就是被劃分部門的數據通信量,三種圖像數據劃分方式,如圖所示,其中圖1表示水平條帶、圖2為豎直條帶、圖3為矩形塊,不同劃分的條帶邊界表現為所要進行的通信數據。在處理不同影像時,要能夠選擇不同的劃分方式,像素級的處理并行化分支較小,進行數據劃分時較為簡單,可以結合實際狀況來選任何劃分方法,特征處理如線條所示,按照豎直條帶和水平條帶來劃分,在目標級、特征級處理期間,需要結合相應的問題、并行計算支撐環境來選擇具體的劃分方式。從一定角度來分析,要想能夠達到并行化的要求,從而讓被劃分的數據通信量達到最小的要求。

在并行系統執行給定算法期間,可能會出現個別進程計算需要在其他進程完成之后才能開展,這時候同步是需要的,所謂的同步就是在這種狀況下順利使用通信協調技術不受到影響。同步也存在以下兩種不同的開銷,包括同步需要所有處理機能夠進行相應的檢驗,但是,需要花費相應的時間;其次個別處理器可能為閑置,等待準許繼續續需要計算相應消息。

4 結語

高分遙感在電子政務地理空間基礎信息庫建設與服務中的應用示范項目,是高分重要的應用示范項目,依托“國家自然資源和地理空間基礎信息庫”一期工作,重點解決高分辨率遙感衛星數據與國家自然資源和地理空間基礎信息庫的融合。通過實驗不難發現,PC機群上所具有的分布式并行算法優勢較為明顯,但是,其通信開銷依然是算法中需要解決的主要問題,在集群逐漸擴展的影響下,通信開銷開始增長,這就讓并行化程度遭到制約,選擇直接少通信量、通信次的方法則能夠降低實際的通信開銷,從而為實現遙感衛星數據和國家自然資源信息庫融合奠定堅實的基礎。

參考文獻

[1]楊海平,沈占鋒,駱劍承,吳煒.海量遙感數據的高性能地學計算應用與發展分析[J].地球信息科學學報,2013(01):128-136.

[2]王竹曉,胡宏,陳立民,史忠植.動態描述邏輯推理的并行計算技術[J].計算機研究與發展,2011(12):2317-2325.

[3]馬偉鋒,李偉.遙感影像數據并行計算中數據分配策略研究[J].浙江工業大學學報,2016(03):270-274.

[4]潘巍,李戰懷.大數據環境下并行計算模型的研究進展[J].華東師范大學學報(自然科學版),2014(05):43-54.

作者單位

1.中國電子科技集團公司第五十四研究所 河北省石家莊市 050081

篇2

【關鍵詞】計算機多線程 協議還原 方法概述

1 協議并行處理方法

1.1 數據包級別并行方法

在協議棧并行處理方法中,數據包級別并行方法是一種并行度最高的處理方法。對于不同的數據包都會按照對應的處理器進行系列處理,達到同時處理多個數據包或者是歸屬于同一個鏈接的數據包。因巨大的吞吐性能以及不存在負載均衡的優勢得到了廣泛運用。雖然其具有高度的并發性,但是在面對帶有上下文信息或狀態的協議來說,例如TCP,可以獲得的性能提升空間受到了很大的約束。

1.2 函數級別并行方法

函數級別并行方法主要運用于早期的協議并行處理中。早期協議是將鏈路控制數據和傳送數據置于同一個數據包中,這就意味著協議并行處理的函數必須要同時處理鏈路控制數據外加上傳送數據,從而出現的一個問題就是協議處理函數單元之間務必會存在大量的上下文相關結果。

1.3 協議棧層次間并行方法

協議棧層次間并行方法主要運用于目前網絡協議的層次結構中。在早期設計相關網絡協議時,為了大幅度的降低協議實現難度而將每個層次協議設計成為了相對獨立的部分,從而完成獨立層間之間的并行處理。但是就目前實際情況來看,這種方法雖然有許多的優勢,但是性能受到了層次結構中吞吐量最低層次結構的限制,所以目前需要對協議棧中的每一個層次進行研究,優化吞吐量最低的層次結構。

2 基于連接性多線程TCP/IP協議并行處理方法概述

2.1 TCP/IP協議棧多線程并行化存在的問題

TCP/IP協議棧多線程并行化存在的問題主要存在于臨界鎖以及處理器之間的負載均衡情況上。考慮到臨街鎖解決共享沖突的代價極大問題,多線程并發程序雖然可以解決部分問題,但是又帶來了諸如臨界區碰撞、內核陷入等等問題,影響程序的運行效率。因此,對于多線程并行的TCP/IP協議而言,消除臨界鎖問題是至關重要的。對于處理器之間的負載均衡情況,需要考慮的就是協調好處理器之間的負載均衡問題。

2.2 多線程TCP/IP協議棧的結構

本文所要分析的多線程TCP/IP協議棧結構主要還是共享內存多處理器平臺運行下的多線程TCP/IP協議棧結構,其基本的特點就是當共享內存對處理器平臺上的處理器數量增加時,其結構的性能也隨之增加。多線程TCP/IP協議棧結構如圖1所示。

2.3 處理器均衡措施

處理器均衡措施具體可以細化分為兩個步驟。第一個步驟就是對IP數據包中的三元組即源地址、目的地址以及協議標識,按照一定的標準進行分發。僅僅采取第一步不能夠對處理器進行深度的處理,需要借助于第二個步驟。第二個步驟包括設置協議棧、促進操作系統借助于任務調度完成負載均衡的操作。后者的時間點在于運行線程數不小于硬件平臺的處理器數量。按照上述順序,可以達到處理器負載均衡的目的。

3 實驗方案結果

從本文的實驗方案測試結果中可以看出,首先單線程下的程序只能夠通過串來執行,從而不能夠發揮出處理器的實際性能。其次,在處理器的數量和線程數量對等的情況之下,也不能夠發揮出系統硬件的全部性能。最后,在處理器數量小于協議棧線程數量的時點,通過適當的增加線程數量,可以在很大程度上提高整個系統的吞吐量。另外,對于內存分配方式對系統性能的影響上,結合實踐經驗以及實驗方案結構可以發現,相比PtMalloc以及SmartBits而言,FixMalloc可以降低動態內存分配過程中出現的處理器消耗,降低的幅度值大概在8.12%上下。

4 結束語

由于現代處理器性能和網絡傳輸能力發展之間存在的很大的不平衡,從而推進了多處理器的發展。本文從網絡協議還原技術出發,提出了一整套的多線程并行的TCP/IP協議的相關還原方案。此外,在通用性的多處理器計算平臺的實際操作過程中發現,雖然計算機多線程TCP/IP協議還原技術可以很好的保障當下處理器平臺性能的發揮,但是對于進一步提升網絡入侵監測系統協議還原能力以及挖掘高性能處理器平臺,以此來協調處理器性能和網絡傳輸能力發展不平衡的矛盾,將是下一階段研究和探究的重點內容。

參考文獻

[1]Bjorkman M,Gunningberg P Performance Modeling of Multiprocessor Implementations of Protocols[J],2009,11(03):142-145.

[2]田偉,顧韻華,丁妮.網絡行為監測與還原系統及關鍵技術研究[J].計算機工程與設計,2011,29(02):111-113.

[3]譚敏生,湯亮.基于HTIP的網絡數據包還原技術研究[J].計算機技術與發展,2011,17(06):14-16.

篇3

關鍵詞:系統觀;能力培養;教學改革;計算機系統

從1946年第一臺電子計算機ENIAC(Electronic Numerical Integrator And Computer)誕生到現在,計算機的發展經過了大型機時代(Mainframe Era: 1950s-1960s)、小型機時代(Minicomputer Era: 1970s)、個人計算機時代(PC Era: Mid 1980s-Mid 2000s)和后PC時代(PostPC Era: Late 2000s)。計算機教學模型機也經歷了從大型機、小型機到PC的過程。通常,課堂教學內容比業界技術要滯后幾年。20世紀80年代初,基本以IBM 360/370或DJS 200系列等大型系列機為模型機;20世紀80年代中后期開始,則以VAX 11/780等小型機為模型機,并同時開設以IBM PC為模型機的“微機原理與接口技術”課程,到21世紀開始,基本上都轉入了以Intel x86或PowerPC或MIPS等微處理器為模型的教學模式。

隨著多核/眾核處理器、嵌入式和云計算技術的發展,以及大規模數據中心(WSC)的建立和個人移動設備(PMD)的大量普及使用,計算機發展進入了后PC時代。呈現出“人與信息世界及物理世界融合”的趨勢和網絡化、服務化、普適化和智能化的鮮明特征[1]。

那么,后PC時代的計算機專業教學應該如何改革?計算機專業教育的核心應該是什么?計算機課程的教學內容應該如何調整以適應新的發展需求?這些都是我們從事計算機專業教學的大學老師們應該思考的問題。本文將從計算機專業人才培養的目標、目前我國大學計算機專業教育存在的問題、南京大學在學生系統能力培養方面的新舉措等幾個方面闡述筆者的思考及初步探索。

一、計算機專業人才“系統觀”培養的重要性

圖1描述了計算機系統抽象層的轉換。從圖1可以看出,計算機系統由不同的抽象層構成,“計算”的過程就是不同抽象層轉換的過程,上層是下層的抽象,而下層則是上層的具體實現。計算機學科主要研究的是計算機系統各個不同抽象層的實現及其相互轉換的機制,計算機學科培養的應該主要是在計算機系統或在系統某些層次上從事相關工作的人才。

計算機系統由各種硬件和各類軟件采用層次化方式構建,不同用戶工作在不同的系統結構層,如圖2所示。

從圖2可看出,計算機用戶有最終用戶、系統管理員、應用程序員和系統程序員。顯然,計算機專業培養的主要應該是設計和研制計算機的計算機工程技術人員以及系統程序員、應用程序員和系統管理員。不管培養哪個層面的計算機技術人才,計算機專業教育都要重視學生“系統觀”的培養。

所謂“系統觀”,筆者認為,就是指對計算機系統的深刻理解。具有“系統觀”的人才,能夠站在系統的高度考慮和解決應用問題,具有系統層面的認知和設計能力,包括對軟、硬件功能進行合理劃分、對系統不同層次進行抽象和封裝、對系統整體性能進行分析和調優、對系統各層面的錯誤進行調試和修正、對用戶程序進行準確的性能評估和優化,以及根據不同的應用要求合理構建系統框架等能力。

圖2 計算機各類用戶所在層次

特別是在后PC時代,并行成為重要主題,培養具有系統觀的、能夠進行軟/硬件協同設計的軟/硬件貫通人才是關鍵。而且,后PC時代對于大量從事應用開發的應用程序員的要求也變得更高。首先,后PC時代的應用問題更復雜、應用領域更廣泛;其次,要想編寫出適合各類不同平臺的高效程序,應用開發人員必須對計算機系統具有全面的認識,必須了解不同系統平臺的底層結構,并掌握并行程序設計技術和工具。

只有具備“系統觀”,計算機工程技術人員才能夠設計研制出性價比高的適合特定應用需求或通用的計算機,系統程序員才能編寫出適合于底層硬件架構的易于上層應用程序員或系統管理員使用的系統軟件,應用程序員才能最合理地利用底層硬件實現機制和系統軟件提供的相應功能編寫出性能最優的應用軟件,系統管理員才能配置出最佳的系統環境并提供最好的系統維護和系統管理等方面的服務。

二、我國大學計算機人才“系統觀”培養的現狀

為了更好地了解國外大學計算機專業人才培養的情況,筆者對MIT、UC Berkeley、Stanford和CMU等4所美國一流大學在相關課程方面教學情況進行了跟蹤調查[2]。我們發現,中美大學在計算機專業人才培養及課程教學方面存在許多不同。

首先,從課程設置上來說,上述美國四校在學完編程語言及其程序設計課程后都開設了一門關于計算機系統的基礎課程,而且在課程內容上特別注重在計算機系統各個抽象層上的縱向關聯,沿著一條主線,把每個抽象層都串起來,從而使學生形成完整的計算機系統概念。而國內大學計算機專業課程設置,基本上是按計算機系統層次結構進行橫向切分,自下而上分解成數字邏輯電路、計算機組成原理、匯編程序設計、操作系統、編譯原理、程序設計等課程,而且每門課程都僅局限在本抽象層,相互之間幾乎沒有關聯,學生對整個計算機系統的認識過程就像“盲人摸象”一樣,很難形成一個對完整計算機系統的全面認識。雖然國內高校也有計算機系統概論、計算機系統入門或導論之類的課程,但內容廣而不深,什么都講一點,什么都講不透,基本上是計算機課程概論,而不是計算機系統概論。

其次,美國四校都采用了分流培養模式,都設置了偏硬件或計算機系統的專業或方向。例如,有電子工程(EE)、電子與計算機工程(ECE)、計算機工程(CE)和計算機系統等專業或方向。而目前國內大多數高校都只有一個專業,即計算機科學與技術,專門分出ECE、CE和計算機系統方向進行人才培養的學校很少。國內絕大多數高校只能培養應用程序員,而且是對計算機系統底層知之甚少的應用程序員。

最后,美國四校在計算機系統入門課后面都開設了關于數字系統設計的課程,課程內容涵蓋了數字邏輯電路和組成原理兩門課的基本內容,并要求學生用EDA方式設計相對完整的流水線CPU,而且都是由EE(ECE)部門開設,但并不要求所有學生都學,通常是偏硬件類的EE、ECE、CE和計算機系統方向的學生必學,其他方向學生選修。反觀國內絕大多數高校,基本上都是先上數字邏輯電路(有些合并了一些模電內容)課程,然后上組成原理課程(有些組成原理課程上的是微機原理與接口的內容),而且這兩門課程基本上都是所有學生的必修課程,并沒有考慮不同方向學生對于計算機底層硬件知識和硬件設計能力的不同需求。目前國內大多數學校的組成原理課程教學基本上還是沿用傳統的教學理念,教學內容還停留在計算機硬件的基本構成和基本設計原理層面,既不像國外的數字系統設計那種硬件設計課程,能夠讓學生真正了解如何用硬件描述語言通過FPGA來設計現代計算機硬件系統;也不是一門關于計算機系統的入門課程,能夠讓學生全面地理解整個計算機系統的實現機理。因此,目前國內絕大多數高校的組成原理課程的教學,既沒能達到培養學生利用現代化工具進行實際硬件設計的能力,也沒有讓學生學會運用機器底層硬件和系統結構知識來增強高效軟件開發和程序調試的能力,更沒有通過該課程讓學生建立起計算機軟、硬件系統的整體概念。

總之,國內大學計算機專業教育在“系統觀”培養方面還存在一些問題,這點從近五年來全國計算機專業研究生入學考試的抽樣結果可以得到印證。2009年開始,計算機專業的研究生入學考試采用全國統考方式,計算機專業基礎綜合統考科目包括數據結構、組成原理、操作系統和網絡四門課程,總分為150分。五年來的抽樣結果顯示,全卷平均分每年僅在60~78之間,試題統計難度(單選題的試題難度指答對人數/總人數,綜合應用題的試題難度指樣本平均分/該題總分,最終難度為加權平均值)僅在0.41~0.52之間,其中組成原理最低,特別是其綜合應用題的難度僅在0.181~0.440之間,五年共10個綜合應用題,只有兩題的難度達到了0.4以上,說明所有考生平均僅掌握所考內容的大約30%左右,有的方面只有20%不到,也即考生們對絕大部分綜合應用能力考核內容都沒有掌握。從抽樣省份來看,前三年抽樣的大多是高等教育水平比較高的地區,可想而知,全國的抽樣數據應該更差。近五年的綜合應用題抽樣數據表明,試題統計難度與解題涉及的知識點個數相關性較大,通常涉及的知識點越多得分越差,說明學生的綜合應用能力較弱,平時缺乏對相關知識和概念關聯性的思考。

根據近年來對全國研究生計算機專業基礎綜合統考科目考試成績的抽樣調查結果,可以看出國內大學計算機本科專業存在“輕應用、缺關聯、少綜合、無系統觀”的問題[3]。

三、國內大學相關教學改革概況

目前,越來越多的高校發現計算機專業基礎課程教學中的一些問題,開始注重學生的系統能力培養,強化學生的“系統觀”。

目前為止,已經有一些高校以MIPS為模型機,對數字系統設計的相關內容進行了深入的講解和實踐,也有一些高校同時把CPU設計與操作系統和編譯的內容融合起來進行實驗課程的開設。浙江大學多年來每年在暑假都會開設有關CPU及其計算機系統設計的選修課;東南大學也專門開設了面向所有學生的計算機系統綜合實驗課程;北京航空航天大學從2006年開始籌劃,花了5年時間實現了突破,在相關的數電和組原、OS及編譯原理課程中逐步讓學生完成一個完整計算機系統的設計;清華大學目前也已經完成了計算機綜合實驗平臺的所有軟、硬件部分的開發,準備在所有本科生中開設計算機系統綜合實驗課程。此外,中科大和國防科大等高校也一直在實施本科生的計算機系統設計能力培養計劃。可喜的是,一些非重點高校的任課老師也在組成原理課程的教學及其相關實驗中,引入了以MIPS為模型機的 CPU設計的教學和實驗內容。

另一方面,像復旦大學軟件學院和上海交大軟件學院等則開設了與CMU的CS 213類似的課程[4],北京大學也在去年全盤引入了CMU的CS 213課程教學內容。但是,總的來說,目前在國內全面開展像CMU的CS 213那樣的課程教學困難還不小,對任課教師和學生來說都是一個不小的挑戰。

四、南京大學相關教學改革思路和做法

根據對計算機相關領域目前發展情況的分析以及對國外一流大學計算機相關專業教學情況的調查,我系在新的2013版教學計劃中,實施分流培養機制,提供了計算機科學、計算機系統、計算機應用、軟件工程和信息安全五個方向。

在“系統觀”培養方面,其基本培養目標為:建立計算機系統完整概念,深刻理解計算機系統的層次化結構。包括:理解計算機系統中各個抽象層之間的相互轉換關系,了解計算機指令集體系結構的設計原則和設計原理,具備使用HDL進行計算機硬件設計的基本能力,深刻理解OS和硬件之間的分工和銜接關系,理解掌握從硬件角度出發進行編譯優化的基本技術,深刻理解從硬件角度出發編制高效程序的基本原理,提高利用硬件知識進行程序調試的能力。特別對于計算機系統方向的學生,在系統能力方面則要求更高,在CPU設計、體系結構、操作系統、編譯技術和并行處理技術等方面都有相應的實踐要求。

在2013版教學計劃中,重新規劃了相關的一系列課程,并采用以下思路對相關課程進行重新建設:(1)根據系統能力培養總體目標,規劃好相關課程各自涵蓋的知識結構和框架體系,合理定位各門課程的教學目標,把每個知識點落實到具體課程中。(2)根據相關知識點總體框架,擬定各個相關課程之間知識點銜接方案,并且在教學過程中明確各知識點在不同課程之間的關系。(3)根據規劃分頭編寫或修訂教材及教案,并在統一的框架下建設相關課程。(4)在保留各課程獨立實驗平臺的同時,構建一個公共實驗平臺,使相關課程的實驗內容按照一定的關系有機聯系起來。

2013版教學計劃中有一組課程是所有方向學生都必修的學科平臺準入和學科平臺準出課程。學科平臺準入課程是指轉系學生只有選讀并考試合格后才有資格轉入我系學習的最低門檻課程;學科平臺準出課程是指學生只有修讀合格后才能從我系畢業的最低門檻課程。

與系統能力培養密切相關的準入課程是“程序設計基礎”和“數字邏輯電路”;而與系統能力培養密切相關的準出課程是“計算機系統基礎”、“操作系統”和“計算機網絡”。

每個方向有幾門方向必修課程和方向指選課程。方向必修課程是該方向學生必選的方向基礎課程,方向指選課程是為該方向學生指定的選課范圍內的方向相關課程。例如,對于計算機系統方向,其方向必修課程是“計算機組成與設計”、“計算機體系結構”和“編譯原理”;而在方向指選課程中,與系統能力密切相關有“計算機系統綜合實驗”、“并行處理技術”、“LINUX分析”、“微機原理與接口”和“嵌入式系統”等課程,也即計算機系統方向學生必須在這些課程中選修一定數量的課程。

圖3給出了整個教學計劃中與“系統觀”培養密切相關的課程設置,圖中箭頭描述了課程的先后依賴關系。

從圖3可看出,所有相關課程中,“計算機系統基礎”是最核心的課程,其先行課程是“程序設計基礎”和“數字邏輯電路”,與其相關的后續課程有“計算機網絡”、“操作系統”、“計算機組成與設計”、“計算機體系結構”、“編譯原理”、“并行處理技術”、“微機原理與接口”、“嵌入式系統”、“LINUX分析”和“計算機系統綜合實驗”。

課程設置基本思路是“從兩頭到中間、從框架到細節”,即先開設頂層的程序設計課程和最底層的數字邏輯電路課程;然后再在“計算機系統基礎”課程中,從兩頭到中間,把頂層程序設計的內容和底層電路的內容,按照程序員視角串起來,以形成對計算機系統的全面的和系統的框架性整體認識;在此基礎上,再分別在其他后續課程中,介紹計算機系統底層的硬件以及操作系統和編譯器等層次的實現細節。

圍繞系統能力培養目標,根據課程之間的相互關系,我們確立了各課程定位如下:

(1)程序設計基礎。該課程是學科平臺準入課程,所有學生必修。它主要介紹高級語言編程技術的基礎內容,讓學生初步理解高級語言及高級語言程序設計涉及的概念,初步理解圖1所示的計算機系統中最上面三個抽象層(問題、算法和程序)及其相互轉換關系。學完該課程后,學生能夠了解到計算機解決應用問題首先必須將其轉換為算法,然后用某種編程語言將算法編寫成程序才能在計算機上運行。因而,學完本課程后,應該希望進一步了解為什么計算機能夠執行程序、計算機如何執行程序等問題。

(2)數字邏輯電路。該課程是學科平臺準入課程,所有學生必修。它主要圍繞組合邏輯和時序邏輯兩大核心內容,在邏輯門到功能部件這兩個層次展開,以后續課程中用到的功能部件(如半加器、全加器、加法器、比較器、編碼器、譯碼器、觸發器、寄存器、移位器、內存儲器等)作為數字邏輯電路設計實例進行介紹,初步掌握圖1所示的計算機系統中最下面的三層(功能部件、門電路和器件)相關內容。學完該課程后,學生能夠了解到目前主流計算機解決所有問題的最根本的基礎是布爾代數和數字邏輯電路,并了解到利用數字邏輯電路可以構建執行程序所需的所有功能部件。

(3)計算機系統基礎。該課程是學科平臺準出課程,所有學生必修。它是一門新開設課程,主要介紹高級語言程序中的數據類型及其運算、語句和過程調用等是如何在計算機系統中實現的,從宏觀上介紹計算機系統涉及的各個層次,使學生從整體上了解計算機系統全貌和相關知識體系,初步理解圖1所示的計算機系統中的每一個抽象層及其相互轉換關系。學完該課程后,學生能從程序員角度認識計算機系統;能夠建立高級語言程序、ISA、OS、編譯器、鏈接器等之間的相互關聯;對指令在硬件上的執行過程和指令的底層硬件執行機制有一定的認識和理解。從而增強學生在程序調試、性能提升、程序移植和健壯性等方面的能力,并為后續的“計算機組成與設計”、“操作系統”、“計算機體系結構”等課程打下堅實基礎。由此可見,該課程可以作為“程序設計基礎”課程的深入內容,能起到為其解惑答疑的作用,學完該課程,學生完全應該能夠回答為何計算機能夠執行程序以及計算機如何執行程序等問題。

(4)操作系統。該課程是學科平臺準出課程,所有學生必修。它將系統地講解操作系統的基本概念和方法、設計原理和實現技術。主要內容包括:處理器管理,同步、通信和死鎖,存儲管理,設備管理,文件管理,操作系統安全和保護,分布式操作系統和網絡操作系統。既闡述經典內容,又以當代主流操作系統作為實例介紹最新發展;既注重操作系統的理論知識,又重視操作系統的實踐和應用。操作系統是一門實踐性、應用性很強的課程,學習這門課程必須動手實踐。實驗將配合原理教學同步進行,課程實驗以設計性實驗為主,進行模擬類操作系統實驗,要求學生能夠基于虛擬機環境,實現一個可運行的操作系統。實驗通過對操作系統原理的剖析,輔助學生深入理解抽象原理,強化學生對操作系統總體結構的理解和認知,提高學生的動手實踐能力,并幫助學生對操作系統建立起理性、全面、完整和準確的概念。

(5)計算機組成與設計。該課程是計算機系統方向學生的必修課程。它主要從寄存器傳送級以上層次介紹單處理器計算機設計的基本原理和設計細節,重點在CPU設計和存儲器設計方面,使學生在理解高級語言程序與機器級代碼之間對應關系的基礎上,進一步理解機器級代碼如何在具體硬件系統中執行的過程以及如何構造計算機硬件系統。因而,該課程主要涉及圖1中的第5層(指令集體系結構)和第6層(微體系結構),并通過實現細節介紹這兩個層次與上層的操作系統/虛擬機以及與下層的功能部件/RTL之間的關系。通過該課程的學習,要求學生能夠利用硬件描述語言和FPGA開發板來設計基本的功能部件以及單周期CPU和流水線CPU。因而,在課程內容組織方面應該細化通用寄存器組、ALU和桶形移位器等功能部件設計的內容,細化單周期CPU和流水線CPU設計的內容,并講透流水線CPU設計中的各種冒險處理機制和基本的指令級并行處理的內容。

(6)計算機體系結構。該課程是計算機系統方向學生的必修課程。學生在完成單處理器計算機系統相關技術學習的基礎上,通過該課程進行多核處理器、眾核處理器、多處理機系統、集群系統等不同粒度和規模的并行計算機系統的工作原理、實現方式及其應用方面的深入學習。因為學生已經建立了單處理器計算機系統的完整概念,因而該課程重點應該更多地轉移到超標量流水線、多核/眾核系統、多處理器系統、多計算機系統等并行處理系統方面。此外,該課程還涵蓋了數據中心、云計算系統和虛擬機/虛擬化方面的部分內容。

(7)編譯原理。該課程是計算機系統方向學生的必修課程。學生在掌握了程序設計、數據結構、算法設計與分析、組成原理和操作系統的基礎上,進一步學習編譯器的設計原理和實現技術。它主要包括有限狀態自動機理論、形式語言分類以及詞法分析、語法分析、語義分析、中間代碼生成、中間代碼優化和目標代碼生成的作用和方法,還介紹屬性文法的基本概念和半形式化的中間代碼生成方法。該課程的各個知識模塊綜合起來對應的培養目標,是使每位學生掌握和編譯器設計相關的形式語言理論基礎、了解編譯器生成工具的使用方式以及實踐一個簡單編譯器的設計與實現過程。該課程的學習能為后續的形式語言和自動機等課程以及在軟件工程和自然語言處理等方面的研究工作打下良好的基礎。

(8)并行處理技術。該課程是計算機系統方向學生的指選課程。其主要內容包括并行環境、并行算法、并行程序設計、并行性能評價等部分的內容。課程總目標是通過并行計算和并行處理的基本概念、基本原理、基本方法與基本知識的講授與實踐,為計算機系統方向學生打下并行算法與并行處理方面的研究與應用基礎。通過簡單介紹并行計算機的體系結構、并行計算模型與并行算法的性能評價方法,掌握并行算法設計、編程實現與性能評價時涉及的基本知識與基本概念;通過介紹任務分解、任務調度、負載平衡、設計模式、設計技巧等知識,掌握并行算法設計的基本原理、基本方法與基本技術;通過對MPI與OpenMP等編程語言或編程模型的簡單介紹,使學生掌握并行算法程序實現的基本知識;通過幾類典型的數值與非數值并行算法介紹,加深學生對并行算法設計基本原理與常用方法的理解,并為實際應用問題的并行算法設計與并行處理打下堅實的基礎。

(9)微機原理與接口。該課程是計算機系統方向學生的指選課程。主要定位為在PC上的實例化教學課程,以目前流行的基于IA-32體系結構的PC為實例,主要介紹IA-32提供的存儲管理機制、異常/中斷機制以及總線和接口技術。實驗重點內容在PC的I/O接口技術,包括在FPGA實驗板上利用CPU軟核進行總線、中斷和DMA實驗,利用硬件描述語言(HDL)進行UART等I/O接口設計的實驗等。

(10)嵌入式系統。該課程是計算機系統方向學生的指選課程。主要定位為在嵌入式系統方面的實例化教學課程。主要介紹嵌入式系統概論、嵌入式處理器、存儲器及其總線互連,嵌入式系統集成接口,嵌入式操作系統,嵌入式硬件與軟件協同設計方法與工具,嵌入式應用系統開發及其工具,嵌入式系統功耗分析與優化設計等。實驗重點內容是基于ARM處理器和μCOS-Ⅱ操作系統的簡單嵌入式軟件開發技術。

(11)LINUX分析。該課程是計算機系統方向學生的指選課程。它是操作系統的后續課程,以剖析Linux內核實現技術為切入點,結合Linux內核代碼,從用戶層及內核層兩個層面,圍繞“原理、技術、應用”三個角度剖析Linux的內部結構與內核實現機制,幫助學生從系統實現角度理解現代操作系統的系統架構、實現機理及關鍵技術。課程以“技術專題”形式組織教學內容,每個專題由知識講授與課程實驗組成。核心知識模塊包括進程管理、進程調度、進程通信、存儲管理、系統調用與中斷處理、文件管理。每個知識模塊按“原理設計基本思想―實現相關技術問題―Linux內核實現途徑―用戶系統編程體驗”為主線組織具體內容。

(12)計算機系統綜合實驗。該課程是計算機系統方向學生的指選課程。主要目的在于將本科計算機教學中的基礎課程,如程序設計、數字邏輯電路、操作系統、計算機組成與設計等課程融會貫通,使學生從系統的角度對整個計算機有一個全面的認識和了解,并能夠設計和實現一個簡單的計算機系統。本綜合實驗區別于一般的基礎實驗課程從單個層面出發的設計局限性,它要求學生把計算機軟件和硬件相結合,并強調各個基礎課程之間的銜接與聯系。實驗要求學生能夠對于從高級程序語言開發到程序的系統管理、編譯與代碼轉換以及硬件運行的選擇與實現等有一個全面的掌握。實驗還強調學生的動手能力和對系統的設計能力,培養能夠獨立開發一套簡單系統并能對整個系統進行改進和優化的能力。

當然,除了上述課程以外,其他課程對學生系統能力培養也有一定的作用。除了學科平臺準入和準出課程以外,其他方向的學生還可以選修上述其他課程,有些課程還可能是某個方向的必修課和方向指選課,而計算機系統方向的學生除了上述給出的必修課和指選課以外,也還可以選擇一些偏理論或偏應用的課程進行修讀。

后PC時代WSC、PMD和PC等共存,使得原先基于PC而建立起來的專業教學內容已經遠遠不能反映現代社會對計算機專業人才的培養要求,原先計算機專業人才培養強調“程序”設計也變為更強調“系統”設計。這需要我們重新規劃教學體系,調整教學理念和教學內容,加強學生系統能力培養,使學生能夠深刻理解計算機系統整體概念,更好地掌握軟/硬件協同設計和程序開發技術,從而更多地培養出滿足業界需求的各類計算機專業人才。

參考文獻:

[1] 王志英,周興社,袁春風等. 計算機專業學生系統能力培養和系統課程體系設置研究[J]. 計算機教育,2013(9):1-6.

[2] 王帥,袁春風. 美國一流大學計算機組成與系統結構實驗課程研究[J]. 計算機教育,2011(17):121-124.

篇4

十多年來,英特爾架構平臺一直以優于同類基于RISC的產品的價格提供了更出色的性能和兼容性。現在,英特爾安騰架構又將同樣的優勢帶入了高端企業計算環境。據英特爾估計,隨著英特爾安騰2處理器的推出,企業將能夠以更優惠的價格購買到更強大的平臺,其交易處理能力比Sun Microsystems的同類平臺性能高50%。

如果企業目前已經在運行針對安騰架構而編譯的應用,那么運行在安騰2架構平臺上可將性能提升1.5~2倍。安騰2處理器經過精心設計,可以兼容未來的英特爾安騰處理器。

這些性能的增強展示了清晰并行指令計算(EPIC)模式的擴展能力,EPIC技術形成了英特爾安騰架構的基礎。EPIC經過專門設計,旨在使復雜的企業和技術應用能夠在多年內快速、經濟高效地擴展性能。通過建立一個有助于最大限度提高并行指令吞吐量的環境,EPIC突破了傳統體系結構的限制,并且為未來實現更高、更經濟高效地性能擴展鋪平了道路。

以下我們將討論EPIC技術的一些關鍵優勢,并闡述了這種技術為什么會使安騰架構成為支持要求最苛刻的企業和技術計算應用的可擴展的、價格經濟的平臺。本文還詳細介紹了安騰2處理器的一些增強特性,這些特性可確保安騰架構繼續在高端計算領域獨占鰲頭。

對EPIC技術的需求

當今對更快更經濟的計算解決方案的需求已經達到了前所未有的程度。無論是在技術計算還是在企業IT環境中,由于個人和企業都希望了解和控制日益復雜的流程,因此這種需求更是大幅度增長。

高性能技術計算領域中的挑戰

幾乎所有科學和工程技術領域的研發小組都希望實現準確的定量分析,并努力建立日益復雜的系統模型。毫無疑問,這是率先采用功能強大、價格經濟的安騰架構解決方案的一個市場。以美國國家科學基金會目前正在開發的超級計算機為例,這種分布式系統將采用英特爾安騰處理器和英特爾安騰2處理器,總處理器數量將超過3300個。所有平臺將被分配到4個獨立的超級計算機構,并通過專用的高速互連鏈接在一起。整個系統每秒鐘可以執行13.6萬億次計算,并能夠處理450TB的數據。

又例如為美國西北太平洋國家實驗室(PNNL)能源部開發的超級計算機。這種新系統擁有1400個英特爾安騰2處理器、1.8TB內存和170TB硬盤空間,每秒鐘將能夠執行8.3萬億次浮點運算。開發完成后,它將成為世界上功能最強大的基于Linux的超級計算機之一,使PNNL研究人員能夠以比原有系統快30倍的速度處理復雜的應用。英特爾安騰架構的強大能力和經濟的價格有助于科學家們突破當前計算能力的限制。目前正在開發的美國國家科學基金會的分布式超級計算機就是最好的范例。

企業計算面臨的挑戰

商業領域的計算需求日益增長,其中的部分壓力來自越來越復雜的技術工程和設計應用。許多行業的公司正在用計算機建模和設計解決方案替代耗時的原型開發。這些計算密集型應用在顯著縮短了產品上市時間,同時能夠穩步提高復雜性、準確性和完善性。

隨著公司不斷增加用戶量、實現復雜流程的自動化處理、以及更有效地為客戶提供服務,他們要求更高的計算能力來支持各種復雜的商業應用,如大型數據庫(LDB)、企業資源規劃(ERP)、供應鏈管理(SCM)和業務智能(如數據采掘)等。各公司在交易和處理過程中不斷進行企業和部門間整合,這極大增加了工作負載和企業的數據量。這些業務需求不僅要求增強傳統應用(如額外特性和功能),同時還增加了計算需求。

創新解決方案

EPIC計算模式是專門為實現高效并行性而設計的,旨在同時處理多個指令或進程。并行性可以增加每處理器時鐘周期內可完成的工作量,從而加速應用的處理。EPIC為增強并行性奠定了基礎,使英特爾能夠通過提高并行指令的吞吐量擴展服務器性能。這種技術已使許多關鍵類型應用獲得了業界領先的性能,而且在未來這種優勢將會日益顯著。在其它計算模式中,并行處理機會必須由處理器本身來識別。EPIC提供了一種增強的指令集,使編譯器能夠在軟件代碼到達處理器之前明確地識別出并行處理機會。這種編譯器非常適合此任務,因為她可以查看和分析整個代碼為并行處理制定最有效的策略。

這樣,硬件和軟件就可以根據自身能力選擇應用以使其得到最佳處理。編譯器還調整了程序,以優化效率。該處理器能夠以最快的速度簡單地并行處理各種指令。這種處理分工不但帶來了立竿見影的性能優勢,而且還為性能擴展提供了更多機會。

EPIC技術的關鍵特性

EPIC技術為高端應用性能的擴展提供了獨有的靈活基礎。英特爾安騰2處理器構建在此基礎上,較第一代英特爾安騰處理器提供了顯著的性能優勢。未來的安騰處理器仍將會不斷提升性能,為現有的安騰架構解決方案提供定期升級機會。

顯式并行性

獲得高度并行性是EPIC高效計算的關鍵。目前的英特爾安騰處理器能夠同時處理多達6條指令,而且EPIC還能夠靈活地提高未來處理器的并行性。(相比之下,基于RISC的同檔處理器每時鐘周期最多處理4條指令。)

當然,同時處理的最多指令數量并不是衡量應用性能的唯一尺度。處理器必須要能夠支持高度的并行性來優化總體吞吐量。EPIC計算模式具備的眾多特性使其非常適于該項任務,包括廣泛的計算資源、增強的預測和推測能力。

英特爾安騰2處理器的增強:與第一代安騰處理器相比,安騰2處理器擁有更多的執行資源,因此能夠支持更高的并行指令吞吐量。如下所述,預測和推測能力也得到了提高。進而使安騰2處理器能夠比第一代安騰處理器多處理6條指令,并使這些指令通過流水線更快地運行。

預測能力

大多數軟件代碼都包括許多條件分支。條件分支是一種諸如“如果/那么”這樣的操作,其操作結果決定處理器下一步該做什么。在其它體系結構中,條件分支未處理之前處理器不可能向前運行。在分支密集型代碼中,這會成為總體吞吐量的主要限制因素。

在EPIC計算模式下,預測能力使編譯器能夠明確識別能以并行方式處理的指令流。它還使處理器能夠預先載入指令和數據,并同時針對兩個分支開始處理。一旦條件語句得到處理,收集到的不正確路徑的信息就會被刪除,從而使處理器能夠繞過一個條件分支而不必等待它被解決,進而顯著提高了并行處理效率。

英特爾安騰2處理器的增強

安騰2處理器能夠放棄錯誤結果,并能比第一代安騰處理器更快地恢復有效計算周期。從而可以更積極、有效地利用預測功能來提高總體吞吐量。

EPIC并不是第一種支持64位數據、計算和內存尋址的計算模式。然而與其它同檔64位體系結構相比,EPIC技術增強的并行性和安騰架構使大量數據能夠得到更有效地處理。如果沒有EPIC基于預測、推測和大規模計算資源的高度并行執行模式,64位尋址能力的性能優勢會受到限制。

英特爾安騰架構的可靠性

英特爾安騰處理器和兼容芯片組具有大量內建特性,能夠最大限度地延長正常運行時間,其中包括在所有主要數據通路上提供高級檢錯和糾錯;以及增強的機器檢查體系結構(MCA),可提供改進的錯誤恢復與管理。這些特性構建在開放、可擴展的框架之上,使平臺能夠檢測、分離并及時修復錯誤,而在以前這些錯誤很可能會導致系統故障。

平臺制造商正通過各種高端可用性特性來擴展這些能力,如內建硬件冗余、熱插拔和熱交換組件、故障切換網絡連接和經由RAID的數據保護。隨著體系結構不斷改進,它將會繼續以優異的價格提供先進的可用性特性。

篇5

【關鍵詞】FPGA;計算全息;循環迭代算法;優化

1.引言

計算全息是建立在計算機科學與光學結合的全息圖制作的一種新技術,具有最終實現3D電視的潛能,與光學全息相比,計算全息具有靈活方便、高重復性、適用范圍廣對環境要求低等優點[1],已發展成為一項非常熱門的技術。但是全息術系統很難發展到實際使用中,故面臨著一個大的挑戰,因為全息術需要一種高性能的且能為它實時重現的計算能力。為此我們利用FPGA技術的并行處理特性和基于菲涅爾計算全息圖[2-3],提出了一種基于FPGA技術的計算全息實現方法,在計算速度方面我們得到了很大的改善。另外為了降低系統成本,降低器件功耗,為以后的技術升級留下更多的可編程資源,我們對此算法進行有關VHDL 編碼方面的面積優化,提高資源利用率。

一般而言,在基于FPGA數字系統設計時,優化問題主要包括面積優化和速度優化。面積優化是指FPGA的資源的利用率優化;速度優化是指設計對象滿足一定的速度要求。面積優化和速度優化通常又是一對矛盾,一般情況下,速度指標是首要的,在滿足速度要求的前提下,盡可能實現面積優化面積。

3.硬件結構

根據目前視頻處理的性能特點,我們的系統設計采用FPGA+ARM架構的方式,不但具備Altera Cyclone2 FPGA強大的視頻處理能力,而且增加了一顆ST公司ARM CORTEX-M3內核CPU――STM32F101R8T6,并且外掛了一顆16Mb大容量串行Flash,可以向FPGA寫入OSD和圖片等內容,進一步增加了我們系統的硬件能力,幫助我們更好進一步對計算全息的研究。系統的硬件結構如圖4所示。

5.結果分析

6.結論

本文主要針對計算全息圖在FPGA上實現提出了兩種優化方案。其一是速度優化,提出了一種并行處理或流水線處理方案,這是一種基于FPGA的計算全息圖生成方法,通過分析菲涅爾全息圖數學模型,運用迭代的方法簡化計算過程,極大地減少了計算量,并通過FPGA的并行處理特性,提出先計算全息面上每行第一個點的光強值,其余位置的計算通過簡單的乘法、加法運算疊加來得到其光強,進一步加快了計算速度,有效縮短全息圖的計算時間,并由所生成的全息圖再現出原始圖像,驗證了該方法的可行性。由試驗結果可以看出,采用基于FPGA并行處理的方法實現計算全息圖,可以大大提高全息圖的運算速度,而且制作過程相對比較簡單,為計算全息圖的實時顯示進行了有益的探索,該方法具有很好的應用前景,為下一步實現三維立體圖的實時計算全息圖研究奠定了良好的技術基礎。另一種是面積優化,我們利用VHDL編程的一些技巧,在不影響計算全息處理速度的前提下,來減少硬件資源的利用,降低成本。

參考文獻

[1]虞祖良,金國藩.計算機制全息圖 [M].北京:清華大學出版社,1984,12-22.

[2]David Abookasis,Joseph Rosen.Three types of computer-generated hologram synthesized from multiple angular viewpoints of a three-dimensional scene[J].Applied Optics,2006,45(25):6533-6538.

[3]Nobukazu YOSHIKAWA,Toyohiko YATAGAI.Interpolation Method for Computer-G enerated Holograms Using Random Phase Technique[J].Optical Review,1999,6(5):433-438.

[4]T.Ito,N.Masuda,K.Yoshimura,A.Shiraki,T.Shimobaba,T.Sugie.Special-purpose computer HORN-5 for a real-time electroholography[J].Opt.Express,2005,13(6):1923-1932.

[5]Shi Y,Wang H,Li Y,Jin H,Ma L.Practical method for color computer-generated rainbow holograms of real-existing objects[J].Applied Optics,2009,48(21)4219-4226.

[6]潘松,黃繼業.EDA 技術與VHDL(第三版)[M].北京:清華大學出版社,2002,70-72.

[7]狄國偉,王福源.VHDL語言電路優化設計的方法淺析[J].自動化與儀器儀表,2006(1):69-71.

篇6

關鍵詞:計算機網絡;加密接口卡;硬件設計

伴隨著計算機網絡的普及應用,網絡數據安全性問題引起了人們的廣泛關注。而在網絡系統中,接口卡加密技術是關鍵技術,關系到網絡數據傳輸的安全性。加強對基于計算機網絡加密接口卡的硬件設計,能夠提高系統數據傳輸可靠性和安全性,因此可為計算機網絡發展提供技術支撐。

一、計算機網絡加密接口卡加密原理

在計算機網絡加密接口卡中,采用了ECC加密技術,可以在定義群中實現雙線性映射,提供較小密鑰,取得安全系數較好的保密效果[1]。在眾多密碼加密技術中,ECC技術性能穩定,并且安全級別較高。而網絡加密接口卡的原理與加密芯片類似,能夠防止非法服務器接入網絡系統。從結構上來看,接口卡主要包含處理芯片和密碼記憶芯片兩部分,需要將ECC密碼當成是基礎,取得穩定加密效果。按照ECC密碼體制,需要對點算法和模算法進行運用,加密速度取決于算法速度。在密碼體系構建時,需要選擇運算效率較高的方式,以便使硬件加密系統得到性能提升。采用多片數字信號處理器,能夠實現算法并行,使解密速度得到加快。

二、基于計算機網絡加密接口卡的硬件設計

(一)硬件設計思路在網絡加密接口卡硬件設計上,需要采用標準網絡管理協議實現硬件加密。不同于主機,計算機網絡結構復雜,需要利用專用加密芯片或獨立處理芯片才能完成密碼運算。對接口卡硬件進行加密,需要將ECC密碼體系當成是密鑰,得到由加密芯片、硬盤、電子鑰匙等構成的加密卡。利用芯片,可以獲取鑰匙、硬盤等信息,實現ECC密碼加解密運算。缺少電子鑰匙和加密芯片等部分,計算機將無法實現信息識別。因此在嵌入式系統中,采用硬件加密方式較之軟件更加安全。在大型服務器中,采用該種硬件設計方式能夠避免非法接入網絡給系統帶來的破壞。實際在接口選用上,I2C為智能芯片接口,擁有128KB獨立存儲空間,能夠用于存儲ECC密碼。在接口中,包含128位芯片處理器,促使芯片接口具有較強的功能性和安全性。采用芯片嵌入技術,能夠實現程序植入,運用代碼方式將軟件中部分算法或函數下載到芯片中,用于加解密運算。在硬件設計期間,可以采用C語言進行ECC運算程序編寫,將普通I2C芯片轉換為硬件加密接口。在對芯片內代碼程序進行運行時,采用函數形式能夠將結果當成是用戶程序,使芯片獲得較強運算能力和大下載空間,順利實現程序代碼升級,使接口加密效果得到進一步增強。在處理結點選擇時,需要采用數字信號處理器,能夠有針對性的實現密碼運算。

(二)硬件結構設計結合硬件設計思路,計算機網絡加密接口卡采用主從式多處理系統的硬件接口,配備雙端存儲器提高加解密運算速度。針對微型計算機,擁有與網絡不同的硬件環境,還要采用并行處理系統結構滿足硬件加密需求。采用該種結構,能夠使訪問沖突問題得到解決,允許用戶對不同單元進行同時訪問,降低沖突發生的可能性。利用結構實現結點運算,能夠使各結點擁有獨立存儲器,促使運算期間數據存儲需求能夠得到滿足。根據網絡加密特點,需要配備兩個高速數字信號處理器TMS320C50,與Pentium4構成三機并行處理系統。在處理器中,包含獨立內存單元和32位浮點格式,具有較高運算精度。兩個處理器作為獨立子系統,需要利用ISA總線與PC連接,采用共享存儲方式與主控機實現通訊。PC機是主控機,需要對靜態調度算法進行執行,確保加解密任務能夠實現合理調配。在微機網絡中,文件傳輸字符超出500個,需要至少25對明密文組,提出了較高加密要求。而結點運算獨立性較強,需要存儲大量數據,因此應使各結點擁有局部存儲器。但受并行規模和卡槽個數限制,最多允許10個從結點存在,所以需要利用共享式存儲器加載程序滿足加解密運算需求。在系統運行的過程中,需要由PC機向處理器發送復位命令,利用程序實現聯機加載,將數據通過雙端口RAM傳輸到各子系統中。在子系統與PC機實現并行計算的條件下,可以獨立完成計算任務,然后將結果統一返回至PC機,實現結果輸出。考慮到系統采用共享存儲互連方式,還要完成并行EPROM的設置。利用控制端口,主機可以向子系統發出初始控制命令,使從結點得到啟動管理。采用該種結構設計方案,能夠對算法的并行性進行充分利用,促使系統加解密速度得到提高。

(三)硬件技術實現從硬件加解密技術實現過程來看,ECC加密在網絡中運用需要得到適當調整,在系統三線并行結構基礎上完成加密卡測試。作為具有較強運算性能的處理器,TMS處理器需要利用A結點進行加密任務的執行,然后利用B結點完成解密任務,合理實現結點任務的調配[2]。在實際運作中,RAM需要將全部初始數據提供給TMS系統,然后聯合PC機一同執行運算任務。將16位并行EPROM當成是引導,可以順利實現TMS初始化。為保證PC機能夠順利實現端口控制,還應使結點復位引腳稍低。在系統處于靜止狀態的情況下,需要在雙端口存儲器中輸入程序代碼,為主機調用提供便利。在存儲器中,利用引導程序,可以進行引導字或其他引導參數的選擇。針對復位引腳,需要利用控制端口置高。而在結點讀取的過程中,考慮到程序本身超出32位存儲器容量,需要完成128位存儲器增設,確保加解密運算能夠快速執行。考慮到結點程序較大,可以額外進行32位局部程序存儲器的配置。采取該種方式,能夠在訪問系統時無需等待,因此能夠使接口可靠性得到進一步提升。

三、結論

綜上所述,采用ECC加密技術實現網絡接口卡設計,可以將ECC密碼體制當成是基礎實現數字信號處理芯片硬件接口設計,得到的加密卡不僅具有較高安全性,同時具有一定可靠性,能夠使數據運算、存儲需求得到滿足。

參考文獻

篇7

關鍵詞:超算平臺;并行計算;有限元

1 引 言

由于技術的發展和要求,ANSYS等計算密集型軟件的應用越來越多,人們對計算速度和計算規模的要求越來越高。而個人計算機受到硬件架構和系統軟件的限制,已很難滿足這種大規模及高性能計算的需求。而高性能計算集群的出現,可以充分發揮各類軟件的并行計算能力,很大程度上解決了計算速度和計算規模的問題。目前,隨著國家推進智慧城市發展政策的指引,國內多個大城市均開始建設超級計算平臺,部分超級計算平臺已部署了ANSYS等應用軟件,使中小型科研設計院所及工程建造企業通過政府的超算平臺解決企業高性能計算問題成為可能。但由于超算中心日常運維成本很高,為了盡量減少超算資源的占用,我們將有限元前、后處理工作放在本地計算機上完成。

2 應用概述

2.1 超算應用的軟硬件環境及業務流程

2.1.1 遠程超算中心環境

天津超算中心的主業務計算機是當前世界上運算速度最快之一的“天河一號”超級計算機,峰值速度為每秒1206萬億次雙精度浮點運算(TFlops),持續速度為563.1TFlops(LINPACK實測值),是我國首臺千萬億次超級計算機系統。

2.1.3 業務流程

目前超算平臺暫時未提供用戶圖形交互操作界面,用戶只能把預先編制好的命令行作業文件提交到超算平臺上執行批量計算。以下為本應用的業務流程:

(1)在本地建立ANSYS有限元幾何模型,編制ANSYS計算作業文件、超算平臺作業調度文件;

(2)登錄遠程超級計算機,上傳作業文件和作業調度文件,提交計算作業;

(3)觀察計算過程;

(4)讀取計算結果;

(5)在本地完成有限元計算后處理。

2.2 本地準備工作

2.2.1 建立有限元幾何模型

Ansys軟件擁有良好的前處理交互界面,建立幾何模型所需的計算機資源少,在微機上也可方便地建立比較復雜的幾何模型,因此本應用首先在微機上建立整個艏樓的幾何模型,并設置好模型的材料屬性、單元類型、實常數、剖面屬性等參數,如圖1所示。幾何模型建立后將文件保存為cal_1.db。

2.2.2 編制計算作業文件

為對比微機與超算并行處理模塊的處理能力,本模型采用細網格,網格邊長尺寸取25 mm。由于網格數量太多,在微機上不能完成網格劃分,因此網格劃分安排在超算平臺上進行。

在超算平臺上進行前處理APDL在并行處理模塊上使用方法與微機一致,因此本應用采用APDL進行網格劃分[1]。計算求解控制同樣以APDL實現,保存成文件input.txt.。代碼如下:

2.2.3 編制計算作業調度文件

要通過計算作業調度文件才能使用超算中心分配的資源。按照超算中心作業調度文件編制規范要求,編制作業調度文件。意義如下:

第1行指定計算要采用的結點數:如-N 3 表示本應用指定結點數為3;

第2行指定每個結點的CPU核數,本應用指定每個結點上的CPU為4核;

第3行調用Ansys命令行文件,調用編制好的input計算作業文件;

第4行指定工作目錄,用戶可在遠程超級計算機上分配到的文件夾下創建文件。

完整的作業調度文件保存為mechanical130-parallel.sh。

2.3 遠程登錄超算中心

2.3.1 登陸服務器

為了保證用戶數據的安全,超算中心一般采用VPN 軟件對用戶的登錄進行管理[2]。遠程用戶首先需要使用瀏覽器軟件,通過VPN 用戶名和口令驗證訪問超算中心網站,再根據用戶自己的操作系統配置VPN 客戶端即可正常登陸超算中心VPN后。

用戶成功登陸超算中心VPN后,還需要登錄中心具體的資源業務服務器才能進行計算。中心資源一般通過TCP 應用的方式供用戶使用,用戶必須通過ssh 登陸方式,可以通過SSH Secure Shell Client,SecureCRT,Putty等ssh 客戶端軟件來使用中心資源。

本應用通過本地Windows操作系統的微機遠程登錄到天津超算中心的“天河一號”TH-1超級計算機,實現過程如下:

(1)應用IE瀏覽器;

(2)安裝相應控件;

(3)登錄到超算中心VPN;

(4)使用SSH Secure Shell Client客戶端軟件;

(5)登錄到天河一號TH-1 超級計算機。

2.3.2 修改用戶帳號密碼

具體項目數據通常涉及單位的商業秘密,為了保證數據安全,超算中心采用了LDAP 技術來管理用戶,新創建的用戶節點時會創建相應的工作目錄。用戶可以通過passwd 命令修改用戶密碼。

2.4 上傳作業文件

計算需要的作業文件需要先從本地上傳到超級計算機上,從外部機器向天津超算中心的天河一號TH-1 小系統中上傳文件,可以使用sftp 客戶端,例如SSH Secure Shell Client 等本身自帶的文件傳輸功能,或者使用WinScp 的sftp 數據傳輸軟件。

2.5 提交作業,在超算平臺上進行并行計算

用戶將在本地微機上準備的cal_1.db、input.txt及mechanical130-parallel.sh文件上傳到超算平臺的用戶目錄下,用ls命令查看文件是否上傳成功。確認文件上傳成功后,使用yhbatch mechanical130-parallel.sh指令提交作業。作業成功提交后,系統會自動生成作業號,開始進行分布式并行運行。

2.6 觀察計算過程

提交作業腳本文件后,系統將會為本次作業分配一個唯一的作業號(Job ID)。

本次作業提交后,系統返回作業號為91705,并在當前目錄下生成本次作業日志文件slurm-91705.out;

關鍵命令解釋如下:

yhq -u shikl 命令查看用戶shikl所有作業的情況:ST 表示作業狀態;R 表示作業處于運行中(Runing);如果遇到PD 表示作業在等待狀態(Pending,可能由于沒有空閑的結點或用戶達到最大運行作業數或最大運行CPU核數);ls 命令觀察當前目錄所有文件;tail -f slurm-91705.out 命令實時查看本次作業的日志文件末尾信息。

2.7 讀取計算結果

分布式并行計算每個CPU分別生成獨自的Ansys結果文件,如.rst文件,本次應用分別生成file0.rst、file1.rst、file2.rst、file3.rst、file4.rst共4個結果文件,運算完成后Ansys 分布模塊自動將每個CPU單獨產生fileX.rst文件合成為總的file.rst。

讀取計算結果時,不能像單機一樣直接讀取file.db文件,分布式并行計算結果不會保存到數據庫文件中,數據庫文件內的數據只包括主服務器的計算結果,因此計算結果只能讀取結果文件(file.rst)。

由于本應用計算結果文件太大,在本地無法完成計算結果的讀取,計算結果用APDL讀取。

3 結語

通過本次應用,熟悉了超算平臺ANSYS分布式并行處理模塊的使用流程,摸索出了一種微機ANSYS與超算平臺ANSYS并行處理模塊的連接方式,真實體驗了分布式并行計算強大的運算能力。

隨著船舶設計越來越向大型化發展,以及一些新規范的要求,如HCSR在計算結構強度時要求將網格劃分為細網格(網格邊長50 mm),疲勞計算時網格要求劃分為精細網格(網格邊長不超過板厚),結構計算的規模越來越大,普通微機硬件及效率已經滿足不了計算的需求,超算平臺為此提供了一個高效的解決方案。但由于超算平臺應用費用非常昂貴,而船舶結構計算在前處理和后處理需花費非常大量時間,所有計算過程在超算平臺上進行經濟性不佳。因此采用在本地進行結構計算的前后處理,在超算平臺進行求解計算的方式既經濟又高效。本次應用探索的微機ANSYS與超算平臺ANSYS業務連接方式具有較高的實用意義,同時對其它軟件與超算平臺對接也具有一定的借鑒作用。

參考文獻

篇8

關鍵詞:芯片測試;DNA計算;研究

中圖分類號:TP384文獻標識碼:A文章編號:1009-3044(2008)23-1059-02

Chip Testing DNA Computer Algorithm Research

PAN Guo1, LI Ken-li2

(1.Hunan Modern Physical Distribution Professional Technology Institute, Changsha 410131, China; 2.School of Computer and Communication, Hunan University, Changsha 410082, China)

Abstract: Uses the DNA supercomputing, designs the chip wrong test the efficient algorithm, and with the existing test technology union, in the solution existing integrated circuit in the wrong test will exist because of lasts long has been unable to guarantee that the chip electric circuit rate of accuracy will achieve 100% this substantive question. This article elaborated the chip testing DNA computer algorithm research significance, the present situation, the research content, the research technique and so on.

Key words: chip testing; DNA computation; research

1 引言

DNA計算及DNA計算機的研究已成為近年來理論計算機科學的研究熱點,是組合優化領域NP完全問題和其它難解問題的潛在解決方法之一。電路測試在集成電路研究領域中有著重要的地位,是大規模基礎電路VLSI設計中的關鍵問題,但現有測試方法均要求高計算量,即使借助價格昂貴的超級計算機,依然難以滿足實際應用對計算機芯片性能的強大需求。

2 研究意義

隨著社會和科學技術的發展,許多新工程領域中的復雜系統不斷出現,在這些復雜系統的研究過程中,各種棘手的NP-完全問題處處可見。電子計算機因運算速度和存儲容量太小,無法對這些NP完全問題實現有效求解。生物分子計算或DNA計算的出現為這些難解問題的解決帶來了新的希望,1994年Adleman博士首先在基于分子生化反應的基礎上成功求解了7個頂點的Hamilton路徑問題后,DNA計算與DNA計算機的研究形成了理論計算機科學、數學和生物學領域的一個新的研究熱點, 吸引了眾多計算機科學家和生物學家的研究興趣,而可用DNA計算機解決的數學問題的種類也迅速增長。DNA 計算的最大優點是其具有的海量存儲和并行運算能力,因此,它理論上可克服電子計算機存儲量小與運算速度慢的不足。而且,只要未來關于DNA計算機的生物技術走向成熟(無錯碼、鏈長適中、操作自動化等),其超級計算的成本將遠低于現有基于VLSI結構的超級計算機的成本:目前為止,一個測試試管已可產生1018個DNA鏈,它可使1018位數據以數據并行的方式并行運行。因此,DNA計算機可提供相當于1018個處理單元的并行性和O(1018)的存儲空間。目前世界上最快的超級計算機在1000s內大約能并發處理128*1015位的信息,而DNA計算中耗時最長的“抽取”操作在1000s內可在試管中同時處理1018位的數據單元;DNA計算機的存儲密度大約為磁帶的1012倍。因此,利用DNA計算的巨大并行性,采用完全窮舉的方式,仍然能夠快速的找到激活故障所需的測試向量。

3 研究現狀分析

隨著集成電路技術不斷發展,集成電路的規模越來越大,系統越來越復雜,單憑手工測試幾乎是不可能的了,這迫使人們研究新的方法和技術來完成這項工作。隨即計算機的出現,尤其是微型計算機的普及,為測試提供了物質基礎,測試逐步從人工轉向自動化。

隨著各種數字系統尤其是數字計算機的飛速發展,集成電路得到了十分廣泛的應用,其制造水平和工藝也隨之迅速提高。為了保證系統運行的可靠性,集成電路測試技術成為了數字系統設計制造過程中非常關鍵的一環。然而集成電路的集成度,規模和復雜度呈現出幾何級數的增長速度,這給電路測試帶來了很大的難度,同時也出現了很多新的問題,一些傳統的測試技術和方法已不能滿足人們對系統可靠性的要求。要解決這些問題,迫切需要采用一些新的測試理論,測試技術和方法。

生物分子計算或DNA計算的出現為難解問題的解決帶來了新的希望,1994年美國南加州大學的Adleman博士首先在基于分子生化反應的基礎上成功求解了7個頂點的Hamilton路徑問題[9],并開創性地提出了DNA計算模型,之后,DNA計算與DNA計算機的研究形成了理論計算機科學、數學和生物學領域的一個新的研究熱點,吸引了眾多計算機科學家和生物學家的研究興趣,而可用DNA計算機解決的數學問題的種類也迅速增長[10-12]。DNA計算的最大優點是其具有的海量存儲和并行運算能力,因此,它理論上可克服電子計算機存儲量小與運算速度慢的不足。而且,只要未來關于DNA計算機的生物技術走向成熟(無錯碼、鏈長適中、操作自動化等),其超級計算的成本將遠低于現有基于VLSI結構的超級計算機的成本:目前為止,一個測試試管已可產生1018個DNA鏈,它可使1018位數據以數據并行的方式并行運行[13]。因此,DNA計算機可提供相當于1018個處理單元的并行性和O(1018)的存儲空間。目前世界上最快的超級計算機在1000s內大約能并發處理128*1015位的信息,而DNA計算中耗時最長的“抽取”操作在1000s內可在試管中同時處理1018位的數據單元;DNA計算機的存儲密度大約為磁帶的1012倍。

到目前為止,利用DNA計算已經成功設計出許多數論及圖論中NP難問題(如子集和、SAT、團問題等);Chang利用基于粘貼模型首次提出破解 RSA 密鑰的DNA算法;在工程應用方面,諸如電梯調度等NP難問題和數字信號處理也已在DNA計算中得到解決。

但是,利用DNA計算的巨大并行性,采用完全窮舉的方式,對于大規模集成電路測試產生目前尚沒有相應DNA計算機算法。

4 研究內容與研究目標

應用DNA生物超級計算所具備的海量并行運算能力,力圖解決現有測試方法中計算能力不足問題。

1)利用DNA計算存在的巨大并行性,設計基于電壓 測試產生的直接窮舉的DNA計算機算法,結合生物實驗與實際芯片對提出的算法進行測試和評估;

2)為了彌補電壓測試的不足,進一步提高故障覆蓋率,保證集成電路產品的高可靠性,設計基于電流測試產生的基于窮舉的DNA計算機算法,結合生物實驗與實際芯片對提出的算法進行測試和評估,通過與電壓測試DNA計算機算法故障的覆蓋率的比較,對所提出算法做進一步的改進;

3)從現有電子計算機中傳統并行計算和并行處理的模型出發,分析DNA計算的基本生物操作的并行機制及其在并行方式和存儲上所具有的特點,結合遺傳算法、FAN算法等測試中的有效經典算法,考慮將傳統并行處理的策略和DNA計算的特點相結合,提出可擴展新的DNA計算測試產生算法,算法應能顯著降低DNA鏈長和DNA鏈數。

研究目標:利用DNA計算機模型,設計芯片錯誤測試的有效算法,解決現有芯片測試方法因為其要求的海量超級計算而無法保證測試準確率的問題。

5 采取的研究方法

1)DNA計算機模型的選取:針對芯片的功能部件及測試產生的特點,對目前主要的DNA計算模型進行綜合比較與評價,并建立相應的評價體系,該體系能夠充分考慮所要完成的各生物操作的功能、各功能在不同模型下實現的難易程度、生物操作本身的復雜度、DNA分子鏈的長度與問題規模間的關系和DNA計算中避免偽解和錯解能力的高低等問題。 然后,選取一功能上完備的具有執行基本算術和邏輯運算能力即計算上完備的模型,該模型應該具有良好的可擴展性。

2)基本邏輯運算與基本算術運算的DNA計算機算法的設計:大規模的集成電路芯片都是由基本的算術、邏輯部件組成,因此首先設計基本邏輯運算和算術運算是最終測試算法設計的關鍵。 在正確選取了DNA計算模型之后,設計其相應的DNA計算機算法并運用實驗手段進行分析改進。

3)集成電路中測試向量產生的DNA計算機算法設計:根據所選取的DNA計算模型及設計的基本算術及邏輯運算的DNA計算機算法,設計相應的基于DNA計算的集成電路測試向量產生的算法。同時,通過合作與交流,了解、借鑒和利用國內外最新DNA計算技術,用以指導求解上述問題的DNA計算機算法研究。

6 實驗方案

實驗上,采用生物分子計算研究所的普通PCR儀、DNA分子合成儀、雜交箱、測序儀、轉移電泳槽、DN段分析系統、圖像分析系統和電泳產品及各種生物酶等分子生物學的研究設備和研究藥品,將設計的求解上述測試向量產生的DNA超級計算算法進行實驗,將多次計算的結果在購置的以注入故障的芯片上進行測試,評估與分析,根據結果確認并完善理論成果,以達到預期研究目標。

1)針對芯片的功能部件及測試產生的特點,對目前主要的 DNA 計算模型進行綜合比較與評價,并建立相應的評價體系并然后,選取一功能上完備的具有執行基本算術和邏輯運算能力即計算上完備的模型。

2)基本邏輯運算與基本算術運算的DNA計算機算法的設計并運用實驗手段進行分析改進。

3)集成電路中測試向量產生的DNA計算機算法設計并通過在購置的已注入故障的芯片上進行測試評估。

7 結束語

本項研究首次將兩者結合,試圖利用DNA超級計算機的超級計算能力,解決電路測試呈指數增長的計算要求,具有明顯的學科交叉性,將不僅為DNA超級計算開拓新的應用,還可探索為傳統集成電路設計提供新的方法,具有相當的科學意義和應用價值。

參考文獻:

[1] Keshavarzi A,Tschanz J,Narendra S. Leakage and Process Variation Effects in Current Testing on Future CMOS Circuits[J]. IEEE Design and Test of Computers, 2002,19(5):36-43.

[2] Braich R, S,Chelyapov N,Johnson C. Solution of a 20-variable 3-SATproblem on a DNA computer[J].Science, 2002,296(19):499-502.

篇9

關鍵詞:銀行業務 ;批處理流程;Hadoop MapReduce ;云計算

中圖分類號:TP302文獻標識碼:A文章編號文章編號:16727800(2013)0010000104

作者簡介:趙曦(1971-),男,博士,上海金融學院信息管理學院副教授,研究方向為互聯網金融應用。

0引言

隨著大型商業銀行業務規模的擴大和信息技術的發展, 數據中心已經成為大型商業銀行業務系統與數據資源進行集中業務處理的樞紐,匯集了規模化的IT計算、存儲和網絡資源。

銀行主要承擔本外幣儲蓄、信用卡、對公存貸款業務,銀行匯票及聯行業務,國際結算和外匯買賣,代收代付等業務 [1]。銀行業以網絡和信息技術作為其業務處理的核心支撐,形成了前端業務信息采集、中端數據交換和數據中心處理“分布采集、集中處理”模式。隨著業務量的增加和金融新產品的涌現,業務管理和信息處理“大集中”后對流程處理效率、系統擴展性和數據存儲可靠性提出了更高的要求。金融行業特別是銀行業在處理在線聯機業務(online transaction)的同時,還需要處理大量的離線批處理業務(batch processing),如影像文件處理、票據結算、外匯清算、薪資、各類報表,批處理業務具有數據量大、占用計算資源多、限時處理完成的特點,銀行信息中心通常要配備足夠的資源在特定時間段(夜間、周末、月末)進行批量業務數據處理。如何提高批處理業務能力、合理配置計算資源是銀行信息中心不斷要面對的挑戰。

以計算資源和服務虛擬化為核心的云計算架構和技術得到了廣泛的認同,正在成為IT產業和信息化應用系統架構的發展趨勢,實踐表明,基于云計算架構的系統在資源利用、服務效率、運行成本及能源消耗方面具有明顯的優勢。

本文提出了一種應對批量業務流程處理的優化方法,基本原理是將業務流程的任務節點進行分解和分類,形成流程隊列和若干可以進行并行處理分類任務隊列,使用Hadoop MapReduce并行計算框架進行并行處理,MapReduce提供的資源調度和容錯機制能夠有效提高業務處理系統的可擴展性和穩定性。模擬實驗表明,流程任務分解優化方法比通常的以流程為處理單元的方式具有一定的優勢,可以在云計算環境下分組處理具有共同特征的計算和操作任務,實現優化資源調配,提高批量業務處理的效率。

1批處理業務流程優化

批量業務處理是指一組遵循同一處理流程的重復操作,而涉及的業務流程是一組將輸入轉化為輸出的相互關聯或相互作用的活動,活動之間不僅有嚴格的先后順序限定,而且活動的內容、方式、責任等也都必須有明確的安排和界定,以使不同活動在不同角色之間進行交接成為可能,批量處理業務流程活動之間的轉移不需要人工干預。處理流程中的活動根據數據處理的要求和特點進行設計,如先進行數據核對,然后進行計算,最后進行賬戶操作,每個活動會產生臨時數據。為了提高處理能力和資源使用效率,流程活動設計盡可能遵循以下幾個原則:

①獨立于其它流程和活動,可進行重復操作;②使用較少類別的計算資源,CPU、網絡、存儲;③能夠進行并行處理。

圖1示意了批量流程處理的原理,銀行信息中心在每個批處理周期安排若干批處理的規劃,配置計算資源,啟動和監控批處理過程。每個批處理中包括對應同一處理流程的批量處理任務。

銀行信息中心根據資源配置情況,安排批處理規劃中的批處理執行,可以做到并行處理,以滿足處理時限的要求,每個批處理分配固定的或虛擬化的資源(服務器、CPU、存儲、外設),當現有資源不能滿足批處理要求時,則需要不斷增加資源。這種以批處理流程為單位來決定資源配置的模式(圖2)不一定能夠確保資源的高效使用,如:需要大量CPU計算的流程同時配置I/O性能較高的資源,造成I/O資源的浪費。經過分析,可以通過優化批處理業務流程和操作來進行改進(圖3),以進一步提高資源的使用效率。

以優化流程任務作為并行計算單元,形成批量處理任務隊列,根據任務操作的類型來分配最適合的資源,理論上提高了資源配置的精細程度,有助于提高資源使用效率。

2基于MapReduce的批處理優化計算

為了驗證提出的以流程任務為基礎配置資源的批處理運算架構(圖3),我們搭建了Hadoop/MapReduce并行計算實驗環境,通過模擬批處理業務,對兩種資源配置模式進行比較。

Hadoop[6]云計算平臺的核心由HDFS分布存儲和映射機制及MapReduce并行計算架構組成,具有開放性、穩定性和擴展性方面的優勢,成為了云計算研究和應用的重要平臺之一,其架構與提出的批處理流程優化模型吻合程度高。

MapReduce[8]通過兩個函數Map和Reduce提供并行計算框架, 將計算任務(Job)分解為可以進行獨立和并行計算操作集合(Tasks),提交給Map函數處理,而Reduce函數收集、整理、排序Map函數的計算結果。其基本功能是按一定的映射規則將輸入的 (k1,v1)鍵值對轉換成另一個或一批list(k2,v2)對輸出,而Reduce將一個或多個Map輸出的list(k2,v2)轉換為新的鍵值對list(k3,v3),作為任務計算的輸出[2]。

一種基于C++的腳本語言和解釋器封裝了實現上述功能的基本功能函數,用來描述任務的執行操作。根據上述模擬批次規劃和流程節點類型,得出計算隊列表。

硬件計算架構使用5臺Ubantu Linux服務器提供Hadoop MapReduce并行計算平臺,1個NameNode和4個DataNode,網絡環境為100M局域網,通過SSH實現服務器之間的連接、控制和HDFS數據復制,流程和任務隊列管理程序運行在NameNode上,Map和Reduce實現分布在DateNode上。圖7所示為流程優化模擬架構。

平臺模擬了以業務流程為處理單元和任務分解優化兩種計算架構,使用同樣的模擬流程和數據,同時檢測了當一個DateNote服務器宕機時的任務容錯機制和性能,表4匯總模擬運行的比較數據。

圖7Haddop MapReduce流程優化模擬系統架構

流程最短處理時間指流程任務按照關鍵邏輯路徑執行需要的累計時間,當一個任務處理完成后才能激活后續節點任務。以流程為單位的隊列處理模式在4個DataNode平均分配流程,每個DataNode處理的流程數量幾乎均等,資源的使用率也相同。任務優化分解方法形成了7個任務隊列,DateNode資源分配按照優先資源對照表3進行。

流程平均處理時間指進入流程隊列到所有任務處理完畢的時間,包括等待和任務處理時間,資源使用差異指CPU和I/O在高度使用和過度空閑的比例關系。

根據實驗平臺記錄的運行數據,在同樣的批處理流程和硬件架構條件下,使用業務流程分解優化的并行計算能夠處理更多的事務(320min對比430min),資源的使用效率得到提高(54%對比31%),即使考慮到流程分解和多個任務隊列管理的額外開銷,運行結果還是表明了所提出方法的優勢,為進一步深入研究和完善提供了基礎。

3結語

銀行批處理“大集中”后,其數量和規模不斷擴大,銀行信息中心不斷面臨IT資源優化和靈活配置的挑戰,一方面要提升IT架構的資源數量和技術水平,另一方面要優化批處理的模式來更有效地利用IT資源(計算、存儲、網絡、I/O)。

云計算技術的研究和應用成為了IT產業發展的一個重要方向,基于云計算架構的系統在資源利用、服務效率、運行成本及能源消耗方面具有明顯的優勢。云計算架構的出現也引發了在信息系統設計、功能開發和維護服務的巨大變化。作為以信息化技術作為重要支撐的銀行業,正在逐步嘗試和分享云計算帶來的各種優勢。本文在此背景下,提出了一種針對銀行批處理業務的優化流程分解方法。

業務流程分解優化方法通過對流程任務分組,可以為實時處理大批量流程的應用領域(銀行、證券、保險、電子商務)提高處理效率,MapReduce原理為流程節點處理提供了并行計算框架,其調度和容錯機制可以實現系統計算資源的高擴展性和穩定性。模擬實驗表明,本文介紹的基于并行計算的優化流程分解方法比以整個批量處理流程為處理單元的方法在效率、架構和靈活性方面具有一定的優勢。下一個階段,擬將該方法進一步完善,在銀行等典型批處理業務應用領域進行深化和拓展。

參考文獻:

[1]李得仁.銀行批量業務后臺集中處理模式的實現[J].中國金融電腦 ,2012(11).

[2]李成華.MapReduce:新型的分布式并行計算編程模型[J].計算機工程與科學, 2011(3).

[3]楊志豪.一種適應數據與計算密集型任務的私有云系統實現研究[J].計算機應用研究 , 2011(2).

[4]易小華.面向MapReduce的數據處理流程開發方法[J].計算機科學與探索,2011(2).

[5]DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters[J].Communications of the ACM,2008, 51(1): 107113.

[6]Welcome to Hadoop MapReduce[EB/OL].http:///mapreduce/.

篇10

【關鍵詞】自適應數字波束并行信號

并行信號及陣列信號的分析處理技術是信號處理技術的兩大主要內容。并行信號與陣列信號不僅能夠對噪聲進行抑制、對干擾進行降低,而且能夠對有用的目的信號進行增強。相關研究工作者在歷經幾十年的不斷的建立和改善后,終于使并行信號的處理技術被成功應用到每一個需要它的地方,并且產生了許多不同的并行處理系統,每一個系統均在運行方式、結構、應用、算法等方面具有獨特之處。

利用自適應數字波束技術對并行信號進行處理,能夠有效減小干擾,進而更加精確的得到目標信號。

1自適應數字波束形成技術的發展與研究現狀

雖然在現實中利用陣列信號可以減少信號干擾及噪音,可是也不可忽視它的導航和通信兩系統中含有的缺陷。舉例:傳送陣列及并行信號過程中,信號的相位及通道幅值也會出現誤差;為陣列信號在盡力降低噪音時會發生排布方式出現誤差等的情況。自適應數字波束并行信號技術的出現和發展可以有效避免誤差出現,充分彰顯陣列和并行信號的長處。自適應數學算法是它建立的基礎。數據量及計算量會由于增加的陣列信號量在空間范圍內造成信號天線的排布序列的增多而增多,這是計算性能在并行信號處理系統中面臨的巨大難題。自適應數字波束通過編成算法的方式加權計算大量并行信號,給信號挑選了最好的權值。設定最好的權值可以實現陣列和并行信號形成波束。需要注意的是,在采用此方法時,龐大的信號數據量及陣列數在信號處理方面形成了難題。

2并行信號的自適應數字波束形成算法研究

2.1并行信號的基本模型

并行機的高性能是處理并行信號的關鍵,如今被應用的最為普遍的是PC集群系統,它是由數臺PC計算機利用網絡進行連接,每個節點或工作站協同合作,以此使任務更準確和高效的完成。在信號處理過程中擴展性強、結構簡單且成本比較小時PC集群系統的優勢,在實際應用它時,為了實現既科學又效率高的目標,可以根據工程情況對其組成和建立進行適當調整。

對于自適應數字波束,我們可以通過信號類型及參考量的不同把它的形成分為下列幾類:第一種,空間域數字波束形成方式。此種方式是以空間域參考信息作為基礎的,它包含很多信息。此種自適應算法主要有MOVD擴展算法及MOVD算法等。MOVD算法是根據信號空間的來源及線約束方向的自適應算法,它的另一叫法為最小方差算法。一旦并行信號出現空間陣列及位置不確定的情況,它的效率就會大幅降低。第二種,時域數字波束形成方式。此法是在時域中以時間參考信息作為基礎的。它的穩定性比較強,主要有LMR算法等。它一般需在時域范圍中對信號的序列進行輸出,且對空間中信號的陣列排布及來源方向無要求。第三種,盲波束形成方式。此法無需基于以上幾種參考信息,僅需部分信號的先驗信息。

2.2并行信號的數字模型

并行信號具有較廣的應用,自適應數字波束形成算法是在對并行信號進行處理時的前提,它的本質即為依據并行信號的方向對某種信號進行增強或抑制。若想對目標信號進行精準、準確的提取,傳統濾波器并做不到,而應用自適應數字波束形成算法就可以提取到想要的信號。它主要包括下面兩項:

2.2.1MVDR算法

信號輸出功率為此算法的參考依據,它的目的是盡可能減小目標信號的輸出功率。利用此種算法時,信號的輸出端僅容許目標信號輸出,以此來保證輸出功率的最小化,做到無失真輸出,同時,利用此算法也可以避免噪音對信號的干擾,使得使用系統的信噪比得到提升。

2.2.2約束算法

此算法以權值矢量作為基礎,對并行信號權值使用迭代算法,限制每次迭代的矢量。此法能對并行信號中的雷達接收及發射信號進行有效處理,且同時處理二者能夠提高雷達信號的處理技術及傳輸質量。

2.3自適應數字波束并行信號處理的遞歸法

此法屬于自適應陣列的處理算法,遞歸計算直接算法需要的矩陣求逆是它的基本原理,所以運用此法時不需要直接矩陣求逆。利用矩陣求逆來進行引理,能夠使相同的基本的更新權過程演繹出不一樣的遞歸算法。自適應陣列出的遞歸處理算法本質上依據的還是最小二乘方法,它和卡爾曼濾波方法的關系十分緊密。遞歸處理算法在處于較穩定的環境下時,在每個采樣的瞬間所計算出的權值均是最佳的選擇以對接數據為基礎的最小二乘方法。

3并行信號的數字波束形成算法的實現

對雷達傳送的信號進行實時處理,并輸出波束置零的權值是自適應抗干擾算法的作用。若要提升它的信號處理速度,不僅要選擇快速收斂算法,還應選用高速結構用于硬件系統。所以,在設計它的硬件系統過程中為了提升運算速度,既要基于算法本身的并行性,應用Systolic并行處理結構,又要輔以高速數字信號儲存器和處理芯片等部件的應用。此外,通過進一步嚴謹的研究分析,還要選對陣列映射方式對算法進行完善,使節點數量變少。通常陣列映射方式分為三種:超平面映射、按Y方向映射和按X方向映射。

4結束語

現如今,無論在工業方面,還是在軍事領域,并行信號和陣列信號的發展與應用都是十分重要且值得我們關注的。本文分析了自適應數字波束的發展與研究現狀,闡述了并行信號的自適應數字波束形成算法的研究,對自適應數字波束并行信號處理的實現提出了建議,希望可以使并行信號得到穩定、準確和高效率的處理。

參考文獻 

[1]廖桂生,保錚,張林讓.基于特征結構的自適應波束形成新算法[J].電子學報,1998(26):23-26. 

[2]金啟華.高速并行自適應干擾抑制技術[C].研究生畢業淪文,1999. 

[3]胡善清,劉峰,龍騰.高性能通用并行信號處理模塊的設計與實現[J].計算機工程,2007,33(05):252-254. 

[4]呂遵明,王彥剛.基于串行RapidIO的通用數字信號處理模塊設計[J].信息化研究,2009,35(09):39-41.