神經網絡過擬合的表現范文
時間：2024-04-16 17:23:48
導語：如何才能寫好一篇神經網絡過擬合的表現，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公文云整理的十篇范文，供你借鑒。
篇1
Research on the Models of GPS Height Fitting Based on BP Neural Network
Li Yongquan
【Abstract】International and domestic multifarious control nets in use of GPS’s positioning techniques are only to solve the horizontal coordinates, but the height still follow to use the geometric leveling.Therefore, The basic theory of neural network and algorithm of BP are described, Discuss the problem of GPS height fitting based on BP neural network by trials. BP neural network is a kind of nonlinear mapping for its inputs and outputs，BP neural network is a high precise method for translating height.
【Key words】GPS；height anomaly；back propagation neural networks； fitting models
1. 引言
GPS平面定位的精度目前已經可以達到毫米級，但相對于平面定位精度，GPS在高程方面的定位精度較低。 神經網絡是一種高度自適應的非線性動力系統，神經網絡的數學理論本質上是非線性數學理論，通過BP神經網絡學習可以得到輸入和輸出之間的高度非線性映射，因此，使用神經網絡可以建立起輸入和輸出之間的非線性關系。BP神經網絡本身也是一種高精度的高程轉換方法。
2. 神經網絡的模型及BP算法
2.1 神經網絡的模型
（1）生物神經元模型。神經元模型是基于生物神經元的特點提出的，人腦由大量的生物神經元組成，神經元之間互相有連接，從而構成一個龐大而復雜的神經元網絡。神經元是大腦處理信息的基本單元，結構如圖1。神經元由細胞體、樹突和軸突三部分組成，其中突觸是神經元之間的連接。細胞體是由很多分子形成的綜合體，內部含有細胞核、細胞質和細胞膜。細胞體的作用是接受和處理信息。樹突是細胞體向外延伸的纖維體，是接受從其他神經元傳入信息的入口。軸突是神經元的信息通道，是細胞體向外延伸最長、最粗的樹枝纖維體，也叫神經纖維。（2）神經元模型。神經元一般表現為一個多輸入（多個樹突和細胞體與其他多個神經元軸突末梢突觸連接）、單輸出（每個神經元只有一個軸突作為輸出通道）的非線性器件，通用的結構模型如圖2所示。
(3）神經網絡模型。神經網絡的神經元之間的互連模式有前向網絡、有反饋的前向網絡、層內有相互結合的前向網絡和相互結合型網絡四種。
前向網絡神經元分層排列，組成輸入層、中間層（隱含層）和輸出層。每一層的神經元只接受來自前一層神經元的輸入，后面的層對前面的層沒有信號反饋。輸入模式經過各層次的順序傳播，最后在輸出層上得到輸出。目前對前向網絡得出的一致的結論是：甚至是單中間層網絡，只要隱節點數目足夠多，前向網絡就可以通過訓練學習樣本，以任意精度逼近(或表達)期望目標。
2.2 神經網絡BP算法
(1）BP（Back Propagation）網絡模型結構。BP網絡的結構如圖4所示，BP網絡具有三層或三層以上神經元的神經網絡，包括輸入層、中間層（隱層）和輸出層。上下層之間實現全連接，而每層神經元之間沒有連接。當一對學習樣本提供給網絡后，神經元的激活值從輸入層經各中間層向輸出層傳播，在輸出層的各神經元獲得網絡的輸入響應。接下來，按照減少目標輸出和實際輸出之間的方向，從輸出層反向經過各中間層回到輸入層，從而逐層修正各連接權值，這種算法稱為“誤差反向傳播算法”，即BP算法。
（2）BP算法的數學描述。BP算法基本原理是利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。
BP網絡學習規則的指導思想是：對網絡權值和閾值的修正要沿著表現函數下降最快的方向――負梯度方向。
xk+1=xk-akgk(1)
其中xk是當前的權值和閾值矩陣，gk是當前表現函數的梯度，ak是學習速率。
三層BP網絡，輸入節點xi，中間層節點yi，輸出節點zl。輸入節點與中間層節點間的網絡權值為wji，中間層節點與輸出節點間的網絡權值為vlj。當輸出節點的期望值為tl時，模型計算公式如下。
中間層節點的輸出：
yi=f(∑iwjixi-θj)=f(netj)(2)
輸出節點的計算輸出：
zl=f(∑jvljyj-θl)=f(netl)(3)
3. BP神經網絡用于GPS高程擬合
3.1 山區高程異常擬合實例:以本溪GPS和水準資料作為樣本來源，進行BP高程異常擬合。
通過山區高程異常擬合實例，對數據分析可以得到如下結論，學習樣本數與測試樣本數之比在1/4之間時網絡穩定性較好。高程擬合的精度與學習樣本數量有關，學習樣本數越多，擬合精度就越高。
3.2 平原地區高程異常擬合實例:以某市D級GPS部分數據進行實驗研究
通過平原地區高程異常擬合實例，對數據分析可以得到如下結論，學習樣本數與測試樣本數之比在 1/3 之間時網絡穩定性較好。學習樣本數對測試對象的精度也有著重要的影響，一般隨著學習樣本數的增多，中誤差會有所改善。這主要是更多的學習樣本就更能表述出所研究問題的一些基本特征，進而仿真的效果就能更好。
4. 結束語
重點研究基于BP神經網絡的GPS高程異常擬合算法，詳細介紹了人工神經網絡基本理論，重點討論了基于BP神經網絡的GPS高程擬合，包括BP神經網絡的基本原理、主要特點。分析了神經網絡的BP算法，包括其數學模型、網絡結構。構造了基于BP神經網絡的GPS高程擬合模型，結合具體工程數據進行了神經網絡性能分析。
參考文獻
[1] 國家測繪局測繪發展研究中心.測繪發展研究動態[R].北京：國家測繪局，2008，8：1-7
[2] 李征航、黃勁松.GPS測量與數據處理[M].武漢：武漢大學出版社，2005，277-278
[3] 曹先革.基于人工神經網絡的GPS高程異常擬合方法研究[D]，北京：中國地質大學，2008
[4] 徐紹銓．GPS高程擬合系統的研究[J]，武漢：武漢測繪科技大學學報，1999，24(4),11-15
[5] 閻平凡.人工神經網絡與模擬進化計算[M]，北京:清華大學出版社，2000，5-6
[6] 徐麗娜.神經網絡控制[M].哈爾濱：哈爾濱工業大學出版社，1999，1-40
篇2
【關鍵詞】神經網絡技術 應用分析 智能系統
一、引言
神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。當常規方法解決不了或效果不佳時神經網絡方法往往顯示出其優越性。尤其對問題的機理不甚了解或不能用數學模型表示的系統，如故障診斷、特征提取和預測控制管理等問題，神經網絡往往是很好的工具。另一方面， 神經網絡對處理大量原始數據而不能用規則或公式描述的問題， 表現出極大的靈活性和自適應性。
二、神經網絡應用分析
（一）樣本數據
1.數據采集和分組
采用神經網絡技術建模的首要和前提條件是有足夠多典型和高精度的樣本。為監控學習過程使之不發生“過擬合”和評價建立的網絡模型的性能和泛化能力，必須將收集到的樣本數據隨機分成訓練樣本、檢驗樣本（10%以上）和測試樣本（10%以上）三部分。同時數據分組時還應盡可能考慮樣本模式間的平衡。
2. 數據預處理
神經網絡的輸入變量一般根據專業知識確定。若輸入變量較多，可通過主成份分析方法減少輸入變量，也可根據剔除某一變量引起的系統誤差與原系統誤差的比值的大小來減少輸入變量。輸出變量即為系統待分析的外生變量，可以是一個，也可以是多個。一般將一個具有多個輸出的網絡模型轉化為多個具有一個輸出的網絡模型效果會更好，訓練也更方便。
預處理的方法有多種多樣，各文獻采用的公式也不盡相同。但必須注意的是，預處理的數據訓練完成后，網絡輸出的結果要進行反變換才能得到實際值。為保證建立的模型具有一定的外推能力，數據預處理后的值在0.2～0.8之間比較合適。
（二）拓撲結構確定
1. 隱層數
增加隱層數可以降低網絡誤差，提高精度，但也使網絡復雜化，從而增加了網絡的訓練時間。在設計神經網絡時，應優先考慮3層BP網絡。一般地，靠增加隱層節點數來獲得較低的誤差，其訓練效果要比增加隱層數更容易實現。
2. 隱層節點數
在神經網絡中，隱層節點數的選擇非常重要，它不僅對建立的神經網絡模型的性能影響很大，而且是訓練時出現“過擬合”的直接原因，但是目前還沒有一種科學的和普遍的確定方法。為盡可能避免訓練時出現“過擬合”現象，保證足夠高的網絡性能和泛化能力，確定隱層節點數的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱層節點數。研究表明，隱層節點數不僅與輸入和輸出層的節點數有關，也與需解決的問題的復雜程度和轉換函數的形式以及樣本數據的特性等因素有關。
3.神經網絡訓練
神經網絡的訓練是通過應用誤差反傳原理不斷調整網絡權值使網絡模型輸出值與已知的訓練樣本輸出值之間的誤差平方和達到最小或小于某一期望值。如何設計一個合理的網絡模型并通過向所給的有限個樣本的學習來地逼近樣本所蘊含的規律的問題，目前在很大程度上還需要依靠經驗知識和設計者的經驗。因此，通過訓練樣本的學習建立合理的神經網絡模型的過程，是一個復雜和困難的過程。例如BP網絡采用誤差反傳算法，其實質是一個無約束的非線性最優化計算過程，在網絡結構較大時不僅計算時間長，而且很容易限入局部極小點以致得不到最優結果。
4. 初始連接權值確定
BP算法決定了誤差函數一般存在多個局部極小點，不同的網絡初始權值直接決定了BP算法收斂于哪個局部極小點或是全局極小點。因此，要求計算程序必須能夠自由改變網絡初始連接權值。根據Sigmoid轉換函數的特性，一般要求初始權值分布在-0.5～0.5之間是合適的。
5.模型參數確定
傳統的誤差反向傳遞BP算法較為成熟，并且應用廣泛，因此提高該方法的學習速度具有很高的實用價值。BP算法中有幾個常用的參數，包括學習率η，動量因子α，形狀因子λ及收斂誤差界值E等，這些參數對訓練速度的影響最為關鍵。在實際應用中，需根據實際問題確定這些參數。
三、小結
神經網絡具有自學習、自適應能力及非線性問題處理能力，在智能控制管理領域得到廣泛應用。基于神經網絡的智能系統設計是軟件和硬件相結合的復雜過程。本文詳細的闡述了神經網絡方法的應用過程，對實際問題中應用神經方法解決問題具有一定指導作用。
基金項目：2014年廣東科技學院院級項目
參考文獻：
[1]王建軍，馬樹才，張春梅.基于憶阻神經網絡的鋰電池檢測技術研究[J]，電源技術，2014年11期.
篇3
關鍵詞：RBF神經網絡；數據挖掘；遺傳算法
中圖分類號：TP18 文獻標識碼：A 文章編號：1009-3044（2016）07-0151-03
Research on Data Mining Method Based on RBF Neural Network
CAO Jia-jie， YANG Meng， XU Xin-yu
（Beijing Satellite Manufacturing Plant， Beijing 100000， China）
Abstract： The rapid development of Internet technology and database technology is widely used at the same time， human through information technology to collect data is more and more strong， and how to from a lot of data mining valuable information and knowledge has become particularly urgent. In order to solve the above problems， data mining technology arises at the historic moment. It is found that the data mining the data for the nonlinear， messy and the presence of noise data， neural network is by virtue of the degree of fault tolerance， distributed storage， parallel processing， adaptive and robust feature is widely used to deal with some of the data mining problems. Accordingly， in this case， the author first introduces the data mining and RBF neural network of the relevant theoretical knowledge， and then focus on the RBF neural network based on the data mining method for peer reference.
Key words： RBF neural network； data mining； genetic algorithm
數據挖掘是從大量數據中挖掘有價值的信息和知識，以便為管理決策和戰略部署提供數據支撐。數據挖掘作為信息技術發展的結果，其應用前景相當廣泛。數據庫技術主要研究數據的組織、存儲、獲取和處理，而信息技術主要經歷以下發展歷程：數據的簡單收集和數據庫的初期建設數據的存儲與檢索、數據庫的事務處理數據的分析與理解，此時便出現數據挖掘技術。基于上述研究背景，下文首先分別介紹數據挖掘與RBF神經網絡的相關理論知識，并在此基礎上，討論基于RBF神經網絡的數據挖掘方法，目的是為了研究數據挖掘所用到的分類算法。關于神經網絡，作為一種人工智能技術，其一方面可以省去繁瑣的數學建模和數學推理，另一方面在處理含噪聲的非線性數據時表現出無與倫比的優越性。
1 數據挖掘
數據挖掘是非平凡的數據處理過程，即識別數據集中具有潛在價值、新穎有效且最終可被理解的模式，其中潛在價值指的是挖掘出的知識具有實際效用；新穎是指識別出的模式新穎；有效是指識別出的模式在一定程度上是正確的；最終可被理解是指識別出的數據可被用戶理解。圖1所示為數據挖掘的工作流程。
如圖1所示，數據挖掘主要經歷數據準備、模式提取、結果解釋與評估等階段，其中數據準備的步驟為：數據清洗數據選取數據預處理數據表示；數據提取階段又稱數據挖掘階段，其實現步驟為：確定數據挖掘的目標或任務選取適宜的數據挖掘工具或算法進行數據挖掘操作；結果解釋與評估階段主要對所識別的數據進行評估、篩除。一般來講，數據挖掘質量主要與以下影響因素有關：數據挖掘技術的可靠性與有效性；目標數據的數量與質量。總之，數據挖掘是一個反復反饋的過程，而可視化貫穿在數據挖掘的全過程。
數據挖掘的方法一般分為統計型、機械學習型兩大類，而較為常用的算法包括遺傳算法、神經網絡等。遺傳算法是一種以生物進化理論為基礎的優化空間搜尋法，其在數據挖掘中，通常以搜索問題的形式來表述具體的任務，并通過選擇、交叉、變異遺傳等操作尋得最優解。神經網絡是一種與人類大腦重復學習類似的方法，即通過學習和訓練一些事先給出的樣本，產生與樣品有所區別的特征和模式，其中樣本集應具有代表性。研究表明，神經網絡具有準確預測復雜的問題、有效處理存在噪聲的數據等優點。神經網絡一般分為自組織、反饋式和前饋式神經網絡，目前正被廣泛應用于商業領域。
2 RBF神經網絡
RBF網絡結構是一種由輸入層、隱含層和輸出層組成的三層前向網絡，其中輸入層包含信號源結點；隱含層主要由節點數目描述的具體問題而定；輸出層主要響應輸入模式的具體作用。圖2所示為RBF神經網絡的拓撲結構模型。
如圖2所示，RBF網絡由輸入層向隱含層變換的過程具有非線性的特征，而由隱含層向輸入層變化的過程具有線性的特征。據此可知，RBF神經網絡是一種基于前饋網絡的拓撲結構。研究發現，RBF神經網絡拓撲結構會對自身的性能產生影響，而以下因素又會對RBF網絡拓撲結構產生影響：RBF的隱節點數目、中心矢量、徑向基函數寬度和隱含層與輸出層的權值矩陣。
RBF網絡具有較強的非線性逼近性能。得益于此，其目前主要用來實現非線性系統的建模與數據挖掘、貝葉斯規則和連續輸入/出數據對的映射建模。與其他前向神經網絡相比，RBF神經網絡具有以下優點：
1）RBF神經網絡能逼近任意非線性映射，也能處理系統內部的規律性問題。就無噪聲數據而言，RBF神經網絡模型的預測精度高且擬合能力強；而就存在噪聲的數據來講，RBF神經網絡模型的預測誤差和擬合誤差均偏低，且收斂速度相當快。得益于此，RBF神經網絡在時序建模和分析中的應用十分廣泛。
2）RBF神經網絡的拓撲結構加快了學習速度和規避了局部極小的問題。RBF神經網絡采用核函數，特別是高斯函數的使用使得核函數的優點更為突出：表示簡單、光滑性好和解釋性好等。
3）RBF神經網絡的可解釋性好。目前，以下理論均可用于RBF網絡參數和拓撲結構的解釋中：RBF網絡能夠對輸入層轉向輸出層進行映射；核回歸能夠逼近存在噪聲的函數噪聲數據插值能夠逼近輸入缺少函數；規則化可以通過在一般化與精確匹配中尋求平衡；貝葉斯規則可以根據前概率計算出后概率。
3 基于RBF神經網絡的分類數據挖掘
關于RBF神經網絡的研究，其主要表現在以下兩個方面： RBF網絡結構模型； RBF神經網絡學習算法。
3.1 RBF網絡結構模型
在實際應用中，RBF模型的應用范圍更廣，其核函數使用的是高斯函數。但研究發現，在上述結構模型中，訓練算法的優劣會對模型的應用效果和RBF網絡性能的高低產生決定作用。鑒于此，研究人員提出一些具有新特點和新性能的網絡模型，具體包括：
1）高斯型核函數一般化。當隱含層RBF采用以下高斯條函數時，將大大改善RBFN的綜合性能：[Φ?x）=exp-（x-cj?T（x-cj）]/2σ2j]。對于普通高斯函數，其擁有半徑相同的變量軸和超球面狀的函數曲面。但與此相比，高斯條核函數擁有超橢球面狀的函數曲面和半徑不同的變量軸，因此它具有更強的樣本點逼近能力和更大的網絡訓練工作量。
2）WNN（小波神經網絡）。WNN是一種基于小波函數的函數連接型網絡，因此在一定程度上應被看作RBFN的推廣形式。WNN的激活函數為小波函數，具體以仿射變換的方式創建網絡參數與小波變換之間的聯系，因此所表現出的特點與RBFN有所差異。此外，WNN具有極佳的時頻特征，因此被廣泛應用于圖像處理和模式識別等領域。
3）RBPNN（徑向基概率神經網絡）。RBPNN作為RBFNN與PNN綜合發展的結果，其學習收斂速度比RBFN更快，同時也將模式之間的交錯影響考慮其中。關于RBPNN，其結構主要由2個隱含層、1個輸入層、2個輸出層組成，其中第一個隱含層為非線處理層，具體包括隱中心矢量，此乃網絡結構優化的核心對象；在輸出層得出輸入樣本概率密度的估算值，可降低計算的復雜度。
4）GRNN（廣義回歸網絡）。GRNN使用的也是高斯型徑向基函數，一般被看作RBFN的變換形式。GRNN的結構主要由模式層、輸入層、加和層、輸出層組成，其中核函數所包含的平滑因子需采用優化或經驗方法來選定。
3.2 RBF神經網絡學習算法
在RBF網絡設計中，最為核心的問題是如何合理確定中心點的位置、數目和訓練網絡權值。通常情況下，中心點的確定與權值的訓練既可分開實現，又可同時進行。鑒于此，RBF網絡可以采用以下兩類學習算法：
3.2.1 靜態學習算法
靜態學習算法是一種離線學習算法，即在離線設計RBF網絡時，中心點的確定與權值的訓練分開進行。
1）隨機確定RBF中心點，即隨機從訓練數據集中選取RBF中心點。當RBF選取以下高斯函數：[G（X-Cj2=exp（-m/d2maxX-Cj）j=1，2，...，m]，其中，[Cj]――RBF的中心點；[m]――中心數；[dmax]――相鄰中心點最大的間隔距離，因此高斯徑向基函數的寬度[σ=dmax/2m]。利用上述算法，可以避免RBF的形狀出現過平或過陡兩種極端現象。如此一來，便可通過計算線性方程組的方式來確定輸出層與隱含層的連接權值。
2）自組織學習確定RBF中心點。混合學習過程主要包括自組織學習階段、監督學習階段，其中自組織學習階段的任務是采用聚類算法來估計隱含層RBF的中心點；監督學習階段主要通過對輸出層線性權重進行估計來設計網絡，具體采用最小二乘法。輸出層節點的LMS算法與隱含層節點的K-均值聚類同時進行，以加速學習過程。
3）有監督學習確定RBF中心點，即通過有監督學習解得RBF的中心點和自有參數，具體使用牛頓法或梯度下降法等。如果使用梯度下降法，則應從參數空間的某一有效區域開始進行搜索，即先利用RBF網絡得到高斯分類算法，再以分類結果為搜索點，以免學習程收斂至局部極小。
3.2.2 動態學習算法
動態學習算法是一種在線學習算法，其主要在在線數據挖掘環境中使用。由于在在線數據挖掘環境中，通常不會全部給定訓練樣本，因此如果隱含層中心點與單元數目的確定采用靜態學習算法，則解算結果不一定最優，而在線學習算法支持動態刪除或加入隱含層節點，且隱含層中心點的確定和權值的訓練同時進行，因此可以動態構造網絡。
1）以分組優化策略為基礎的在線學習法。訓練神經網絡是約束優化的過程，則需對特定的神經網絡類型進行深入探討。以下內容為在線隱含層單元的確定策略：當輸入的訓練樣本同時滿足以下條件時，則為之分配相應的隱含層但愿你：網絡輸出誤差比誤差的設定閥值大；輸入樣本與隱層中心點之間的距離比距離的設計閥值大。如果在RBF神經網絡在線訓練方式中引入分組優化策略，則網絡輸出與網絡權值之間存在線性關系，同時與隱含層單元的寬度、中心點之間存在非線性關系，表明盡量采取不同的優化方法來處理兩部分的參數。
2）最近鄰聚類算法。最近鄰居類算法作為動態自適應聚類學習算法，由其聚類得出的RBF網絡不僅最優，且支持在線學習。最近鄰聚類算法的實現過程為：
① 設定高斯函數寬度為r，定義矢量A（l）存放輸出矢量的總和，定義計數器B（l）統計樣本數量，其中類別數目為l。
② 對于數據對[（x1，y1）]，于[x1]上創建1個聚類中心，并令[x1=c1]，[y1=A（1）]，[B（1）=1]，那么在RBF網絡中便僅存在1個中心為[c1]的隱含層單元，且隱含層單元與輸出層的權矢量[w1=A（1）/B（1）]。
③ 對于數據對[（x2，y2）]，解得[x2]與[c1]之間的距離[x2-c1]。假設[x2-c1≤r]，那么[x2]的最近鄰聚類為[c1]，假設[A（1）=y1+y2]，[B（1）=B（1）+1]，[w1=A（1）/B（1）]；假設[x2-c1>r]，那么以[x2]為新的聚類中心，同時假設[c2=x2]，[A（2）=y2]，[B（2）=1]。根據上述要求創建的RBF網絡，再在其中加入一個隱含層單元，其與輸出層之間的權矢量[w2=A（2）/B（2）]。
④ 假設第k個數據對[（xk，yk）（k=3，4，...，n）]的聚類中心數為M，相應的中心點為[c1，c2，...，cm]，則由此創建的RBF網絡中便存在M個隱含層單元。據此，解得[xk]與M個聚類中心的間距為[xk-ci，i=1，2，...，M]，假設兩者的減小間距為[xk-ci]，那么[xk]的最近鄰聚類為[ci]。根據第一、二數據對的計算步驟，解得當[xk-ci>r]時，第M個隱含層單元與輸出層之間的權矢量[wM=A（M）/B（M）]；當[xk-ci≤r]時，隱含層單元與輸出層之間的權矢量[wi=A（i）/B（i），i=1，2，...，M]。研究發現，動態自適應RBF網絡的難易程度由r所決定，即聚類數目與r呈負相關，即r越小，聚類數目越多，則計算量越大和精度越高，反之亦然。總之，最近鄰聚類法具有性能優點、計算量小河學習時間短等優點，不僅可以通過確定隱含層來建立RBF神經網絡，還可以在動態輸入模式在線學習中得到有效應用。
綜上，RBF網絡是一種具有最佳擬合和全局逼近性能的前向型神經網絡，其無疑具有廣闊的應用前景，但在實際應用中，應當考慮到局部極小問題的存在，進而保障其應用效果。
參考文獻：
[1] 儲兵，吳陳，楊習貝，等.基于RBF神經網絡與粗糙集的數據挖掘算法[J].計算機技術與發展，2013，23（7）：87-91.
[2] 宮曉曼，滕榮華.基于神經網絡的數據挖掘在煤礦選煤中的應用[J].煤炭技術，2013（9）：127-128.
[3] 魏文軒.改進型RBF神經網絡在股票市場預測中的應用[J].統計與決策，2013（15）：70-72.
[4] 曹東方，王玉恒.數據挖掘在員工考評管理信息系統中的應用[J].河北工業科技，2012，29（5）：323-326.
[5] 姚應水，葉明全.RBF神經網絡與logistic回歸模型的對比研究[J].中國衛生統計，2011，28（4）：397-399.
[6] 張會敏，葉明全，羅永錢等.基于RBF神經網絡的老年癡呆癥智能診斷研究[J].中國數字醫學，2015（6）：38-41.
[7] 習勤，米帥軍.指標篩選技術在神經網絡數據挖掘模型中的應用[J].統計與決策，2011（10）：163-165.
[8] 林濤，葛玉敏，安玳寧等.基于 RBF 神經網絡的鋼構件質量追溯系統研究[J].計算技術與自動化，2015（1）：20-24.
篇4
關鍵詞：卷積神經網絡；圖像分類；空間變換；可變形卷積
DOIDOI：10.11907/rjdk.171863
中圖分類號：TP317.4
文獻標識碼：A 文章編號：1672-7800（2017）006-0198-04
0 引言
圖像分類一直是計算機視覺領域的一個基礎而重要的核心問題，具有大量的實際應用場景和案例。很多典型的計算機視覺問題（如物體檢測、圖像分割）都可以演化為圖像分類問題。圖像分類問題有很多難點需要解決，觀測角度、光照條件的變化、物體自身形變、部分遮擋、背景雜波影響、類內差異等問題都會導致被觀測物體的計算機表示（二維或三維數值數組）發生劇烈變化。一個良好的圖像分類模型應當對上述情況（以及不同情況的組合）不敏感。使用深度學習尤其是深度卷積神經網絡，用大量圖像數據進行訓練后可以處理十分復雜的分類問題。
卷積神經網絡是為識別二維形狀而專門設計的一個多層感知器，這種網絡結構對平移、縮放、傾斜等擾動具有高度不變性，并且具有強大的特征學習與抽象表達能力，可以通過網絡訓練獲得圖像特征，避免了復雜的特征提取與數據重建過程。通過網絡層的堆疊，集成了低、中、高層特征表示。AlexNet等網絡模型的出F，也推動了卷積網絡在海量圖像分類領域的蓬勃發展。
1 卷積神經網絡
卷積神經網絡是人工神經網絡的一種，其“局部感知”“權值共享”[1]等特性使之更類似于生物神經網絡，網絡模型復雜度大大降低，網絡訓練更容易，多層的網絡結構有更好的抽象表達能力，可以直接將圖像作為網絡輸入，通過網絡訓練自動學習圖像特征，從而避免了復雜的特征提取過程。
Yann LeCun等[2]設計的LeNet-5是當前廣泛使用的卷積網絡結構原型，它包含了卷積層、下采樣層（池化層）、全連接層以及輸出層，構成了現代卷積神經網絡的基本組件，后續復雜的模型都離不開這些基本組件。LeNet-5對手寫數字識別率較高，但在大數據量、復雜的物體圖片分類方面不足，過擬合也導致其泛化能力較弱。網絡訓練開銷大且受制于計算機性能。
2012年，在ILSVRC競賽中AlexNet模型[3]贏得冠軍，將錯誤率降低了10個百分點。擁有5層卷積結構的AlexNet模型證明了卷積神經網絡在復雜模型下的有效性，并將GPU訓練引入研究領域，使得大數據訓練時間縮短，具有里程碑意義。AlexNet還有如下創新點：①采用局部響應歸一化算法（Local Response Normalization，LRN），增強了模型的泛化能力，有效降低了分類錯誤率；②使用Dropout技術，降低了神經元復雜的互適應關系，有效避免了過擬合；③為了獲得更快的收斂速度，AlexNet使用非線性激活函數ReLU（Rectified Linear Units）來代替傳統的Sigmoid激活函數。
Karen等[4]在AlexNet的基礎上使用更小尺寸的卷積核級聯替代大卷積核，提出了VGG網絡。雖然VGG網絡層數和參數都比AlexNet多，但得益于更深的網絡和較小的卷積核尺寸，使之具有隱式規則作用，只需很少的迭代次數就能達到收斂目的。
復雜的網絡結構能表達更高維的抽象特征。然而，隨著網絡層數增加，參數量也急劇增加，導致過擬合及計算量大增，解決這兩個缺陷的根本辦法是將全連接甚至一般的卷積轉化為稀疏連接。為此，Google團隊提出了Inception結構[5]，以將稀疏矩陣聚類為較為密集的子矩陣來提高計算性能。以Inception結構構造的22層網絡GoogLeNet，用均值池化代替后端的全連接層，使得參數量只有7M，極大增強了泛化能力，并增加了兩個輔助的Softmax用于向前傳導梯度，避免梯度消失。GoogLeNet在2014年的ILSVRC競賽中以Top-5錯誤率僅6.66%的成績摘得桂冠。
網絡層數的增加并非永無止境。隨著網絡層數的增加，將導致訓練誤差增大等所謂退化問題。為此，微軟提出了一種深度殘差學習框架[6]，利用多層網絡擬合一個殘差映射，成功構造出152層的ResNet-152，并在2015年的ILSVRC分類問題競賽中取得Top-5錯誤率僅5.71%的成績。隨后，對現有的瓶頸式殘差結構進行改進，提出了一種直通結構[7]，并基于此搭建出驚人的1001層網絡，在CIFAR-10分類錯誤率僅4.92%。至此，卷積神經網絡在越來越“深”的道路上一往直前。
2 可變形的卷積神經網絡
2.1 空間變換網絡
空間變換網絡（Spatial Transformer Network，STN）[8]主要由定位網絡（Localisation net）、網格生成器（Grid generator）和可微圖像采樣（Differentiable Image Sampling）3部分構成，如圖1所示。
定位網絡將輸入的特征圖U放入一個子網絡（由卷積、全連接等構成的若干層子網絡），生成空間變換參數θ。θ的形式可以多樣，如需要實現2D仿射變換，那么θ就是一個2×3的向量。
2.3 本文模型
本文以自建的3層卷積網絡C3K5（如圖6所示）和VGG-16作為基準網絡，分別引入空間變換網絡、可變形卷積和可變形池化，構造出8個卷積神經網絡，用以驗證可變形模塊對淺層網絡和深層網絡的影響，如表1所示。
圖6中C3K5網絡模型包含3個帶有ReLU層、LRN層和池化層的卷積模塊，卷積層采用步長為1的5×5卷積核，輸出保持原大小，池化層采用步長為2核為2×2的最大值池化，即每經過一個卷積模塊，特征圖縮小為原來的一半。
3 實驗與分析
3.1 實驗設置
本文實驗環境：CPU為Intel i5-7400，8G內存，顯卡為GTX1060，采用Cuda8+CuDNN6.0加速。
實驗數據集包括公共圖像數據集mnist、cifar-10、cifar-100和自建圖像數據集pen-7。公共數據集分別有50 000張訓練樣本圖像和10 000張測試樣本圖像。自建數據集pen-7為京東商城的七類筆圖像庫，每類有600張圖片，圖像分辨率為200×200，總計訓練樣本數3 360，測試樣本數840， 圖7為其中的14個樣本。
3.2 結果與分析
分別將表1中的10個卷積網絡應用到mnist、cifar-10、cifar-100和pen-7四個數據集進行訓練，batch-size設置100，即每次傳入100張圖片進行訓練，每訓練100次測試一次（記為一次迭代），總共迭代100次，取最后10次迭代的準確率計算平均值，得各網絡應用在不同數據集的分類結果，如表2所示。
實驗結果表明，在卷積網絡中引入空間變換網絡、用可變形的卷積層和可變形的池化層替換傳統的卷積層和池化層，不管是在淺層網絡還是在深層網絡，都能獲得更高的分類準確率，這驗證了空間變換網絡和可變形卷積（池化）結構，豐富了卷積神經網絡的空間特征表達能力，提升了卷積網絡對樣本的空間多樣性變化的魯棒性。包含3種模塊的網絡獲得了最高的分類精度，使空間變換網絡、可變形卷積層和可變形池化層在更多應用場景中并駕齊驅成為可能。
4 結語
通過在現有卷積神經網絡中引入空間變換網絡、可變形的卷積層和可變形的池化層，使得卷積網絡在mnist、cifar-10、cifar-100及自建的pen-7數據集中獲得了更高的分類精度，包含3種模塊的網絡獲得了最高分類精度，證明了空間變換網絡、可變形的卷積層和可變形池化層都能豐富網絡的空間特征表達能力，協同應用于圖像分類工作，這為后續研究打下了堅實的基礎。
參考文獻：
[1]BOUVRIE J. Notes on convolutional neural networks[J].Neural Nets，2006（1）：159-164.
[2]Y LECUN，L BOTTOU，Y BENGIO，et al.Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.
[3]KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[C]. International Conference on Neural Information Processing Systems. Curran Associates Inc，2012：1097-1105.
[4]SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science， 2014（6）：1211-1220.
[5]SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions[J]. CVPR， 2015（3）：1-9.
[6]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]. Computer Vision and Pattern Recognition. IEEE， 2015：770-778.
[7]HE K， ZHANG X， REN S， et al. Identity mappings in deep residual networks[J]. arXiv，2016（1603）：5-27.
[8]JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks[J].Computer Science， 2015（5）：1041-1050.
[9]DAI J， QI H， XIONG Y， et al. Deformable convolutional networks[J]. arXiv： 2017（1703）：62-111.
篇5
建筑工程的系統性和復雜性提升了工程造價估算的難度，基于神經網絡的工程造價估算方法能夠提升工程造價估算的準確性。本文從傳統的工程造價估算方法入手，對基于神經網絡的工程造價估算方法及其Excel實現進行研究。
【關鍵詞】神經網絡 工程造價 估算方法 Excel實現
在建筑行業不斷發展的背景中，建筑企業面臨的競爭壓力越來越大。對于建筑企業而言，通過建筑工程成本的有效控制，實現所獲經濟效益的提升能夠對自身市場競爭力的提升產生相應的促進作用。選擇合理的工程造價估算方法具有一定的必要性。
1 傳統的工程造價估算方法
應用傳統工程造價估算方法進行估算，要求建筑工程的成本函數是一個具有確定性特點的數學形式，并且這個成本函數應該是對可利用歷史數據的最佳擬合。這些要求對傳統工程造價估算方法的精確度產生了不良影響，進而對該方法的實際應用產生相應的限制。
2 基于神經網絡的工程造價控制估算方法及其Excel實現
2.1 神經網絡的優點和應用
神經網絡是由一定數量的并行處理單元組成的系統，不同處理單元的實際處理方式和連接強度是影響神經網絡功能的主要因素。在神經網絡中，不同神元之間的相互作用可以實現處理信息的目的。神經網絡具有時間連續性、高度非線性以及規模大的特點，神經網絡包含優化計算、處理知識以及聯想記憶等多種功能。神經網絡在電子科技領域中的應用主要集中在圖像和信號處理以及模式識別中。以某個500字符的代碼段為例，該代碼段可能是Python、Java或者C++。當需要通過程序的構造對該代碼段進行識別編寫時，構造神經網絡的方法更加有效。
2.2 基于神經網絡工程造價控制估算方法的合理性
神經網絡的優勢在于，它可以近似實現任意空間的數學映射。神經網絡的這種特點使得它在需要辨識數據模式的困難任務中得到了廣泛應用。神經網絡可以分別對實時數據和歷史資料進行訓練，這種特點為神經網絡在工程造價估算中的應用提供了可能。
2.3 神經網絡電子表格模擬程序
神經網絡電子表格模擬程序主要包括以下幾個步驟：
2.3.1 輸入輸出信息模塊
在該模型中，主要包含基礎基礎類型、結構類型、建造年份、工期、建址、層高、層數、內、外裝修門窗共9個輸入單元，還包含每平方米造價這一輸出單元，以及4個測試樣本和6個訓練樣本。為了將輸入單元、輸出單元的數據更好地展示出來，可以在Excel中建立一個表格。
2.3.2 輸入數據初始化
當表格構建完成之后，可以將相關數據輸入進行，為了便于神經網絡對數據進行合理處理，需要將表格中第一個模塊中的輸入數據調整至[-1，1]范圍中。當第一個模塊構造完成之后，為了簡化第二個模塊的構造時間和步驟，可以利用線性公式對第一個模塊的參數值進行合理調整，這個過程中使用的線性公式如下所示。
2.3.3 構建權重模塊I
就輸出節點、輸入節點以及隱層節點之間的數目關系而言，輸出節點與輸入節點數量之和的一般是隱層節點的實際設置數目。在權重模塊中，需要將所有的數值初始化為1.0。
2.3.4 當權重模塊I構建完成之后
需要考慮隱層節點的輸出模塊。這個步驟主要需要根據神經網絡的操作模型進行。
2.3.5 構建權重模塊II
該模塊的構建步驟與第三步中的做法相同，但在這個模塊中，需要在單一的輸出節點和隱層節點之間建立連接。
2.3.6 神經網絡的最終輸出
這個步驟與第四步類似。
2.3.7 對神經網絡的輸出值進行反調整，并對誤差進行有效計算
神經網絡輸出值的反調整范圍集中在初始賦值范圍中。
2.4 神經網絡的訓練過程
當神經網絡電子表格模擬完成之后，需要對神經網絡進行訓練，也可以將這個過程看成是權值的優化過程。由于權值優化過程具有一定的復雜性特點，因此可以將Excel中的Solver程序應用到這種預測方法中，與其他算法相比，這種算法的優勢表現為可以直接在表格中運行，簡化了操作步驟，實現該預測方法掌握難度的有效降低。運用這種預測方法進行操作可以發現，網絡運行結果滿意，應用這種預測方法的預測誤差小于0.4%。
2.5 分析參數變化對模型預測結果的敏感性
用戶通常無法確定能夠對特定工程進行精確描述的特征因素是什么，因此，為了保證模型的實用性，需要對參數變化對模型預測結果的敏感性進行有效測定。測定參數變化對模型預測結果敏感性的較為復雜，首先，用戶需要將工程中無法肯定的某一特征因素或幾個特征因素的組合選擇出來，然后使用戶選取的參數在初始值周圍逐漸變動，并將參數變動范圍控制在25%之內，為了更好地對參數對模型預測結果的敏感性進行分析，需要對樣本資料的數量進行合理控制。分析參數對模型預測結果名感性的界面如圖1所示。在實際分析過程中，需要將第一個模塊公式變為分別對多個分析資料進行計算，結合計算結果得出計算結果的標準差和平均值，并將估計成本與標準差和平均值進行比較。就平均值而言，在選定參數發生變化的情況下，可以通過敏感性分析對模塊中輸入參數的實際重要性進行有效判斷，通過不同參數的分別變化，分別對其進行敏感性分析，將所得標準差和平均值與最初估計進行比較，進而得出模塊中輸入參數的實際重要性判斷結果。
3 結論
隨著建筑企業面臨競爭壓力的不斷增大，建筑企業對建筑工程成本控制越來越重視。有效工程造價估算方法的使用可以幫助建筑企業獲得更多的經濟效益，傳統的工程造價估算方法精確度較低，基于神經網絡的工程造價估算方法可以保證工程造價估算結果的準確性。
參考文獻
[1]孫金麗，鄭立群，張世英.基于神經網絡的工程造價估算方法及其Excel實現[J].基建優化，2003（01）：38-40.
[2]吳子燕.基于人工神經網絡的高校建筑工程造價預測系統的研究與應用[D].西安：西北工業大學，2006.
[3]趙欣.基于BP神經網絡的地鐵土建工程造價估算方法研究[D].北京：北京交通大學，2008.
篇6
隨著4G時代的到來，電信行業的得到了空前的發展，用戶數量快速增長，同時，電信各運營企業之間的競爭也日益激烈。面對激烈的電信市場競爭環境，以及日趨飽和的電信市場，獲取新客戶的成本比保持在網客戶要昂貴得多。加之電信技術、法律法規、攜號轉網以及競爭對手等動態市場的變化，使客戶流失到對手運營企業也更加容易。數據挖掘，作為一種新興技術手段，可以高效、低成本的實現客戶的流失預測，現已在電信、金融等行業得到了廣泛應用。
【關鍵詞】
數據挖掘;客戶流失;算法
1、引言
流失客戶，即是不想或不再使用其服務的企業原有客戶。根據流失程度可分為兩類:離網流失和業務流失，或稱為顯性流失和隱性流失。在我國，電信行業競爭日益激烈，市場容量逐漸飽和，在終端產品以及通信資費相對平穩的情況下，用戶成為電信運營商激烈競爭的焦點。如何有效地防止用戶流失、降低流失率成為各個運營商急需解決的難題。客戶流失給運營商帶來了巨大損失，而成功挽留一個即將流失的客戶比重新發展一個客戶節約大量成本。因此，利用數據挖掘技術，預測客戶流失、減少客戶流失的發生成為當下電信行業研究的重點。
2、客戶流失預測常用算法及比較
客戶流失預測常用算法。目前，常用的挖掘算法有很多，但客戶流失分析較為常用的有三種算法，分別是決策樹算法、支持向量機算法、神經網絡算法。
(1)決策樹算法當前最有影響的決策樹算法是Quinlan于1986年提出的ID3和1993年提出的C4．5。ID3只能處理離散型屬性，它選擇信息增益最大的屬性對訓練樣本進行劃分，目的是進行分枝時，使系統的熵最小，從而提高算法的精確度。C4．5是ID3算法的改進算法，不僅可處理離散型屬性，還能處理連續性屬性。C4．5采用信息增益比作為選擇分枝屬性的標準，彌補了ID3算法的不足。決策樹的優點在于，它可以生成可以理解的規則，計算量相對較小，可以處理連續和種類字段，并且可以清晰地顯示哪些字段比較重要。但決策樹對連續性的字段比較難預測，這是決策樹的一個不足。
(2)支持向量機算法支持向量機(SupportVectorMachine，SVM)由Vapnik領導的AT＆TBell實驗室研究小組于1963年提出，當時的研究尚不十分完善。直到90年代，統計學習理論的實現和由于神經網絡等較新的機器學習方法的研究在如何確定網絡結構、過學習與欠學習、局部極小點等問題時遇到一些重要困難，這個階段SVM的理論技術得到迅速發展與完善，它在解決小樣本、非線性以及高維模式識別中表現出許多特有的優勢，并能夠推廣應用到函數擬合等問題中，是一項有潛力的分類與回歸技術。SVM也存在自身不足，SVM算法對大規模訓練樣本難以實施，同時，對于多分類問題存在困難。
(3)神經網絡算法人工神經網絡(ArtificialNeuralNetworks，ANN)，也簡稱神經網絡，它是由大量簡單處理單元以某種方式互相連接而成，通過調整內部這些大量處理單元之間相互連接的關系，從而達到處理信息的目的。神經網絡中，神經元處理單元可表示為特征、字母、概念或某些有意義的抽象模式等不同的對象。神經網絡中處理單元類型可以分為三類:輸入層單元、輸出層單元和隱藏層單元。輸入層單元負責接受外部世界的數據或信號;輸出層單元實現網絡處理結果的輸出;隱藏層單元處于輸入層和輸出層單元之間，不能由系統外部觀察的單元。神經元間的連接權值反映單元間的連接強度，信息的表示和處理體現在網絡處理單元的連接關系中，可對連續的或非連續的輸入做出狀態相應，能實現復雜的邏輯操作和非線性關系信息的動態處理，因而神經網絡具有很強的邏輯運算和數值運算能力。神經元網絡的優點在于有無指導的情況下都能夠進行學習;缺點是神經網絡很難解釋而且會學習過度，另外神經網絡建模通常較費時，需要的準備工作量很大。神經網絡的著名算法是基于誤差學習的后向傳播算法，即BP算法。
3、電信客戶流失預測研究展望
以下幾方面在未來的研究中值得考慮:(1)對現有指標體系還需要進一步研究與完善，尤其是隨著4G業務的發展，指標應該進一步調整。(2)現在國內的流失預測分析，大都以“月”為單位，如果能以“周”或者“日”為單位，可以更加及時的發現流失客戶。(3)用于流失預測的算法各有利弊，找出一個在各方面性能都很好的分類算法仍然需要進一步研究。
【參考文獻】
［1］肖水清．基于CRM探討電信業的客戶流失問題［J］．現代計算機，2006(1)
［2］陳晉蘇，鄭惠莉．電信行業流失客戶挽留價值綜合評價研究［D］．南京郵電大學，2005
［3］仲繼．電信企業客戶流失預測模型研究［D］．西安科技大學，2014
篇7
關鍵詞：神經網絡；BP算法；網絡模型
中圖分類號：TP183
1 BP網絡的定義
誤差反向傳播算法（Error Back Propagation，EBP，簡稱BP）在于利用輸出層的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差。如此下去，就獲得了所有其他各層的誤差估計。這樣就形成了將輸出表現出的誤差沿著與輸入信號傳送相反的方向逐級向網絡的輸入端傳遞的過程。因此，人們就又將此算法稱為向后傳播算法，簡稱BP算法。使用BP算法進行學習的多層前向網絡稱為BP網絡。雖然這種誤差估計本身的精度會隨著誤差本身的“向后傳播”而不斷降低，但它還是給多層網絡的訓練提供了十分有效的辦法。所以，多年來該算法受到了廣泛的關注。BP網絡應用廣泛，學習采用最小均方差，由輸入層、若干隱層和輸出層構成，它是一種典型的前饋網絡。
圖1 三層神經網絡模型
常用的BP網絡是三層前向網絡（如圖1所示），即：輸入層、中間層和輸出層。它的學習分為以下幾個過程：由每個神經元網絡的輸入節點經中間層向輸出層的一個正向傳播，若網絡的實際輸出與期望輸出有誤差，將這個誤差經輸出層到中間層再傳給輸入層調整權值再學習的一個逆傳播。通過不斷的學習，最后的輸出要在誤差范圍之內。
2 BP算法的基本思想
BP算法的基本思想歸結如下：BP網絡對于輸入信號，通過輸入層傳播到隱含層，經過激勵函數的作用，再將隱含層的輸出作為輸出層的輸入傳播到輸出層，最后輸出結果。對于每一個輸入樣本，神經網絡的實際輸出與目標輸出不可能完全一樣，兩者之間必然會有一定的誤差，定義均方差為：
3 BP算法的學習過程及兩種改進算法的思想
學習是人工神經網絡最重要的一個特點，學習的目的在于能對任何一個樣本的輸入通過調整相關參數輸出期望的結果。學習的方法可以從以下幾步闡述：第一步，向神經網絡模型輸入一系列樣本，每一個樣本都有包含輸入和期待的輸出兩部分，把采集到的樣本向神經網絡輸入后，先由第一個隱層進行相關計算然后逐層向下一層傳遞，直到傳至輸出層。第二步，將輸出的結果與期望輸出的結果做比較，如果誤差不能滿足要求，就按原來的路徑逐層返回，神經網絡的自學習能力這時候就要發揮作用了，它要根據誤差的結果對權值、閥值做適當修改，再從第一個隱層開始重復的計算傳遞，直到輸出的結果滿足要求。
本文論述的算法都是以三層網絡結構出發進行討論的。
BP算法的改進主要集中在兩個方面：其一是避免陷入局部極小值，一旦陷入要想辦法逃出；其二是改進迭代算法，加快收斂速度，較常用的方法是共軛梯度法、Levenberg-Marquardt法等。
BP網絡學習過程收斂速度慢的因素有兩方面：（1）學習率s和勢態因子α在訓練中值不變。BP網絡實際就是優化計算中的梯度下降法，利用輸出的誤差作為對權值、閥值調整的參考，目的是確保最終的輸出誤差最小。考慮到算法的收斂性，學習率s必須小于某一固定上界。BP網絡中的學習率s和慣性因子α在訓練過程中為一固定值。這一限制決定了BP網絡的收斂速度不可能很快。（2）學習過程中出現“假飽和”。實際輸出和期望輸出的誤差產生以后，通過調整網絡訓練的權值，不斷學習后這種誤差應該越來越小，如果多次學習后誤差沒有減小，經過一段時間后，誤差才下降，稱這種現象為學習過程中的“假飽和”。在BP網絡中，初始權值、閾值一般是在一個范圍內人為確定的。若作為網絡輸入的神經元的個數與閾值差別較大，考慮到神經元具有飽和非線性特征，那么神經元的實際輸出只有兩種結果：極大值或極小值。當輸出層接收到的神經元的總輸入進入到飽和區，且實際輸出與目標輸出相互矛盾，就是“假飽和”。這時對權值作大的修改才行，而實際上，由于此時導數值趨近于零，導數權值修改量很小。導致學習速度下降。對中間層的神經元也是一樣。學習一旦進入“假飽和”狀態，很難退出這種“假飽和”狀態，可能需要一定的時間，有時可能會陷入僵局，要重新開始網絡訓練。
傳統的BP算法主要的優點是簡單、易于實現。但是BP算法有兩個不可克服的缺陷：（1）BP算法很可能陷入局部極小值；（2）收斂速度慢。
像熱導氣體分析儀這類的儀器經常會用于一些惡劣而又危險的環境中，且要求其測量周期短暫，所以系統需要較強的抗震蕩學習網絡。基于熱導傳感器測量的主要因素，提出一種新的BP網絡學習算法，對學習因子進行模糊自適應調節，這樣系統能夠快速、準確地將干擾因素與熱導傳感器的原始測量值進行擬合，有效減小測量誤差。這種模糊自適應算法思想一樣可用于發電機匝間短路故障的在線檢測。
4 結束語
通過以上對BP算法的學習與分析總結如下：（1）傳統的BP算法采用最小均方差的學習方式，是使用最廣泛的網絡，可用于語言綜合、語言識別、自適應控制等，它是一種典型的前饋網絡，優點是簡單、易于實現，缺點是可能陷入局部極小值、收斂速度慢。（2）BP算法的改進主要集中在兩個方面：其一是避免陷入局部極小值，一旦陷入要想辦法逃出；其二是改進迭代算法，加快收斂速度。（3）多層前饋神經網絡學習過程中，對學習因子進行模糊自適應調節，自動調節步長、勢態因子、可以明顯地提高收斂速度和誤差精度。在一些特殊領域的應用取得較好的效果。從目前已有的研究成果來看，設計的模糊自適應算法有良好的研究方向。
參考文獻：
[1]黃麗.BP神經網絡算法改進及應用研究[D].重慶師范大學圖書館，2007.
[2]劉彩紅.BP神經網絡學習算法的研究[D].重慶師范大學圖書館，2006.
[3]王建梅，覃文忠.基于L-M算法的BP神經網絡分類器[J].武漢大學學報，2005（10）：928-931.
篇8
關鍵詞：船舶輻射噪聲 RBF神經網絡 相空間重構 預測
中圖分類號：U66文獻標識碼：A文章編號：1006-4311（2011）14-0062-02
To Predict the Radiation Noise of Ship Based on RBF Neural Network
Zhang Xiaozai；Yang Hongchao
（Aviation Military Representative Office of Navy in Pingba Area，Pingba 561102，China）
Abstract: According to the chaotic characteristic of ship radiation noise signal, based on the reconstruction evolutionary regularity of reconstruction phase space, this paper constructs a rapid RBF neural network to predict the radiation noise on the ship. Experiments have proved that using the RBF neural network to predict the ship's radiation noise is higher than that of Volterra adaptive prediction filter, and has faster convergence.
Key words: radiated noise of ship；RBF neural network；phase space reconstruction；forecast
0引言
混沌時間序列是由確定性的非線性系統產生的一維時間變量，它描述的是該非線性系統過去的狀態和特性，通過對混沌時間序列進行準確的預測，可以預知系統將來的狀態，有著重大的意義。但是由于非線性系統對初始狀態極為敏感，微小的初始狀態變化將導致輸出的巨大差異，因此對混沌時間序列做長期的預測是很難實現的。目前，對混沌時間序列的預測方法主要有兩大類：局部預測法和全局預測法。本文采用的RBF神經網絡預測法是一種全局預測方法。船舶輻射噪聲信號是一種具有混沌特性的一維時間序列[1，2]，表征的是系統的外部特性，如要了解系統的內部特性，則必須給出系統的狀態描述方程，而船舶輻射噪聲由于其復雜的產生機理，所以給出準確的解析表達式往往是不可實現的。Takens和Parkard[3，4]的工作表明，將一維的時間序列通過相空間（也稱為狀態空間）重構映射到高維空間，可以保留系統的一部分信息。運用相空間重構進行水下信號處理和雷達信號處理也取得了一定的成效。本文將運用相空間重構和RBF神經網絡對船舶輻射噪聲信號進行建模和預測。
1船舶輻射噪聲的相相間重構
相空間重構是分析系統運動特征的重要手段之一，其原理是：將一維的觀測變量時間序列映射到高維的狀態空間，使時間序列中未觀測到的狀態變量顯現出來，從而得到更多的關于系統狀態變化規律的信息，更利于揭示整個系統的運動規律。混沌時間序列的相空間軌跡點在高維空間表現為奇怪吸引子，是具有某種復雜規律的流形。對于一個觀測時間序列{s（i）}：i=0，1，2，…，N-1，以嵌入維數m和時延τ為參數重構狀態空間P，其中任一軌跡點的坐標為p（t）={s（t），s（t+τ），…，s[t+（m-1）τ]}T，則狀態空間中有M=（N-（m-1）τ）個軌跡點，P可表示為：
P=[p■，p■，…，P■]T=S■S■ … S■S■S■…S■ … …… …S■S■…S■（1）
P稱為狀態空間的軌跡矢量矩陣，如果選擇合適的m和τ可使相空間中的軌跡點既可以充分展開又可以保持它們之間的相關性，因而揭示非線性系統的內部運動規律。
用輸入時間序列的自相關函數第一次過零點的值來確定τ，而m的選擇我們采用關聯維曲線確定，即對于一個確定性的系統，當嵌入維增大到一定程度時，關聯維曲線的斜率變化速度將逐漸減小，并收斂于某個值。如果關聯維曲線斜率不隨嵌入維的增大而增大，并且不收斂于一個值，則該系統可被認為是隨機系統。其主要步驟如下：①如（1）式重構相空間，取m為一個較小的值；②計算關聯函數：C（r）=■■■θ（r-p■-p■）其中：?Z??Z算子為歐氏泛數，θ（x）=0x?燮01x>0是Heaviside單位函數，C（r）描述的是相空間中軌跡點之間距離小于r的概率；③計算關聯維系數d（m）=ln C（r）/ln r。④增加m，重復步驟②和③，直到d（m）在一定容差泛圍內不變化為止，此時所得到的嵌入維為最佳嵌入維數。如果關聯維不隨著m的增大而收斂于一個值，則認為該系統為隨機系統。
2徑向基函數神經網絡設計
徑向基神經網絡是一種前向網絡，隱含層是非線性的，輸入層和輸出層是簡單的線性函數，本文中輸入層節點數由嵌入維m確定，輸出層為單節點，隱含層節點數根據經驗取為，徑向基函數選為高斯核函數，其拓撲結構如圖1所示。
圖中C=[c1，c2，…，cm]為輸入樣本，K=[k1，k2，…，kn]為徑向基函數的中心，W=[w1，w2，…，wn]為隱層到輸出層的系數矩陣。輸入層到隱層只考慮信號傳遞，故取連接權值均為1，y為神經網絡的輸出。則輸出層第i個節點的輸出為：y=■w■exp-■（2）
其中，?為歐幾里德范數運算符，w■為隱層到輸出層的權值，kj為第j個隱層節點的徑向基函數中心，σ■■為徑向基函數的寬度，這里我們采用k鄰近點算法推導σ■■：
σ■=（1k）∑■■k■-k■■■（3）
本文中k取為2。RBF中心k■由K均值聚類算法獲得，即由從訓練集中隨機選取初始化中心，對于每個輸入C，尋找最近的RBF中心，并使中心向輸入調整：k■■=k■■+αC-k■■（4）
k■■為時刻第j個RBF中心，調整步長為α=0.1。輸出層的權值調整采用LMS算法。
由于輸入層只作為信號傳遞，所以RBF神經網絡的學習過程可分為兩個階段，即輸出層的LMS學習以及隱層的k鄰近點學習算法和K均距類學習算法，這有別于目前應用廣泛的多層線性感知器網絡的BP算法。而分為兩階段的學習過程也使得RBF網絡更適用于解決非線性函數逼近問題。
3實驗數據仿真
我們采用二組不同的船舶輻射噪聲數據作為RBF網絡的訓練和預測樣本，其采樣率為50kHz。取每組數據重構相空間后的M個樣本，用前N個樣本作為訓練樣本，后M-N個樣本用于預測。我們采用一個量來評價該網絡對船舶輻射噪聲的訓練擬合能力和預測能力，定義為：E=10log■（5）
其中，■■為y■的預測值，單位為dB。E是一個相對量，E越小，則說明RBF神經網絡的預測效果越好。
圖2、圖3分別是船舶A、船舶B的輻射噪聲信號的關聯維曲線圖。在圖中，C為相空間中軌跡點之間相距小于r的累積分布概率，當r的取值在一定范圍時，ln（C）和ln（r）滿足線性關系，我們將這段線段的斜率作為關聯維曲線的斜率。當嵌入維m?叟5時，船舶A、船舶B的關聯維曲線的斜率都是為一個固定值，而不是隨著嵌入維的增大而增大，因此可確定嵌入維均為5。分別以嵌入維為5重構相空間，運用RBF神經網絡對相空間中的點進行建模預測。
選取的樣本個數為3000，前2500個樣本用于網絡的建模訓練，后500個樣本用于預測。圖4、圖5給出了網絡對船舶輻射噪聲信號的預測值與實際船舶輻射噪聲信號的對比。
為比較RBF神經網絡預測船舶輻射噪聲信號的性能，我們用常用于非線性系統建模的Volterra自適應濾波器[6，7]的預測效果與之相對比。采用2維2階截斷Volterra自適應濾波器，訓練樣本個數與RBF神經網絡的訓練樣本個數相同。
表1給出了RBF神經網絡和Volterra預測濾波器對二種船舶幅射噪聲信號的預測精度，總體上，RBF神經網絡的對船舶輻射噪聲的預測性能優于Volterra自適應濾波器。
篇9
關鍵詞：BP神經網絡；新鄉車務段；全員勞動生產率
中圖分類號：G976.7 文獻標志碼：A 文章編號：1000—8772（2012）13—0121—02
全員勞動生產率的概念是基于勞動生產率發展而來的，其根據產品的價值量指標計算的平均每一個從業人員在單位時間內的產品生產量，是企業考察企業整體或者單個生產部門的重要參數指標。其計算公式為：全員勞動生產率=■。
在本文當中，筆者在對新鄉車務段編組、區段站運轉人員勞動生產率進行計算時，是按照鄭州鐵路局給定的統計計算公式計算得出的換算工作量/新鄉車務段編組、區段站運轉從業人員得出的2006年至2011年運轉人員全員勞動生產率。
新鄉車務段是鄭州鐵路局下屬的豫北地區重要的運輸生產單位，擔負著豫北及山東6市14縣的鐵路運輸生產任務。而運轉工作又是車務段工作中的重頭戲，其換算工作量占了全段換算工作量中的絕大部分。所以對新鄉車務段編組、區段站運轉人員勞動生產率進行有效的分析、預測有助于企業轉變管理模式、優化人員配置，提高全段精益化管理程度。
BP （Back Propagation）神經網絡，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入—輸出模式映射關系，而無須事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層（input）、隱層（hide layer）和輸出層（output layer）。
本文采用3層網絡模式對新鄉車務段編組、區段站運轉人員全員勞動生產率進行模擬預測，其網絡結構如圖1：
BP網絡學習過程及步驟如下：
（1）初始化。給每個連接權值wij、vjt、閾值θj、γt賦予區間（—1，1）內的隨機值。
（2）隨機選取一組輸入和目標樣本■、■給網絡。
（3）用輸入樣本■、連接wij和θj閾值計算中間層各單元的輸入sj，然后用sj通過傳遞函數計算中間層各單元的輸出bj。
■，■；■，■
（4）利用中間層的輸出bj、連接權vjt和γt閾值計算輸出層各單元的輸出Lt，然后通過傳遞函數計算輸出層各單元的響應Ct。
■，■；■，■
（5）利用網絡目標向量■，網絡實際輸出Ct，計算輸出層的各單元一般化誤差dkt。
■
（6）利用連接權vjt、輸出層的一般化誤差dkt和中間層的輸出bj計算中間層各單元的一般化誤差■
（7）利用輸出層各單元的一般化誤差dkt與中間層各單元輸出bj來修正連接權vjt和閾值γt。
■
（8）利用中間層各單元的一般化誤差ekj，輸入層各單元的輸入■來修正連接權wij和閾值θj。
■
（9）隨機選取下一個學習樣本向量提供給網絡，返回到步驟（3），直到m個訓練樣本訓練完畢。
（10）重新從m各學習樣本中隨機選取一組輸入和目標樣本，返回步驟（3），直到網絡全局誤差E小于預先設定的一個極小值，即網絡收斂。如果學習次數大于預先設定的值，網絡就無法收斂，學習結束。
可以看出，在以上的學習步驟中，（7）—（8）步為網絡誤差的“逆傳播過程”，（1）—（10）步則用于完成訓練和收斂過程。
基于以上，依據2006年到2011年的新鄉車務段編組、區段站運轉人員全員勞動生產率的歷史數據（如表1所示），對新鄉車務段編組、區段站2012年到2016年的運轉人員全員勞動生產率進行預測。神經網絡的輸入節點數選取三個，即運轉人員全員勞動生產率連續三年值，神經網絡的目標輸出值是第四年的運轉人員全員勞動生產率，每三年作為一個樣本，依次進行，并對訓練好的網絡進行測試，檢驗預測精度。
資料來源：鄭州鐵路局鐵路運輸站段勞動生產率統計表2006—2011年
在基于時間序列的BP神經網絡中最佳的隱層神經元個數比較難確定，也沒有一個特定的標準。當前的理論可以證明，在隱層節點數足夠的情況下，三層BP網絡具有模擬任何非線性映射的能力。本文采用三層BP神經網絡，隱層節點數采用經驗公式與試算法確定為3到6個。
Matlab程序代碼如下：對建立的神經網絡進行訓練，得到的誤差如圖2：
s=3：6
res=1：4； %
for i=1：4； %
net=newff（minmax（P），[s（i），3]，
{'tansig'，'purelin'}，'trainlm'）； %
net.trainparam.epochs=1000； %
net.trainparam.goal=0.001； %
lp.lr=1；
net=train（net，P，T）； %
y=sim（net，P）；
error=y—T；
res（i）=norm（error）；
end %
對訓練好的網絡，將處理后的運轉人員全員勞動生產率的數據樣本作為網絡輸入進行測試，得到擬合誤差數據表見表2：
篇10
關鍵詞：分類識別；模式識別；圖像分類
中圖分類號：TP311 文獻標識碼：A 文章編號：1009-3044（2014）32-7731-03
1 概述
圖像分類識別根據圖像的不同特征對圖像進行分類，有相同特征的對象歸為一類。圖像分類識別方法隨著數學算法的不斷進步而不斷發展。目前，圖像分類識別的主要方法主要有六種：模糊集識別、統計識別、神經網絡識別、結構識別、模版匹配和支持向量機。這幾種方法各有優缺點，根據具體情況來具體分析和應用，也可以多種方法相結合使用。
圖像分類識別系統包括幾個步奏[1]，如圖 1所示，一是獲取原圖像的信息，二是對圖像預處理，三是圖像分割，四是圖像特征提取，五是圖像分類識別。
1） 統計識別法
統計識別的理論基礎是數學的決策理論，在決策理論基礎上建立統計識別模型，統計識別模型對要分類的圖像進行統計分析，統計出圖像的各類特征，找出準確反映圖像類別的特征，最后進行分類。其主要的技術有聚類分析法、統計法、KNN等。但是，統計識別法不能識別圖像空間相互關系（即結構關系）。如要分類圖像的結構特征是主要特征，用統計識別就不能識別圖像。
在進行分類時需要大量圖像樣本，先統計圖像樣本特征，設定圖像識別的一系列參數（即統計學習）。
統計識別法流程如圖2[1]，輸入的圖像信息是原始圖片；圖像處理是對樣本圖像濾波、分割和特征提取；最后是圖像分類，輸出結果。
2） 結構識別法
結構識別法即是句法識別，是對統計識別法不能識別圖像結構特征的補充，因為統計算法不能統計圖像的結構信息，只能統計圖像的數字特征。結構識別法用符號表現圖像的特征。結構識別采用的結構是層次結構，把復雜圖像分解成單子圖像，而子圖像又可以分解為更簡單的子模式，一直分解下去，直到分解為最簡單的子模式，即模式基元。通過對模式基元的識別，進而識別子模式，最終識別該復雜的模式。結構識別法流程如圖3所示。
3） 神經網絡法
神經網絡法是通過我們學習的神經網絡算法對圖像進行分類。神經網絡方法與統計識別方法在很多方面是有聯系的，都利用樣本數據完成圖像的分類識別，并且在有的算法上還可以看作是一定的等價關系。神經網絡算法的結構由一個輸入層、若干個中間隱含層和一個輸出層組成。神經網絡法通過學習，能夠從原始圖像的復雜數據中找到相識的圖像特征，對圖像進行正確的分類。神經網絡法克服了統計識別算法過程中的復雜性，以及模型選擇的一些困難，是一種非線性建模過程，不需要分清圖像中存在的非線性關系，給圖像分類帶來的極大方便。
神經網絡算法有不同的網絡結構，所以構造神經網絡時首先要選擇合適的網絡結構。神經網法圖像分類時首先要輸入圖像的文理特征和結構特征等一系類參數；中間經過圖像的預處理和特征提取，最后輸出的是圖像類別。神經網絡分類識別的流程圖如圖4所示。
4） 模糊集識別法
模糊集識別法在模式識別、醫學圖像識別，車牌識別等方面的應用比較廣泛。在圖像分類時，有一些圖像的特征不是很明顯，不能準確的確定圖像屬于哪一類別時，模糊集識別法能很好地解決這一問題。先模糊地對圖像進行判別，這時圖像可能屬于兩個或多個類別，等到再找到另外的特征時再進行精確的判別。模糊數學是模糊集識別法的理論基礎，模糊數學在判別事物時一般不是準確的去判斷這事物到底屬于什么，而是用不太精確的方式來判別事物，用更適合人的思維方式去判別。
模糊集識別法是在模式識別方法的基礎上采用模糊邏輯的方法。在圖像分類時，采用模糊理論對圖像特征模糊化和模糊分類。
模糊集識別法根據一定的模糊化規則將圖像的紋理或形狀等特征分成多個模糊變量，雖然每個模糊變量不能準確的判別圖像，只能判斷原圖像的一部分特征，但是這能更進一步地判別圖像。我們用先前判別出的部分特征去替代原來的特征再進行圖像判別，這樣我們又能精確的判別圖像類別。雖然模糊集識別法識別時圖像的特征變多了，但是卻使得判別更加，也使分類器設計趨于簡單。
5） 支持向量機
支持向量機（SVM）是一種新的人工智能學習算法，現在已經成為模式識別領域新的研究熱點[3] 。支持向量機有學習效率高、抗噪聲性能強和推廣性好等優點。支持向量機是在原先統計學習理論的基礎上，解決傳統統計學習理論不能解決的一些問題（如神經網絡結構選擇問題，局部極小點問題等）而形成的一種新的學習方法。在圖像識別時，支持向量機將圖像特征向量映射到一個更高維的空間，在新的空間中重新建立一個最大圖想參數閾值。首先判斷圖像的大類別，在閾值的兩邊再建立重新建立新的閾值，再進行分類，對圖像不斷判別。最后相差最大的就是圖像屬于不同類別。
6） 模板匹配法
模板匹配法是對要識別的圖像做出一個典型的標準模板，作為將要判別其他圖像的標準，然后將要分類的圖像與標準模板相比較，從而判斷出圖像屬于哪一類別。其實模版匹配法是一種比較算法，將要識別的圖像與標準模版放在一個分類器中做相關運算，根據我們學習的相關運算知識可以知道，如果兩個信號出現自相關，就表示出現了主峰值（即閾值），這就表示模版圖像和要識別的圖像匹配，將這個閾值作為分類器的一個判決規則，即可實現圖像的匹配。所以模版匹配法的首要任務就是先進行模版的創建，如果創建的模板很正確精確，那么我們在匹配的時候也會更加的精確。
模版匹配法的流程圖如圖5所示。
3 圖像分類識別算法的優缺點
統計識別法的優點是以數學上的決策理論為基礎的，能夠比較快的建立出統計識別模型。通過建立出的模型，對圖像進行大量的統計分析，能夠準確的判斷出圖像的類別，并且統計出的特征都是數字特征，對計算機的性能要求較小。缺點是統計識別法不能統計圖像在空間上的相互關系（即結構關系）。如果圖像的結構特征為主要特征時，用統計方法不能進行準確的判別。
結構識別法：對統計識別識別方法的補充，統計識別法不能統計圖像的結構信息，統計方法一般統計出來的圖像特征都是以數值表示，結構識別法描述圖像的特征時則是用符號來表示。
神經網絡法優點是神經網絡非線性擬合能力很好，可以映射圖像的非線性關系；而且神經網絡的學習能力強，也方便計算機實現；神經網絡還具有很強的非線性映射能力，記憶能力以及自我學習能力。神經網絡法的缺點是不能解釋自己的推理過程和推理依據；神經網絡需要大量的模板數據，并且個模板特征數據要近似相等，當數據不充分或各類別差別很大的時候，神經網絡的識別就不太準確；神經網絡的輸入也是圖像的數字特征，不能表示識別圖像的結構關系，和統計識別法一樣，當結構特征為主要特征時，圖象的識別就不準確。
模糊集識別法的優點是模糊識別法雖表現為圖像的不確定分類，但是隨著更高可靠性的特征能使圖像分類越來越準確；采用多級分類，能為下級分類提供分類信息。缺點是模糊識別不能準確確定圖像的類別，如果不能找到跟準確的特征，圖像的分類將不準確。
支持向量機（SVM）優點：1.對模板樣本要求低，如果模板數量少，得到的分類結果是在現有模板信息下的最優解；2.支持向量機通過非線性變換將圖像的特征轉換到高維的特征空間，然后在高維空間構造線性函數替代原圖像的非線性關系，更利于計算機去判別。缺點： SVM是通過二次規劃來求解特征向量，里面涉及到m階矩陣運算，對計算機要求高，并且運算時間長。
模版匹配法的優點是如果模板做的比較準確，匹配不正確的概率就會很小，并且模板不匹配的情況也很少。缺點是因為圖像上的每一個點都要進行匹配計算，對計算機配置要求高，并且對噪聲比較敏感，如果識別時有很大的噪聲，將不利于圖像的識別。
4 總結
本文深入分析了統計法、句法識別法、神經網絡法、模糊集識別法、支持向量機法和模版匹配法等幾種主要圖像分類識別方法，并對各種分類識別方法的優勢與缺陷做了深入的總結。通過分析各類圖像分類識別方法，明確各類識別方法的優勢與缺陷，為圖像分類識別方法的具體應用奠定基礎。
參考文獻：
[1] 常俊.基于特征提取及神經網絡的圖像分類識別與目標跟蹤[D].西安：西安電子科技大學，2008.
