智慧物流的基本概念范文
時間:2023-12-25 17:36:43
導語:如何才能寫好一篇智慧物流的基本概念,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公文云整理的十篇范文,供你借鑒。

篇1
關鍵詞:智慧地球 智慧物流 信息化 現代化 策略
中圖分類號:F253.9 文獻標識碼:A 文章編號:1007-9416(2012)07-0239-01
1、智慧物流的背景
“感知中國”是2009年總理在2009年提出的建設的新概念,在此之前,關于智慧建設的概念始于美國。21世紀實在是信息爆炸的世紀,科技的發展越來越快,科技的應用更加廣泛,信息時代的內涵其實依然是科技。信息的爆炸是基于科學技術的發展以及應用。物聯網被各國爭相作為本國的建設目標,物流作為最早接觸物聯網的行業,在這個行業里物聯網技術的應用也是最早的。現代物流的方向大致要朝著現代化、科技化發展,這是時代要求。智慧物流的研究是屬于歷史潮流,當然根據物流行業的發展狀況,智慧物流自2008年IBM公司提出“智慧的地球”這一概念之后,就越來越受各國的重視,為此中國還將之寫入“政府工作報告”。智慧物流的建設是完全符合物聯網的發展趨勢的,當然物流現代化建設自然是對其城市的經濟都是有很大的幫助的,也是未來建設智慧城市的一個方面。
這是智慧物流的大致產生背景,但是不可忽略的一點是,雖然智慧物流已經受到我國政府和企業的重視,但對它的研究仍處于初步階段,更談不上體系構建,實施的框架企業和學術界都還未達成良好的共識。
2、智慧物流的概念
智慧物流的概念的提出要最追溯到2008年IBM公司提出的“智慧的地球”這一概念,IBM公司作為一家信息技術研究的公司,它對智慧物流的理解也是建立于信息技術的支撐,所以對于智慧物流的基本概念可以說從運輸、倉儲、包裝以及裝卸、加工配送等,整個物流的歷程步驟都是以信息技術為基礎的,智慧物流是將物流系統的各個環節都納入信息系統的控制之下,實現系統全面感知,這樣就可以及時處理以及進行必要的有效的自我調整,總的來說,智慧物流就是以信息技術為依托,通過系統物流的建設,讓物流自動化、創新化、準確化,智慧物流實際上也是現代化綜合性的物流系統。
3、智慧物流的基本功能
3.1 智能分析功能
智慧物流的顯著特征之一是智慧性,智慧性主要體現在智能分析。信息技術的運用,使得智慧物流能運用智能的模擬模型等各種具有智能性的手段來分析物流。分析物流的各個環節,分析物流過程中出現的突發問題,還可以根據這些問題提出智能化得假設并且通過實踐來進行檢驗,來進行解決問題的一個循環。實際上,智能分析是將理論運用到實踐中的一種功能。系統自動調用數據,來解決問題,同時來發現漏洞,達到智慧化的效果。
3.2 感知功能
智慧物流是以信息技術作為依托的物流系統建設的物流系統,通過信息手段將傳統物流的每個環節和細節都同時納入智能系統中,包括物流的運輸、倉儲、包裝、裝卸、加工、配送等,物流過程是一個復雜的過程,步驟繁多,任務繁重,僅靠人力的話不可能同時對這些信息進行搜集和整理,而現代化的信息技術就能做到。依靠現代科技,能對物流系統的各個環節進行全面感知,接著再對這些信息進行系統分析,從而能及時處理而且自我調整,實現了物流規劃的智慧化。
3.3 優化決策的功能
結合特定的物流要求,智能系統可以對要求和物流企業本身的實際情況進行對比、評估,從物流的成本、時間以及其他的特殊方面和標準要求,來評估風險以及對風險進行預測,這是制定合理決策的前提條件,只有做到對物流項目的詳細周密分析,對其風險進行有效預測,才能提出最優的最有效的解決方案。這些決策是經過對物流環節和物流信息的周密分析的,相對于人力的局限性來說,智能系統分析后的方案更具準確性。
3.4 及時反饋功能
這是一個非常強大的功能,對于物流企業來說,信息的及時反饋是關系到物流工作完成好壞的最有效的晴雨表,反饋實現系統修正,還能完善管理,總之它是貫穿于物流工作中的幾乎每一個環節,它起到的作用既是細節方面的,但同時也是全局性的。
4、智慧物流建設的策略
4.1 大力推廣信息技術在物流企業和物流產業基地的應用
信息技術在建設智慧物流中占據著核心地位,它是智慧物流的內涵。例如傳感技術,移動計算機技術,還有智能網絡等,通過這些最新的信息技術去建立物流智能管理網絡體系,建立智能配送中心等。通過各種技術培育出一批優秀的企業,然后通過示范推廣,達到帶動整個物流行業的智慧化建設的潮流。其中優秀的企業還可以與外資合作,這樣不僅會吸引外資,更能促進物流行業的國際化發展。至于說物流產業基地,我們可以選擇設備完善、基礎較好的物流基地進行示范性建設,其目的也是達到示范推廣,帶動整個物流行業的智慧化改革。例如,江蘇常州的物流建設,常州目前建立了現代化的亞邦醫藥物流中心,這是一個典型的智慧化物流的示范基地,兩年的物流建設不僅促進了第三方、第四方物流的發展,而且還極大地減少了傳統物流在資源上的浪費,有利于常州生態經濟的發展。
4.2 對物流行業進行合理的發展規劃,制定相關完善的法律法規
如果說進行信息化建設是智慧核心內容,那么對物流行業進行發展規劃,對物流行業進行法律規范化是物流行業智慧化建設的保證。例如常州市物流現代化建設的成功范例里,常州市就是物流行業的規范性上做足了功夫,在行業的法律法規上進行了符合現代化物流的政策,這樣既保證了建設的成果,又能繼續保證后續的發展,有利于整個行業的健康、規范。制定相關的法律制度,營造公平有序的市場環境,還有利于消除由于地理原因造成的市場障礙,使資源達到優化配置;而開放的統一有序的市場,能更好地保護經營者的利益。
參考文獻
篇2
【關鍵詞】物聯網;發展現狀;應用
物聯網(The Internet of things)的概念是在1999年提出的,顧名思義,“物聯網就是物物相連的互聯網”。物聯網的核心和基礎仍然是互聯網,是在互聯網基礎上的延伸和擴展的網絡,其用戶端延伸和擴展到了任何物品與物品之間,進行信息交換和通信。因此,物聯網的定義是通過射頻識別(RFID)、紅外感應器、全球定位系統、激光掃描器等信息傳感設備,按約定的協議,把任何物品與互聯網相連接,進行信息交換和通信,以實現對物品的智能化識別、定位、跟蹤、監控和管理的一種網絡。
一、物聯網的原理及發展現狀
物聯網是利用RFID等技術在計算機互聯網的基礎上構造了一個涵蓋萬物的Internet of Things。在物聯網中物品能夠彼此“交流”,借助RFID技術讓物品“說話”,借助計算機互聯網讓物品信息實現互聯和共享。在物聯網時代,鋼筋將與寬帶共同構成基礎設施,經濟管理、社會管理、個人生活將在這些基礎設施上運轉。
國際上美國等國家都極為重視物聯網的研究和應用,美國將物聯網作為改變產業模式和結構的法寶,用來提高交互效率。歐盟在物聯網研發和應用方面做了許多創新工作,各國都企圖在物聯網發展上取得領先,獲得突破。我國物聯網方面的研究并不落后,傳感器和傳感網已在許多省市獲得應用,獲得許多新的突破。
二、物聯網的實際應用
1.智能環保
隨著社會的進步,人們對生活品質的要求逐漸升高,社會對環保的要求也不斷升高。為提高環境保護管理水平,環保部門可以利用物聯網建設智能環保管理系統,通過建立信息采集網絡對環境進行自動監測,對重點單位或是區段實現自動監測并實時傳輸監測到的相關數據,通過建立環境分析系統和信息平臺可以及時、準確的向政府部門和社會環境質量資料或是概況信息。物聯網技術可以在智能環保系統中對大氣、廢棄物、水源、放射源以及噪聲等進行感知和管理,提高智能環保系統的工作質量和效率。
具體的設計方案需要利用信息網絡技術,使環保信息采集系統和處理平臺具備智能感知能力和強大的云計算能力以及數據可視化能力,使環保監控體系掌握環保事件產生、發展的規律,輔助災害預測等各項決策,形成環境監測、執法、數據交換、應急指揮、辦公、教育展示等各個中心整合成一體的綜合管理系統。
2.智能物流
RFID技術不需要人工干預便可以識別目標并獲取數據信息,操作快捷便利。利用RFID等技術可以實現物流信息共享,保證信息傳遞準確、便捷,提高運輸、包裝等物流各個環節的工作效率,實現物流與資金、信息、商流的有效融合,降低物流成本,提升物品生產到消費的整體效益,促進物流業跨越式發展。
目前,物聯網技術在智能物流的應用,主要集中在物品跟蹤、目錄管理、自動接收、自動裝運、電子產品碼等方面。
3.智能家電
最近幾年,我國迎來物聯網建設的熱潮,隨之而來的是智能家電的全新變革。基于物聯網技術的智能家電將在物物感知的基礎上不斷產生新的應用,從傳統的播放電視節目向更加智能化、人性化的方向發展。在物聯網技術的支持下,電視可以根據用戶(例如老人或是小孩)的特點自動選擇播放內容,并通過語言合成功能向用戶推薦電視內容。與此同時,基于物聯網技術的智能家電可以解決控制孩子使用家電的問題,例如電視會在孩子離電視顯示屏太近時自動黑屏、暫停播放,在孩子與電視距離合適之后再繼續播放,或是家長通過3G網絡等途徑控制孩子上網或是看電視的時間,由電視在顯示屏上滾動提示文字并進行語音提示。
4.金融領域
金融行業的發展需要高新科技的支持,物聯網技術能夠在改善金融安防等方面得到廣泛的應用。金融體系由于涉及資金運作,一直是犯罪案件頻發區,物聯網技術可以充分發揮物物相連的優勢,在節省人力、物力的同時提高安防的效率和可靠性。例如借助物聯網技術對來訪人員進行管理,實時跟蹤并監控、記錄來訪人員的行為和信息,為偵破犯罪案件提供線索,還可以在現金柜等物品上和庫房出入口等位置加裝RFID標簽或是設備,借助軟件平臺使資金可視化,并對ATM機進行實時監測,發現異常情況自動上報,以保障資金安全,為公安機關破案提供便利。
金融領域的業務繁多,除了上述應用外物聯網技術還可以在支付業務和優化金融服務、保險業等方面得到充分應用。例如基于物聯網技術發明的芯片銀行卡、金融業務各環節的可視跟蹤、發揮信息資源優勢提供信息咨詢服務以及對投保的汽車安裝傳感設備來監測、記錄其運行狀態等等。
5.教育領域
在教育領域,物聯網技術可以在信息化教學、教育管理、智慧校園等方面得到廣泛應用。在信息化教學方面,物聯網技術可以使學生的學習環境突破時間和空間的限制,記錄學生學習的對象、學習行為,從而合理調整學習方式和內容。在具體的教學過程中,物聯網技術可以強化交互功能,例如在生物教學中可以為植物粘貼相應標簽,學生能用手機識別標簽獲得相應的擴展內容。在教育管理方面,物聯網技術可以在人員考勤、設備管理等各個方面得到應用。例如對學生證、圖書、設備等粘貼RFID標簽,可以實時監控學生的行為、快捷的查找圖書、跟蹤設備的狀態等等。在智慧校園方面,物聯網技術可以在校內交通、車輛、校園安全、建筑、生活服務、師生健康等領域得到廣泛應用。例如借助光線傳感器可以控制教室內光線強度,借助紅外傳感器可以實時監控校園安全狀況等等。
6.農業領域
我國是個農業大國,物聯網技術能夠在現代養殖業、農作物生長、農產品質量監測等方面得到廣泛應用。在養殖業方面,物聯網技術可以減少工作量,降低工作難度,提高工作效率,例如項圈式等形式的應答器、個體標識等可以對牲畜、家禽等實現有效管理,減少誤操作,提高管理水平。在農作物生長方面,物聯網技術可以實時監控土壤、灌溉、氣候等情況,收集溫濕度、大氣、氮濃縮量等信息,提高農作物種植的科技含量,做好防災抗災工作。在農產品質量監測方面,物聯網技術可以對農產品種植、生長、收獲、運輸、存儲等全過程進行監控,快速監測農產品質量并查出問題所在,例如借助RFID等技術建立的農產品可追溯系統,可以有效保障各種農副產品的質量安全。
三、總結
未來物聯網的應用將越來越多地滲透于我們生活的每一個角落,物聯網的發展是信息社會發展的必然。盡管擁有美好的前景,但在發展的道路上,也面臨標準、技術、產業鏈等方面的困難,需要社會各個層面在物聯網關鍵技術和業務應用上取得突破,以促進物聯網的快速發展。
參考文獻
[1]蔡日梅.物聯網概述[J].電子產品可靠性與環境試驗,2011(01).
[2]李紅艷,桂超.物聯網的應用及其發展趨勢[J].福建電腦,2010(09).
篇3
一、食品區域物流供應鏈體系
(一)基本內容
在社會經濟穩定發展和網絡信息廣泛覆蓋的影響下,食品區域電商取得了良好發展,大眾的食品消費結構呈現出多元化趨勢,人們對食品的需求目標逐漸從數量需求轉變為種類需求,想要待在家中就能夠品嘗到全國各地的美食,這種現代化消費理念為我國食品區域產業提供了巨大的發展機遇,但同時對于食品區域的安全保鮮、物流運輸而言又將面臨一大挑戰,因此,構建食品區域物流供應鏈對現代食品行業長效發展十分重要。食品區域物流供應鏈是一種極具功能性且特色鮮明的產品供應鏈,包括采購原料、安全加工、物流運輸、批發零售等一系列過程,其管理工作主要是對上述過程以及制造商、供應商、零售商之間的合作交流進行組織協調和控制規劃,便于快速發現問題并及時解決,保障物流供應鏈的順利運行。物流是食品區域物流供應鏈體系內的核心要素,供應鏈中各個環節的正常運行都離不開物流的有效作用,物流配送的高效發展不僅有助于維系物流供應鏈模式的穩定性,還能夠為企業收獲極高的經濟效益,促進物流行業實現進一步的轉型發展。
(二)特點分析
處于食品區域的物流供應鏈體系構建特點較為鮮明,既要優化供應鏈的資源配置,提高其資源系統效率,還需要保障食品在運輸過程中的安全問題,降低各類因素導致的成本消耗,在這種條件下,食品區域物流供應鏈體系的特點主要包含以下方面:第一,物流供應鏈具有較高的穩定性。食品區域產業結構簡單,各項產業之間都存在較為緊密的聯系性,相互可以達成友好合作,從而構成具有一定穩定性的物流供應鏈生態模式,以增強區域物流供應鏈整體承受風險的能力。與此同時,食品區域產業并不是一個短期發展項目,它具有長期的、可持續發展的產業規劃,這也為物流供應鏈體系的不斷完善與優化提供了較為寬裕的發展時間,由此可見,食品區域物流供應鏈體系可以與食品區域產業實現、穩定發展。第二,食品區域產業的特征較為突出。食品區域產業大部分是基于當地的美食資源和文化資源所誕生與發展的,因此,區域物流供應鏈體系在構建中往往會融入地方特色,也更多地服務于地方企業,從而對其物流供應鏈的運輸成本、物流配送渠道造成一定影響。例如生鮮水果等食品資源將會對物流供應鏈的運輸條件提出更高的要求,不同的地理位置和交通環境可能決定物流供應鏈選擇哪種運輸渠道,所以不同地區的食品區域產業將形成獨具區域特征的物流供應鏈體系。
(三)現實意義
首先,食品區域物流供應鏈體系的構建具有突出的成本意識,強調以現代信息化技術為主體的物流信息及資源共享,并且能夠借助大數據技術搭建物流供應鏈體系模型,由此對區域產業相關數據、物流供應鏈成本變化趨勢、食品區域產業市場環境等展開深入分析與評估,從而能夠完成對物流資源的合理分配,達到最佳資源配置,以提高物流供應鏈資源的利用率,最終有效降低物流成本。其次,食品區域物流供應鏈體系的構建離不開現代信息科技的有力支持,網絡信息化平臺可以通過共享物流信息實現資源配置,有助于平衡食品區域資源結構不均衡問題,并且現代技術的融入讓物流供應鏈體系打破了傳統模式對物流信息傳遞的限制,逐漸朝著智慧型物流供應鏈體系發展創新。最后,物流信息錯漏或不對等都將嚴重影響物流供應鏈的穩定發展,也是觸發經濟風險的關鍵性成因,而在信息科技支持下所構建的食品區域物流供應鏈體系,可以在物流供應鏈內部實現物流信息和資源信息的動態共享,以組織協調物流供應鏈的實際需求,強化供應鏈上下組分之間的合作交流,從而形成良好穩定的物流產業經濟生態圈,合力維持食品區域物流供應鏈的穩定發展。
二、物流供應鏈體系發展現狀
近年來隨著電子商務貿易行業的飛速發展,大眾消費水平日益提高,其中飲食類消費在大眾消費中占比較高,由此促進了大批食品企業的產業規模擴張,部分食品零食個體也越來越多,食品區域產業的這一發展形勢對我國的物流行業及相關物流供應鏈提出了極大挑戰。近年來,隨著中國特色社會主義現代化建設的持續深入,我國交通道路基礎建設得以進一步完善,為物流供應鏈體系提供了良好的發展空間,因此,我國物理供應鏈規模在近年內實現了飛速提高,并且根據大數據對我國經濟發展狀況的綜合性分析,物流供應鏈發展與我國GNP(國民生產總值)之間存在一定的正比關系,人民群眾在食品區域中購買力的提高和區域產業發展的實際需求,將推動我國食品區域物流供應鏈規模的有效擴增,所以在未來幾年內,我國物流供應鏈規模還將呈現快速增長趨勢。在新時期發展背景與全球經濟一體化形勢的推動作用下,我國物流供應鏈的穩定狀態將會受到一定影響,食品區域物流供應鏈也將面臨全新的挑戰。因此,物流供應鏈體系需要加快實現傳統產業轉型升級,并且應根據食品區域產業的具體情況構建與其相匹配的物流供應鏈體系,以促進物流供應鏈體系的多元化發展,這樣有利于彌補傳統物流供應鏈的不足之處,并降低物流供應鏈的風險。與此同時,傳統食品區域物流供應鏈體系比較依賴相關資源的支持,使得資源配置安排對物流供應鏈發展存在較大的影響作用,只有確保每種資源都能發揮其最大效益,才能有效控制物流供應鏈中資源要素的成本。而在現展中,信息科技、網絡設備與共享經濟模式都為物流供應鏈發展提供了更多渠道,其中物流供應鏈組網模式的構建不僅可以實現資源配置優化,還有助于降低物流供應鏈資源要素的建設成本,從而推動食品區域物流供應鏈體系的可持續、穩定發展。
三、物流供應鏈體系發展策略
篇4
【關鍵詞】大數據 云計算 物聯網
數據空間
【中圖分類號】G【文獻標識碼】A
【文章編號】0450-9889(2013)09C-
0190-03
隨著社交網絡、移動互聯、電子商務、互聯網和云計算的興起,音頻、視頻、圖像、日志等數據正在以指數級增長,互聯網的邊界和應用范圍不斷被擴展。據麥肯錫的預測,2010年全球范圍內硬盤存儲的新數據超過7EB(1EB=10億GB),而到2020年,全球數據總量將達到約35ZB(1ZB=10億TB),大數據正以其多源、海量、異構的特性沖擊著社會的各個領域,為傳統的數據庫系統在存儲、訪問和管理大數據方面帶來嚴峻的考驗,無論是在學術界還是工業界,都引起人們高度的關注。
2008年,國際頂級學術期刊Nature以“Big Data”為專刊,討論了大數據給各個領域帶來的沖擊和挑戰;2011年,國際頂級學術期刊《Science》推出“Dealing with data”專刊,重點探討了對大數據的處理技術;2011年5月,全球著名咨詢機構麥肯錫公司題為“大數據:下一個創新、競爭和生產力的前沿”的報告,明確提出應對大數據快速發展的策略,是第一份系統闡述大數據的專題研究成果;2011、2012年,中國舉辦了第一屆、第二屆“大數據世界論壇”,邀請了微軟、甲骨文、因特爾等國際資深專家,覆蓋金融、電信、能源等各個領域,共同探討大數據前沿技術與發展態勢,以應對持續增長的海量數據;2012年1月達沃斯世界經濟論壇把大數據作為主題之一,探討如何挖掘大數據的商業價值,為企業帶來更好的社會效益;2012年3月,美國奧巴馬政府耗資2億美元研究“大數據研究和發展計劃”,引導工業界、學術界和非營利機構改進和提高訪問、收集、組織大數據的技術和方法。
大數據已經成為一種戰略資源,具有廣闊的應用前景。為了有效地管理大型復雜的數據和高效提取有價值的知識,還需要進一步把握大數據特性,選擇合理的處理方式。
一、大數據的基本概念和特征
(一)大數據的基本概念。大數據是繼云計算、物聯網后的又一全球熱點問題,因其潛在的巨大價值而受到各界的廣泛關注。大數據從2009年開始流行于互聯網,專家們從不同角度定義了大數據,由于大數據本身具有較強的抽象性,目前還沒有一個統一公認的定義。
在早期,著名的Apache的開源項目Nutch用大數據描述用于批處理或分析的大規模數據集。大數據研究機構Gartner將大數據定義為一種具大規模、多樣性和高增長特性的信息資產,其結構與現有的數據庫處理系統不兼容,需新的并行數據處理平臺或技術從大數據中提取潛在有價值的決策、優化信息。《著云臺》團隊認為,大數據是各種機構或組織在生成或交互過程中產生的大規模半結構化、非結構化數據,需要比關系型數據庫有更強的數據存儲和計算能力。全球排名第一的企業數據集成軟件商Informatica認為大數據包括海量數據和復雜數據類型,其規模超過傳統數據庫系統進行管理和處理的能力。著名的存儲解決方案公司NetApp定義大數據包含分析、帶寬和內容三要素,側重于大數據的實時分析、高速處理和高可擴展性。維基百科則認為大數據是超過當前現有的數據庫系統或數據庫管理工具處理能力,處理時間超過客戶能容忍時間的大規模復雜數據集。
大數據概念上雖然與“海量數據”和“大規模數據”相似,但仍存在重要的差別。在內涵方面,它不僅包含了“海量數據”和“大規模數據”,而且還包括了更為復雜的數據類型;在數據處理方面,數據處理的響應速度由傳統的周、天、小時降為分、秒的時間處理周期,需要借助云計算、物聯網技術降低成本,提高處理大數據的效率。
(二)大數據的基本特征。大數據通常是指數據規模大于10TB以上的數據集。其特征是具有典型的“4V”(Volume、Variety、Velocity、Value),即規模性、多樣性、高速性和價值性。
1.規模性。隨著信息化技術的高速發展,數據開始爆發性增長。社交網絡(微博、Twitter、Facebook)、移動網絡、各種智能終端等,都成為數據的來源。淘寶網近4億的會員每天產生的商品交易數據約20TB;Facebook約10億的用戶每天產生的日志數據超過300TB;Google每天通過云計算平臺處理的數據超13.4PB。迫切需要智能的算法、強大的數據處理平臺和新的數據處理技術,來統計、分析、預測和實時處理如此大規模的數據。
2.多樣性。由于數據來源于不同的應用系統和不同的設備,決定了大數據形式的多樣性。大體可以分為三類:一是結構化數據,如財務系統數據、信息管理系統數據、醫療系統數據等,其特點是數據間因果關系強;二是非結構化的數據,如視頻、圖片、音頻等,其特點是數據間沒有因果關系;三是半結構化數據,如HTML文檔、郵件、網頁等,其特點是數據間的因果關系弱。
3.高速性。大數據與海量數據的重要區別在兩方面:一方面,大數據的數據規模更大;另一方面,大數據對處理數據的響應速度有更嚴格的要求。實時分析而非批量分析,數據輸入、處理與丟棄立刻見效,幾乎無延遲。數據的增長速度和處理速度是大數據高速性的重要體現。
4.價值性。大數據中有價值的數據所占比例很小,大數據的價值性體現在從大量不相關的各種類型的數據中,挖掘出對未來趨勢與模式預測分析有價值的數據,并通過機器學習方法、人工智能方法或數據挖掘方法深度分析,運用于農業、金融、醫療等各個領域,以創造更大的價值。
二、大數據的關鍵技術
(一)存儲技術。隨著Internet技術的迅猛發展,各個領域數據急劇增加,目前已達到PB級海量數據,傳統的數據庫管理系統已經不適應存儲數量巨大、形式多樣的數據,迫切需要新的技術應對規模急速增長、結構復雜多樣的數據存儲。為滿足大容量存儲,需構建分布式存儲系統,如當前流行的hadoop海量分布式平臺,當數據量增加時,通過增加存儲節點來保持數據分布的平衡,保持系統的易擴展性;為存儲結構復雜多樣的數據,應摒棄當前只針對結構化數據的存儲方案,根據不同格式數據選取不同的存儲策略。對結構化、半結構化和非結構化的數據可依次采用類似shared-nothing分布式并行數據庫系統、面向文檔的分布式存儲系統、面向文件的分布式存儲系統,以兼具多種數據格式,快速應對海量數據統計、查詢和更新操作。
(二)機器學習技術。從數量巨大、結構復雜的大數據中挖掘出有用的知識和規律,人工操作已無能為力,必須利用機器學習技術,更深層次智能分析數據,更高效獲取數據中隱藏的有效知識。隨著大數據時代的到來,文本數據、圖形圖像數據、網絡流量數據等不斷涌現,用于處理大數據的機器學習新技術被提出并受到廣泛關注。傳統的機器學習方法如支持向量機、決策樹、貝葉斯、神經網絡等,因泛化能力有限,已經不適應大規模網絡的快速分析。能同時利用有標記樣本和無標記樣本的半監督學習技術、整合多個具有差異性學習器的集成學習技術、充分積累歷史學習結果的增量學習技術,憑借其對高維采集、查詢和存儲方面的優勢,已被引入到處理大數據的并行技術中,為大數據的研究提供了新的思路。
(三)高性能計算技術。大數據的出現對計算能力的要求越來越高,大容量數據中心維護,并發任務的訪問,高速的傳輸率和各設備間的負載均衡都需要高性能技術的支持,具體來說,在計算成本方面,需采用價格低廉的分布式計算節點,通過大量廉價節點進行并行計算,降低傳統計算方式的成本;在計算實時性方面,引入各種高效機器學習算法,同時借助軟硬件協同的優勢,根據客戶的計算任務,快速創建數據、分析數據、計算數據,并給用戶提供毫秒級的體驗;在數據格式方面,對各種不同的數據要采用不同的格式處理方法,計算難度和開銷增大,各種數據平臺的兼容和軟硬件平臺的協同是提高高性能技術的關鍵之一。
(四)統一描述技術。由于大數據的數據源異構、地理位置分散、表現形式多樣,這使得數據間存在不一致性問題。對大數據進行處理的第一步是對不同格式的數據進行統一描述,數據的統一描述有兩方面的優勢:一是提供統一的數據結構,簡化系統的處理復雜度;二是減少系統上層應用程序處理數據的開銷。RDF(Resource Description Framework)即資源描述框架在描述資源的一致性方面具有通用性、智能性等特點,但其建模語言不豐富,邏輯推理能力有限,還需要一個具體的語法體系對其進行擴展。為應對大數據,基于本體的數據描述成為研究熱點,主要集中在對數據描述的模型一致性、邏輯一致性和關系一致性方面。目前的研究只是在小規模的數據集上得到驗證,還未有成功統一描述PB級及以上數據的案例。因此,研究基于RDF的數據描述框架,構建本體元數據模型,并對其進行有效地分層描述,解決格式各異的數據的統一描述問題,對大數據的預處理十分關鍵。
(五)可視化技術。數據可視化是把數據轉換圖形的過程。通過可視化技術,大數據可以以圖形圖像、曲線甚至動畫的方式直觀展現,使研究者觀察和分析傳統方法難以總結的規律。可視化技術主要可以分為圖形技術、幾何技術、圖標技術、分層技術等。無論哪種可視化技術,都需與扭曲和交互技術相協同。針對海量、異構的大數據,目前數據可視化研究的熱點包括:其一,層次可視化。Inxight公司成功將Hyperbolic tree層次數據處理技術用于解決focus+context平滑過渡難題,并廣泛運用于圖書分類和目錄結構的應用。其二,多維可視化。研究中心Xcrox Palo Alto提出多維可視化結構table lens,由于其對大型數據有很好的適應能力,已使用到相關的產品中。其三,文檔可視化。面對紛繁復雜的文檔、電子郵件等數據,西太平洋國家實驗室提出SPIRE可視化技術,能高效地確定大型文檔中文件間的關系,對數據挖掘有極大的推動作用。其四,web可視化。隨著Internet的發展,web數據持續膨脹,Chi等人成功地把7000多個節點連接成一棵樹形,運用網站可視化變換技術,實時展現網站內容和訪問量的變化情況。可視化技術的研究和發展,是實現大數據可視化的關鍵。
三、大數據的發展趨勢
(一)大數據與云計算。為解決互聯網應用對大規模計算能力、數據存儲能力的迫切需求,云計算的概念被提出。云計算是一種分布式計算平臺,通過虛擬技術將海量的硬件資源和虛擬資源虛擬成虛擬資源池,并根據需求任務的大小,向虛擬資源池獲取相應的計算和存儲資源。在大數據處理的需求下,出現了許多優秀的云計算平臺,例如Apache開源的Hadoop、 Google的MapReduce、微軟的Dryad等。在處理格式多樣的大數據時,云計算能協調組織眾節點,提供廉價的資源和服務,具有較可靠的可擴展性和容錯性。然而,對于大規模復雜的應用系統來說,云計算還有諸多的技術問題有待深入研究。為應對數據密集型服務,云計算提供分布式并行編程技術、分布式并行數據庫技術,可通過開源的編程接口和工具來調用服務,其優勢是能高效處理結構簡單的大數據,但對關系復雜的大數據的處理,在效率和準確率方面還不能令人滿意。
大數據技術的目標是解決應用中多源、異構、海量數據的管理和使用問題,但其本身不具備處理大規模數據的存儲資源和計算資源的能力,因此必須在已有成熟的技術基礎上,引入新的與之相對應的大數據存儲和計算平臺。云計算以數據為中心,對大數據集進行處理,并向用戶返回高效服務,具有并行化、虛擬化、按需服務等特點。從數據管理角度來說,大數據技術是對數據組織結構的描述,研究重點是數據的查詢、更新、索引等操作技術;而云計算則是一種分而治之,按需索取的大數據分布式服務模式。這兩個概念提出的背景都是為滿足海量異構數據的組織和管理要求。從相互之間的影響來看,前者為后者提供了廣闊的應用背景,后者為前者數據管理提供了存儲和計算資源,兩者相互促進,相互依存。
(二)大數據與物聯網。隨著智能交通、智能家居、智能物流、智慧景區等應用的興起,物聯網已成為未來經濟的新增長點。美國、德國、英國、意大利和丹麥等國家爭先推出物聯網相關發展策略,使物聯網規模不斷擴大。互聯網到物聯網的跨越,極大地推動了大數據的發展。物聯網是指把所有物品通過信息傳感設備與互聯網連接起來,實現智能化識別和管理。它從結構上分為四層,即實體層、感知層、網絡層和應用層。其每層都與數據的產生或者處理息息相關。大數據與物聯網的結合是機遇與挑戰并存。
首先,產生數據的平臺多樣化。從原來的個人電腦擴展為傳感器、智能手機、各種業務系統、平板電腦、監控錄像等,這使得感知層需要感知的數據呈現多樣化。目前主流的感知技術有視頻文字采集技術、紅外線技術、傳感器技術和藍牙技術等,但隨著感知的數據數量級的不斷增加,相應的感知技術也要不斷地改進和完善。其次,物聯網技術的局限性。事物的發展需要一個過程,處于發展初始階段的物聯網還受到一些技術的約束。在大數據的傳輸和處理方面,物聯網技術還存在通信距離短、外部環境適應力不強、異構網絡兼容性差等問題。傳感器鏈接的距離范圍是100米到1000米,不適合長距離的通信;當外部的環境發生變化,傳感器的穩定性能大幅度下降,對具有高性能計算存儲系統的安全帶來風險;物聯網的標準是建立在廣電網、通信網和互聯網等異構網的基礎之上,還沒有統一完善的標準體系。
(三)大數據與數據空間。大數據來自不同組織,它的跨域、分布、異構性以及海量的特點給傳統的數據庫管理系統帶來巨大挑戰,目前,管理著世界上最大數據的谷歌、雅虎和微軟等公司,都不使用傳統的數據管理系統,而是另辟蹊徑去尋找可以滿足大數據管理需要的技術。M.Franklin等人提出了數據空間的概念。數據空間是M.Franklin等人為應對信息量不斷增長以及數據信息管理需求而引入的一種信息管理新概念。
目前關于數據空間技術的研究主要集中在個人數據空間方面,并取得了一定成果。國外的研究工作主要以iMeMex和SEMEx兩個個人數據管理系統為代表。iMeMex由瑞士聯邦理工學院開發,它推動了信息抽取和查詢技術的進步,但缺點是不支持語義查詢;SEMEx由華盛頓大學開發,成功把語義關聯應用到實例中來高效提取信息。同時,麻省理工學院計算機科學系的David R.Karger等人研發了個人數據管理系統Haystaek,該系統采用了URF(Uniform Resource Identifier)半結構化數據模型統一表示用戶數據,體現了數據空間“pay as you go”的數據集成思想。美國華盛頓大學數據庫研究組的sharedviews項目實現了名為Homeview的原型系統,該系統能夠支持個人動態數據的共享,但數據的類型和共享方式有限。
在國內,數據空間技術已經開始受到廣泛關注。中國人民大學孟小峰教授等人對數據空間的概念、實現數據空間支撐平臺所需的關鍵技術進行了詳細的闡述與分析,并帶領中國人民大學網絡與移動數據管理實驗室研究團隊研發了具代表性的個人數據空間原型系統orientsPac。在綜合考慮數據的模型、組織形式和分類方法基礎上,提出了與數據相關的eorespaee模型和與任務相關的TaskSPace模型,但該系統的不足之處是用戶不能自己定義關聯。
綜上所述,以物聯網、云計算技術作為數據收集、數據管理手段,用數據空間技術來組織大數據,實現多層次、多粒度的大數據挖掘,是處理大規模數據行之有效的途徑,也符合大數據管理和服務的需求。
【參考文獻】
[1]孟小峰,慈祥.大數據的管理:概念、技術與挑戰[J].計算機研究與發展,2013(1)
[2]王濤,余順爭.基于機器學習的網絡流量分類研究進展[J].小型微型計算機系統,2012(5)
[3]袁平鵬,劉譜,張文婭,等.高可擴展的RDF數據存儲系統[J].計算機研究與發展,2012(10)
[4]孫揚,封孝生,唐九陽.多維可視化技術綜述[J].計算機科學,2008(11)
[5]王鵬.走進云計算[M].北京:人民郵電出版社,2009.
[6]寧煥生,徐群玉.全球物聯網發展及中國物聯網建設若干思考[J].電子學報,2010(11)
[7]A.Halevy,M.Franklin,and .Maier.Principles of Dataspace System. The Twenty-Fifth ACM SIGACT- SIGMOD-SIGART Symposium on Principles of Database Systems, Illinois,ACM,2006:1-9
[8]JP. Dittrich. A Platform for Personal Dataspace Management. SIGIR PIM Workshop.Personal Informat ion Management - A SIGIR 2006 Workshop.Seattle, CM.2006:40-43
[9]L.Blunschi.JP. Dittrich,OR. Guard. The iMeMex personal data space management system. Third Biennial Conference on Innovative Data Systems Research. Asilomar, ACM.2007:114-119
[10]Karger DR,Bakshi K,Huynh D,et al. A customizable general- purpose information management tool for end users of semistructured data. 2nd Biennial Conference on Innovative Data Systems Research. Asilomar ,ACM.2005:13-27
[11] Roxana G, Magdalena B, et al. Home views: peer-to-peer middle ware for personal data sharing applications.26th ACM SIGMOD-SIGACT-SIGART Symposium on Principles of Database Systems. Beijing,ACM. 2007:235-246
[12] OrientSpace[EB/OL].(2013-03-05)[2013-03-05].http:///