我國水產大數據及應用技術研究初探

摘要：隨著物聯網、移動互聯、智能終端的廣泛應用，農業跨步邁入大數據時代，工業4.0的興起，間接帶動農業4.0的快速發展，農業大數據逐漸上升到更高層次。在此背景下，本文從水產大數據著眼，闡述了其相關概念，對涉及水產大數據的各項應用技術進行介紹，并分析了我國水產大數據應用平臺未來發展面臨的挑戰和機遇。

關鍵詞：水產大數據；應用平臺；關鍵技術

中圖分類號：S9文獻標識號：A文章編號：1001-4942（2016）10-0152-05

隨著物聯網、云計算、移動互聯等新技術的興起以及社交網絡的發展和智能終端的普及，各行業中的數據量驟增，大數據時代悄然來臨。大數據泛指數據集的大小超過了目前主流軟件工具在合理時間內所能獲取、存儲、管理和分析的范圍[1]，具有Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實性）的“5V”特點[2]，數據形式多樣化、非結構化特征明顯，蘊含著巨大的應用價值，已經給互聯網技術、網絡經濟學、生物醫藥、環境科學等多個領域帶來了發展機遇[3]。2011年6月，麥肯錫研究院（MGL）發布研究報告《Big data： The next frontier for innovation， competition and productivity》，詳盡地分析了大數據的影響、關鍵技術和應用領域等方面，指出大數據將帶動未來生產力的發展和創新，并且能夠拉動消費需求增長[4]。

隨著大數據概念的興起，農業產業各環節也都紛紛提出自身領域的大數據概念。許世衛認為農業大數據是融合了農業地域性、季節性、多樣性、周期性等自身特征后產生的來源廣泛、類型多樣、結構復雜、具有潛在價值并難以應用通常方法處理和分析的數據集[5]。歐美和日韓等國信息化程度較高，通過建立全國范圍的農業信息服務網絡，全方位、多層次地收集、處理、分析涉農大數據，并實現數據資源共享，有力地促進了農作物生長以及農產品增產。水產大數據作為農業大數據的分支，其內涵及外延尚未有明確定義，但水產大數據已經應用到水產行業的生產經營中，成為指導生產經營的有力工具。

1水產大數據的概念及其應用技術

1.1水產大數據的概念

朱澤聞認為“水產大數據是把生產經營過程的相關數據進行采集，通過可追溯系統從生產到消費過程進行全方位的記錄，如生產環境、水域狀況、市場前景等數據，這些數據就構成了大數據的基礎。此外，還需要智能決策系統，包括專家庫、知識庫、決策庫等，指導水產業的生產經營活動，提高養殖生產效益” [6]。

基于大數據的概念及內涵，本文在分析總結前人關于大數據概念的基礎上提出了水產大數據的概念，即通過物聯網設備對水產養殖環境中的溫度、pH值、氧溶解量等數據進行采集，運用相關大數據分析處理平臺、技術對采集的數據進行分析處理，然后通過智能決策支持系統科學設置生產經營的各因素、各環節，從而真正利用數據來指導水產養殖業的生產經營。

1.2水產大數據涉及的應用技術

1.2.1數據采集技術數據采集是挖掘大數據價值的首要環節，是數據集成、分析和可視化的基礎。大數據來源主要有RFID射頻數據、傳感器數據、社交數據及移動互聯數據等。物聯網技術的應用使得水產大數據的來源更側重于RFID射頻數據和傳感器數據，涉及技術主要有數據采集技術、傳感器技術、信號處理技術、數據傳輸技術等方面，包括了數據傳感體系、網絡通信體系、傳感適配體系，實現對結構化、半結構化、非結構化的海量數據的智能化接入、傳輸、處理和管理等[7]。

1.2.2數據集成技術大數據時代，數據類型逐漸轉變為結構化數據、半結構化數據和非結構化數據的集合，其中充斥著無用的或是空值數據。大數據處理，首先要對采集到的數據進行預處理，從中提取出關系、實體和有效數據，經過關聯和聚合，采用統一結構來存儲[8]。在物聯網中，不同傳感器終端每天都會產生大量數據，而不同傳感器產生的數據格式或保存格式往往不同，這就會給后期的數據分析造成影響，因此需要改變數據格式使其具有統一的結構，以方便存儲和分析處理[9]。

1.2.3存儲和處理技術大數據存儲和處理是當前應用最廣泛的技術，最著名的當屬Apache Hadoop系列開源平臺，包括： HDFS、MapReduce、Pig、Hbase、Hive等子項目。傳統的關系數據管理技術擴展性能較差，無法勝任大數據分析任務，而以MapReduce為代表的非關系數據管理和分析技術以其良好的擴展性、容錯性和大規模并行處理優勢，逐漸成為大數據處理和存儲的主要技術手段；它能提供編程模型和框架，用于大規模計算機集群上編寫對大數據進行快速處理的并行化程序，便于數據快速處理和存儲[10，11]。

1.2.4數據分析技術大數據的分析與處理尚沒有絕對合適的工具，只有相對適用的工具。Hadoop是當前最為流行的大數據處理平臺。Hadoop最先是模仿GFS和MapReduce實現的云計算開源平臺。對Hadoop改進并將其應用于各種場景的大數據處理已成為業界研究熱點，研究成果多集中在Hadoop平臺性能改進、高效查詢處理、索引構建和使用、基于Hadoop的數據倉庫構建、Hadoop與數據庫系統的連接、數據挖掘、推薦系統等方面[12]。

1.2.5數據可視化技術該技術在農業領域的發展與應用仍處于初級階段，但其在模擬植物生長、虛擬立體農業、三維可視化的農產品發布、可視化仿真實驗等方面應用前景廣闊。目前應用最廣泛的可視化工具有R、Google Chart API、Tableau、ECharts等，隨著高質量圖形處理芯片、高性能計算機和多擴展外圍設備的發展，數據可視化技術將會進入各個領域。新技術的引入和發展進步必將改變水產業領域的面貌，為水產業科技進步增加新活力[13]。

2水產大數據應用中存在的問題

當前國家政策利好，院校和企業紛紛進駐大數據領域，技術進步發展快速，推動了大數據技術的發展和普及，為水產大數據的發展打下堅實的基礎[14]。但由于大數據概念興起時間短，總體發展水平還處于上升階段，將其應用在水產業生產經營中，還存在許多問題。

2.1大數據應用核心技術落后

就目前我國發展情況來看，與水產大數據相關的現代化裝備生產應用較少，水產養殖裝備自動化水平落后，使水產大數據的收集面臨難題。另外，我國大數據的現實應用還處于起步階段，涉及水產業大數據應用的關鍵技術還有待進一步研究，相關水域數據產品和設備技術研發還需加強，這些原因使我國大數據技術推廣難度加大且裝備和后期維護費用高昂，影響用戶使用的積極性。水域環境的復雜性，需要微型化、精準化、抗侵蝕且性能良好的傳感器，而我國相關方面的傳感器研發生產技術落后，往往需要從國外進口，費用高昂，基層農戶難以接受，大數據技術面臨落地難題，制約著我國現代水產業的規?；l展[15]。

2.2水產大數據應用標準尚不明確

我國還沒有出臺完整的水產大數據應用標準體系，收集的數據信息不完整、不全面，造成現有業內標準制定很不規范，與市場應用脫節，加上水產大數據應用市場分散、技術設備制造和服務成本高，水產業發展面臨惡性循環。我國水域面積廣闊，不同物種水域生長環境和氣候不同，需要物聯網技術和監測設備進行水域環境監測和分析，指導具體的生產活動，而落后的物聯網技術使得我國水產業存在嚴重的數據缺失，很難運用到實際中，制約著我國水產業現代化的發展[16]。

2.3大數據應用分析平臺營銷推廣手段不成熟

盡管很多企業已經進駐到水產大數據平臺的研發、建設和推廣工作中，但是缺乏成熟的營銷推廣手段，使得我國水產大數據使用受限。就目前水產大數據應用市場現狀來看，市場需求仍以大數據基礎設備采購、網絡接入為主，這是由發展初期大環境決定的，但我國水域傳感控制設備等物聯網關鍵研發技術還比較落后，相關設備批量生產困難，致使相關設備和網絡費用價格昂貴，大數據的優勢無法在短時間內轉化成現實生產力，無形中使得水產大數據應用面臨著更大的推廣難題[6]。

2.4缺乏水產大數據技術專業人才

水產大數據的使用要求技術人員對農學、通信、軟件編程等方面知識都有較高的了解和掌握水平，而我國缺乏基礎設備傳感器的開發、運算評價模型、數據存儲和分析挖掘、物聯網設備鋪設維修等方面的復合型人才，加之我國跨學科教育優勢還沒有體現出來，致使大數據技術發展缺乏關鍵的人才資源。要想水產大數據能夠發揮其真正的價值，必須培養跨學科的復合型人才，只有這樣才能保證研發出符合學科發展和實際需要的水產大數據平臺，更好地為水產業的生產經營服務[17]。

3我國建設和發展水產大數據應用平臺面臨的挑戰和機遇

目前，我國水產業仍以傳統水產養殖為主，信息化程度較低，加上大數據技術在我國應用還處于上升發展階段，要建設能夠真正為水產業生產經營提供優質服務、輔助決策的大數據應用平臺，還面臨諸多挑戰和機遇。

3.1我國建設和發展水產大數據應用平臺面臨的挑戰

3.1.1水產數據積累少且量化度低我國水產業屬于粗放產業，生產經營以傳統經驗生產為主且大多數以家庭為單位，生產規模小，不注重數據的積累。據有關統計我國水產業實際所儲存的數據僅為美國的6%，日本的10%，中西部水產業數據累計更少，其中能被有效利用的數據少之又少[18]。雖然近年來物聯網技術的使用可將整個水產養殖過程數據進行比較詳細的記錄，但其應用范圍有限，也沒有大規模普及，獲得的數據量仍然很小，信息化進程緩慢，傳統的經驗數據短時間內無法轉化成通用的現實生產力，而且我國的水域環境變化大，南北水產品種差異大，生態環境多樣，很難找到共通的信息化方式來實現水產業的信息化[19]。

3.1.2水產大數據的異構性使其融合難物聯網技術下水產大數據來源主要分為物聯網中射頻和傳感設備收集的數據、農業信息化網站數據以及各方移動終端和數據平臺公開的數據等，致使數據類型從以結構化數據為主轉向結構化、半結構化、非結構化三者的融合，給數據的存儲、處理和分析造成不便。怎樣將這些異構數據進行格式轉換、統一存儲，怎樣運用適當的分析工具和分析方法來統一分析異構性數據，將是今后發展水產大數據平臺面臨的難題。另外，我國水產業生產現狀仍以分散式經營為主，與歐美發達國家相比，生產水平落后，使得水產業生產很難在全國范圍內形成統一規劃，也使得水產大數據的收集、存儲及融合變得困難[20]。

3.1.3水產大數據的實時性差 信息具有時效性，隨著時間的推移，數據中所蘊含的知識價值往往也在衰減，因此實時性也是水產大數據分析過程中必須考慮的問題。尤其是在與天氣、環境狀況相關的數據分析方面，分析不及時可能會導致環境災害的發生。由于數據量密集，能否在所能忍受的時間內完成指定工作也成為衡量大數據分析的主要方式[21]。另外數據的實時性還體現在收集到的數據能否及時上傳，如果收集到的數據不能及時上傳到數據庫，就會造成數據缺失和不完整，致使分析結果不能準確地指導生產實踐。實時處理和存儲要求數據庫能夠瞬時處理不同格式的數據，進行統一轉換格式和存儲，但是現實中的數據庫設計理念創新性不足，在面對多種類型的數據時還不能達到即時統一處理，這就要求新型的數據庫系統以不斷變化的角度對待數據，增加了數據實時收集、處理、存儲和分析的難度[22]。

3.1.4水產大數據的挖掘能力有限 水產大數據的異構性導致數據類型多樣，數據集過大，傳統的數據挖掘、機器學習等算法的使用對象都是傳統數據集，如果將這些方法用于大數據的分析處理可能會導致數據處理效率低甚至無法使用的情況，因此，這些方法并不能直接適用于水產大數據的挖掘。水產大數據應用的重要特點就是實時性，算法的準確率不再是唯一指標，這就需要在處理數據的實時性和準確性上找到突破口，確保實時處理數據結果的準確性[23]。

3.2我國發展水產大數據應用平臺面臨的機遇

雖然我國發展水產大數據面臨著上述挑戰，但也應清醒地認識到其中蘊藏的機遇。搶搭農業4.0快車，借助先進的信息化理念和物聯網技術提升傳統水產業的發展機遇，即在物聯網技術基礎上建設全國范圍內的水產業大數據應用平臺，科學指導水產業的生產經營，使中國水產業擺脫粗放模式[24]。就目前我國水產業發展現狀來看，建設水產業大數據應用平臺是可行的，主要體現在以下方面：

①國家和地方政府均鼓勵“互聯網+”環境下的農業創新活動，提出利用信息化、機械化與科技創新，合力打造現代高效農業，加快推進農業現代化的方針政策，為水產業大數據應用平臺的建設發展提供了良好的契機。

②我國大數據、云計算、移動互聯等技術，雖然起步較晚，但成果豐富。水產大數據平臺的建設可以吸取其它行業大數據平臺建設的經驗和教訓，根據自身實際進行相應的平臺建設和開發，這對于水產業大數據平臺的頂層設計、架構設計、應用模式設計以及營銷推廣模式的確立具有十分重要的價值[25]。

③水產裝備、服務終端和服務體系的應用普及以及院校和企業的大力推廣，使用戶對于物聯網技術有了初步的認識，并且部分用戶已經開始將物聯網技術用于生產活動中，已經開始產生大量的水產大數據，各種成熟的信息技術平臺的應用可以方便地收集、儲存和管理這些數據，為用戶的科學生產提供數據支持。

④當前水產業大數據平臺的建設和應用完全可以跨越傳統行業的信息化發展階段，直接應用“互聯網+”發展戰略，推動傳統水產業換代升級，這種做法可以使大數據平臺在短時間內產生巨大的社會和經濟效益，同時也可以節約傳統信息化建設中大量人力和資金的投入[26]。

4結語

發展和應用水產大數據技術，是水產業實現信息化和智能化生產、銷售、管理及科研深度融合的重要手段，將水產生產經營環境中涉及的物聯網技術、大數據技術、數據化思維等融合，使其互為前提，才能保證大數據在水產業中真正發揮其價值，推動我國水產業的現代化進程；進一步利用水產大數據，通過相關分析和挖掘技術，可以提高信息的綜合利用率，發掘隱藏在結構化和非結構化數據中深層的價值，用于水產市場的未來預期、風險規避、商機把握，提高我國宏觀層面水產業政策制定的科學性和合理性，提升我國水產業科研和生產的創新水平及創新能力，加快我國水產業的現代化進程。

參考文獻：

[1]陶雪嬌，胡曉峰，劉洋.大數據研究綜述[J].系統仿真學報，2013，25（8）：142-146.

[2]姚遠，趙榮彩.基于編譯指示的向量化方法[J].計算機工程，2012，38（12）：272-275.

[3]劉曉英.《大數據時代》閱讀的啟示與思考[J].高校圖書館工作，2015，35（5）：84-86.

[4]Manyika J， Chui M， Brown B， et al. Big data： the next frontier for innovation， competition， and productivity[R]. McKinsey Global Institute， 2011：1-137.

[5]許世衛.農業大數據與農產品監測預警[J].中國農業科技導報，2014，16（5）： 14-20.

[6]朱澤.智能化養殖開啟漁業“大數據時代”[J].漁業致富指南，2015（2）：3-4.

[7]王文生，郭雷風.農業大數據及其應用展望[J].江蘇農業科學，2015，43（9）：1-5.

[8]孟祥寶，謝秋波，劉海峰.農業大數據應用體系架構和平臺建設[J].廣東農業科學，2014（14）：173-177.

[9]張浩然，李中良，鄒騰飛，等.農業大數據綜述[J].計算機科學，2014，41（11）： 387-392.

[10]劉智慧，張泉靈.大數據技術研究綜述[J].浙江大學學報（工學版），2014，48（6）：957-972.

[11]吳亞坤，郭海旭，王曉明.大數據技術研究綜述[J].遼寧大學學報（自然科學版）， 2015，42（3）：236-242.

[12]張鋒軍.大數據技術研究綜述[J].通信技術，2014，47（11）：1240-1248.

[13]董慶華.數據可視化技術在農業領域的應用探討[J].山西農業大學學報，2007， 27（5）：52-53.

[14]谷悅.“互聯網+水產”的發展之路[J].中國食品，2015（22）：104-107.

[15]董雙林.高效低碳——中國水產養殖業發展的必由之路[J].水產學報，2011，35 （10）：1595-1599.

[16]陳威，郭書普.中國農業信息化技術發展現狀及存在的問題[J].農業工程學報，2013，29（22）：196-202.

[17]左雄.我國農業信息化研究綜述[J].安徽農業科學， 2007， 35（28）：9092-9094.

[18]周洵.大數據技術與中國漁業[J].中國水產，2015（8）：31-33.

[19]李道亮.我國農業信息化面臨的新機遇與發展建議[J].山東農業科學，2013，45（10）：125-128.

[20]郭承坤，劉延忠，陳英義，等.發展農業大數據的主要問題及主要任務[J].安徽農業科學，2014， 42（27）：9642-9645.

[21]張新民.中國農業信息化發展的現狀與前景展望[J].農業經濟，2011（8）：35-37.

[22]郭平，劉波，沈岳.農業云大數據自組織推送關鍵技術綜述[J].軟件，2013，34（3）：1-6.

[23]李業玲.農業大數據在農業經濟管理中的作用[J].農村經濟與科技，2015，26（7）：196-198.

[24]王強.大數據技術在農業領域的應用分析及建設策略[J].新疆農業科技，2015（1）：1-4.

[25]孫忠富，杜克明，鄭飛翔，等.大數據在智慧農業中研究與應用展望[J].中國農業科技導報，2013，15（6）：63-71.

[26]呂田.智能化養殖開啟漁業新時代[J].中國食品，2015（13）：114-115.