8分鐘前 河北政府檔案管理價格承諾守信 興源科創[興源科創191f828]內容：智慧檔案館大數據處理過程

（1）采集

大數據的采集是指利用多個數據庫來接收發自客戶端（Web、App或者傳感器形式等）的數據，并且用戶可以通過這些數據庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型數據庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL數據庫也常用于數據的采集。

（2）導入/預處理

雖然采集端本身會有很多數據庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式數據庫，或者分布式存儲集群，并且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。

導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鐘的導入量經常會達到百兆，甚至千兆級別。

（3）統計/分析

統計與分析主要利用分布式數據庫，或者分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存儲Infobright等，而一些批處理，或者基于半結構化數據的需求可以使用Hadoop。

統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的占用。

（4）挖掘

與前面統計和分析過程不同的是，數據挖掘一般沒有什么預先設定好的主題，主要是在現有數據上面進行基于各種算法的計算，從而起到預測（Predict）的效果，從而實現一些高層級數據分析的需求。比較典型算法有用于聚類的Kmeans、用于統計學習的SVM和用于分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。

實現房產測繪檔案數字化管理急需解決的問題 房產測繪檔案數字化建設發展不平衡

由于各地區的經濟發展水平不同，且房產測繪檔案數字化管理的進程也各不相同。有的地區按系統建立了網站和局域網，實現了計算機輔助檔案管理；有的地區只是把房產測繪基礎信息、檔案目錄輸入計算機，資料檢索等仍習慣于手工操作，檔案管理基本還是紙質化，房產測繪檔案數字化管理仍未起步；有的地區干脆完全采用紙質化手工管理。

房產測繪檔案管理隊伍素質偏低

在檔案數字化建設過程中，檔案管理人員是關鍵因素，各種軟、硬件都必須通過檔案管理人員才能發揮作用。由于傳統的檔案管理模式只是紙質材料的收集整理和簡單的編號存放，致使長期以來從事檔案管理的人員素質整體偏低，技能提高緩慢，既懂計算機網絡技術、又懂檔案管理的復合性人才嚴重缺乏，影響了房產測繪檔案數字化管理的正常開展。

什么是智慧檔案館一體化建設？ 一體化建設是指在“信息化” “物聯網” “大數據”等新型信息技術不斷革新的環境下，傳統檔案室硬件條件和環境已不能夠滿足現代檔案管理信息化的需求，老舊檔案館（室）急需改造升級為智慧檔案館（室）， 滿足新形勢下檔案工作的應用需要，智慧檔案管理是對電子檔案和實體檔案進行同步管理智能電子檔案管理系統檔案庫房安全管理系統、 檔案保管環境智能管理系統、檔案存儲與文備系統等幾大系統，系統之間可實現數據相互共享、聯動協作，滿足局域網同城或異地云端訪問的能力，通過智慧檔案管理，實現智慧檔案感知協同處置功能；實現對檔案實體的智能化識別、 定位、跟蹤 監控；實現對檔案至智能密集架、空氣恒濕凈化一體設備、安防設備， 門禁設備等智能化巡檢與即時處理；實現檔案管理人員、檔案設備 實物檔案、 檔案環境等全方面感知氣資源整合利用，滿足各級檔案管理單位的實際檔案管理的實際應用需求，較大化保護和挖掘檔案價值，使檔室管理工作的變得更加安全、 便利、智能有效，助力檔案管理部門檔案管理工作更上一層樓。