41款實用工具，數據獲取、清洗、建模、可視化都有了

諸如結構式訪談、非結構式訪談、開放式問卷調查、封閉式問卷調查、記錄評論和觀察等技術統稱為事實調查方法。這種事實調查方法和其他數據獲取方法可以採取自動化，而不必使用人工方法。

使用具有專用軟體的物理設備（如終端、感測器和掃描儀等）也可用於管理物理設備和系統之間的介面。隨後，這些數據可以通過典型的編程語言（如Java、Visual Basic、C 、MatLab和Lisp）來進行部分管理。也可使用開源和專用的數據採集軟體，如MIDAS（最大集成數據採集系統）。

通常，數據採集系統是作為一個專用的獨立系統而開發的，這種系統被稱為數據記錄器。在有特殊需求的情況下，系統的工作模型已準備好，並且也已呈現給了數據科學家。這樣的原型有助於用戶在系統實際構建之前測試數據獲取機制。這有助於收集額外要求並測試已提出系統的可行性。

這裡有發現更高層次內容的知識獲取和機器學習方法（例如從資源中自動地獲取信息和知識），這種知識獲取方法的例子如概念圖、審計、神經網路和其他與自動知識發現相關的方法。

在其他工具中，數據清洗工具、數據管理和建模工具以及數據可視化工具都非常重要。本文列出了不同類別中的一些主要工具。

01

數據清洗工具

一旦完成數據收集，便需要檢查其清潔度。數據清洗通常稱為數據凈化，即其數據從源中刪除或更正臟數據的過程。數據聲明程序的目標是識別和消除數據中的錯誤，為進一步分析、建模和可視化提供一致的數據。

在數據項層級上，一些不正確的數據通過適當的驗證被拒絕。在諸如文件和資料庫的同構數據集合中，不一致程度和錯誤數量較少。在來自多個數據源的具有異構性質的大型資料庫（如數據倉庫、聯邦資料庫系統或全球基於Web的系統）中，數據清洗變得至關重要。

產生這些問題的原因有：

（1）不同的格式

（2）冗餘數據

（3）數據使用的術語和標準不同

（4）合併數據使用的方法

刪除不準確的、不完整或不合理的數據會提高數據的質量。缺失值、特殊值、範圍檢查、演繹修正、插值、最小值調整、錯字、審計和工作流規範檢查等是數據清洗的常用機制。

除了編程語言外，常用的數據清理工具如下所列。

1. Lavastorm分析

用於分析引擎等產品。

2. IBM InfoSphere信息伺服器

分析、理解、清洗、監視、轉換和傳輸數據。

http://www-03.ibm.com/software/products/en/infosphere-information-server/

3. SAS數據質量伺服器

清洗數據，並在數據流管理伺服器上執行作業和服務。

4. Oracle的主數據管理（MDM）

是處理大量數據，並且提供諸如合併、清洗、擴充和同步企業的關鍵業務數據對象等服務的解決方案。

http://www.oracle.com/partners/en/most-popular-resources/059010.html

5. 益百利 QAS清洗服務

為地址驗證提供CASS認證（編碼精度支持系統）。

6. NetProspex

為數據清理、追加以及正在進行的市場數據管理提供支持。在印度，它現在是鄧白氏信息服務公司的一部分，其提供數據管理轉換和數據質量程序。

7. Equifax

為資料庫管理、數據集成和數據分析提供解決方案。

8. CCR Data

清理並審計數據。該公司研發了ADAM—數據清理平台。

9. Oceanosinc公司提供的解決方案

用於數據清理、聯繫發現和商業智能。

10. Nneolaki

提供的工具用於數據收集、清理、附加和管理。

http://neolaki.net/

11. 數據清洗產品

為數據清洗提供方案。

02

數據管理和建模工具

數據科學實踐中的其他重要活動是數據管理和數據準備，其也被稱作數據整理。數據整理是將數據轉換或映射為格式良好的數據流的過程，以便數據可以順利地用於後續處理。

實際上，該過程允許通過工具便利和自動地使用數據來進行進一步的活動。排序、解析、提取、分解和恢複數據是數據管理階段的主要活動。諸如Pearl、R、Python等編程工具以及來自編程語言和軟體包的一些現成庫可用於支持數據管理活動。

一旦數據準備好進行分析，諸如線性回歸、運籌學方法以及決策支持系統等技術便通常用於數據建模。在這裡，數據建模的基本目標是，為了提高商業洞察力進而確定乾淨且有效的數據實體之間的關係。

致力於這個階段的數據科學家或專家被稱為數據建模者。數據建模可以在概念層面、企業層面和物理層面完成。以下是支持數據建模的主要工具。

12. CA ERwin數據模擬

為管理複雜數據提供了簡單的可視化界面。

http://erwin.com/products/data-modeler

13. Database Workbench

為使用多個資料庫進行開發提供了一個單一的開發環境。

http://www.upscene.com/database_workbench/

14. DeZign for Databases

是一個支持資料庫設計和建模的工具。它還為資料庫應用程序開發提供了複雜的可視化數據建模環境。

http://www.datanamic.com/dezign/

15. Enterprise Architect

是用於數據建模和軟體工程的完全集成的圖形支持工具。

http://www.sparxsystems.com/products/ea/

16. ER/Studio

為數據管理專業人員提供協作機制以構建和維護企業級數據模型和元數據存儲庫。

http://www.embarcadero.com/products/er-studio

17. InfoSphere 數據架構師（理性數據架構師）

是一種協作式的數據設計方案。它簡化了倉庫設計、維度建模以及管理任務的變更。

http://www-03.ibm.com/software/products/en/ibminfodataarch/

18. ModelRight

為資料庫設計人員提供了諸如資料庫設計、圖形支持、報告和可視化界面等活動的支持。

19. MySQL Workbench

為資料庫架構師、開發人員和資料庫管理員提供了統一的可視化工具。MySQL Workbench還提供數據建模、SQL開發和綜合管理。

http://www.mysql.com/products/workbench/

20. Navicat數據模擬器

有助於創建高質量的邏輯數據模型和物理數據模型。

http://www.navicat.com/products/navicat-data-modeler

21. Open ModelSphere

是一款獨立於平台且免費的建模工具，可用作開源軟體。它為數據建模和軟體開發的所有階段提供了普遍支持。

22. Oracle SQL Developer Data Modeler

是一款用於創建、瀏覽和編輯數據模型的免費圖形工具。它支持邏輯的、關係的、物理的、多維的以及數據類型的模型。

http://www.oracle.com/technetwork/developer-tools/datamodeler/overview/index.html

23. PowerDesigner

管理設計時間更改和元數據。

24. Software Ideas Modeler

通過諸如UML、業務流程模型和符號（BPMN）、系統建模語言（SysML）等的標準圖以及多圖表，為建模提供支持。

https://www.softwareideas.net/

25. SQLyog

是一個強大的MySQL管理者和管理工具。

https://www.webyog.com/

26. Toad Data Modeler

是一個資料庫設計工具，其用於設計新的結構、實體關係圖和SQL腳本生成器。

http://www.toad-data-modeler.com/

03

數據可視化工具

數據可視化是指數據的圖形表示。數據的可視化使得理解數據和溝通變得更容易。

有很多可用於數據可視化的工具，下面列出了一些常用可視化工具：

27. Dygraphs

是一個快速且靈活的開源JavaScript圖表庫，其允許用戶探索和解釋密集的數據集。Dygraphs是一個高度可定製的工具。

http://dygraphs.com/

28. ZingChart

是一個JavaScript圖表庫，其能為大量數據提供快速和互動式的圖表。

29. InstantAtlas

以有效的視覺方式提供互動式示意圖和報告軟體。

30. Timeline

可以製作出美觀的互動時間表。

http://www.simile-widgets.org/timeline/

31. Exhibit

是由麻省理工學院開發的完全開源軟體，其有助於創建互動式的示意圖和其他基於數據的可視化。

http://www.simile-widgets.org/exhibit/

32. Modest Maps

對於想要使用互動式示意圖的設計者和開發者來說，是一個免費的圖書館。

http://modestmaps.com/

33. Leaflet

是適用於移動友好互動式示意圖的現代開源JavaScript庫。

http://lea?etjs.com/

34. Visual.ly

有助於創建視覺表徵。

35. Visualize Free

構建互動式可視化，用來說明簡單圖表不易表示的數據。

http://visualizefree.com/index.jsp

36. 多眼

IBM研發的「多眼」可以幫助用戶從數據集創建可視化並啟用數據分析。

http://www-969.ibm.com/software/analytics/manyeyes/

37. D3.js

是一個JavaScript庫，D3.js從多個數據源使用HTML、SVG和CSS來生成圖形和圖表。

http://d3js.org/

38. Google Charts

提供一種機制來以多種互動式圖表（如線形圖、複雜的分層樹形圖等）的形式對數據進行可視化。

https://developers.google.com/chart/interactive/docs/

39. Crossfilter

是一個JavaScript庫，其用於探索瀏覽器中的大規模多變數數據集。此外，Crossfilter還提供可協調的3D可視化。

http://square.github.io/cross?lter/

40. Polymaps

在地圖上提供了快速且多縮放的數據集演示。

http://polymaps.org/

41. Gephi

是一款適用於各種網路、複雜系統、動態和分層圖形的互動式的可視化探索平台。它支持探索性數據分析、鏈接分析、社交網路分析以及生物網路分析。該工具為已識別的類似數據集呈現彩色區域。

https://gephi.github.io/

除了上述工具和技術之外，數據科學領域還需要其他更多的專用新工具。由於數據科學領域是來自多個學科的技術聯盟，並且具有無處不在的應用，因此數據科學在研究和開發中必須被賦予最重要的地位。此外，數據科學領域還需要文檔編製、新的技術和模型。

典型的模型和技術可能不適合已獲取的數據集，這些數據需要典型方法外的支持。在這裡，人工智慧技術可能會有很大的貢獻。

本文摘編自《大數據分析與演算法》，經出版方授權發布。

推薦理由：

本書詳細介紹了數據科學領域的相關智能技術，包括數據分析、基本學習演算法、模糊邏輯、人工神經網路、基因演算法和進化計算、使用R語言進行大數據分析等。本書可以作為高等院校計算機專業本科生和研究生，以及其他專業研究生的人工智慧課程的教材，也可以作為相關教師和數據分析技術人員的參考書。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！