大數據時代，和學生一起get到這些數據獲取小技巧！
本文共3150字，閱讀大約8分鐘
@侯勇hyong 說：今天為大家推薦一些能夠用上的數據獲取方式和實用小工具，提高工作效率，多渠道信息獲取打開方式
「
在大數據時代，教師無論是進行學術研究，還是備課、引導學生在課堂上進行深度探究，都需要在茫茫的互聯網上尋找大量的信息、數據；同時，在互聯網高度發達的今天，培養學生高效地獲取數據的能力也是十分重要的。
」
1
公開的資料庫
國家數據
數據來源於中國國家統計局，包含了我國經濟民生等多個方面的數據，並且在月度、季度、年度都有覆蓋，較為全面和權威，對於社會科學的研究很有幫助。最關鍵的是，網站簡潔美觀，還有專門的可視化讀物。
CEIC
最完整的一套超過128個國家的經濟數據，能夠精確查找GDP, CPI, 進口，出口，外資直接投資，零售，銷售，以及國際利率等深度數據。其中的「中國經濟資料庫」收編了300,000多條時間序列數據，數據內容涵蓋宏觀經濟數據、行業經濟數據和地區經濟數據。
wind（萬得）
萬得被譽為中國的Bloomberg，在金融業有著全面的數據覆蓋，金融數據的類目更新非常快，據說很受國內的商業分析者和投資人的親睞。
搜數網
已載入到搜數網站的統計資料達到7,874本,涵蓋1,761,009張統計表格和364,580,479個統計數據，彙集了中國資訊行自92年以來收集的所有統計和調查數據，並提供多樣化的搜索功能。
中國統計信息網
國家統計局的官方網站，彙集了海量的全國各級政府各年度的國民經濟和社會發展統計信息，建立了以統計公報為主，統計年鑒、階段發展數據、統計分析、經濟新聞、主要統計指標排行等。
亞馬遜aws
http://aws.amazon.com/cn/datasets/?nc1=h_ls
來自亞馬遜的跨科學雲數據平台，包含化學、生物、經濟等多個領域的數據集。
figshare
https://figshare.com/
研究成果共享平台，在這裡你會發現來自世界的大牛們的研究成果分享，同時get其中的研究數據，內容很有啟發性，網站頗具設計感。
github
https://github.com/caesar0301/awesome-public-datasets
如果覺得前面的數據源還不夠，github上的大神已經為大家整理好了一個非常全面的數據獲取渠道，包含各個細分領域的資料庫資源，自然科學和社會科學的覆蓋都很全面，簡直是做研究和數據分析的利器。
2
數據交易平台
優易數
由國家信息中心發起，擁有國家級信息資源的數據平台，國內領先的數據交易平台。平台有B2B、B2C兩種交易模式，包含政務、社會、社交、教育、消費、交通、能源、金融、健康等多個領域的數據資源。
數據堂
專註於互聯網綜合數據交易，提供數據交易、處理和數據API服務，包含語音識別、醫療健康、交通地理、電子商務、社交網路、圖像識別等方面的數據。
3
網路指數
百度指數
大家都很熟悉的指數查詢平台，可以根據指數的變化查看某個主題在各個時間段受關注的情況，進行趨勢分析、輿情預測有很好的指導作用。除了關注趨勢之外，還有需求分析、人群畫像等精準分析的工具，對於市場調研來說具有很好的參考意義。同樣的另外兩個搜索引擎搜狗、360也有類似的產品，都可以作為參考。
阿里指數
國內權威的商品交易分析工具，可以按地域、按行業查看商品搜索和交易數據，基於淘寶、天貓和1688平台的交易數據基本能夠看出國內商品交易的概況，對於趨勢分析、行業觀察意義不小。
艾瑞諮詢
艾瑞作為老牌的互聯網研究機構，在數據的沉澱和數據分析上都有得天獨厚的優勢，在互聯網的趨勢和行業發展數據分析上面比較權威，艾瑞的互聯網分析報告可以說是互聯網研究的必讀刊物。
友盟指數
友盟在移動互聯網應用數據統計和分析具有較為全面的統計和分析，對於研究移動端產品、做市場調研、用戶行為分析很有幫助。除了友盟指數，友盟的互聯網報告同樣是了解互聯網趨勢的優秀讀物。
愛奇藝指數
愛奇藝指數是專門針對視頻的播放行為、趨勢的分析平台，對於互聯網視頻的播放有著全面的統計和分析，涉及到播放趨勢、播放設備、用戶畫像、地域分布、等多個方面。由於愛奇藝龐大的用戶基數，該指數基本可以說明實際情況。
貓眼專業版
電影票房統計分析平台，貓眼專業版有實時的票房統計，影片的排盤情況、上座率和影院數據，對於當前電影的分析是必不可少的。
4
網路採集器
網路採集器是通過軟體的形式實現簡單快捷地採集網路上分散的內容，具有很好的內容收集作用，而且不需要技術成本，被很多用戶作為初級的採集工具。
火車採集器
一款專業的互聯網數據抓取、處理、分析，挖掘軟體，可以靈活迅速地抓取網頁上散亂分布的數據信息，並通過一系列的分析處理，準確挖掘出所需數據，最常用的就是採集某些網站的文字、圖片、數據等在線資源。介面比較齊全，支持的擴展比較好用，懂代碼的話，可以使用PHP或C#開發任意功能的擴展。
八爪魚
簡單實用的採集器，功能齊全，操作簡單，不用寫規則。特有的雲採集，關機也可以在雲伺服器上運行採集任務。
集搜客
一款簡單易用的網頁信息抓取軟體,能夠抓取網頁文字、圖表、超鏈接等多種網頁元素，提供好用的網頁抓取軟體、數據挖掘攻略、行業資訊和前沿科技等。
5
小工具
Web Plot Digitizer
http://arohatgi.info/WebPlotDigitizer/app/
比如我們在查看期刊文獻的時候看到一張成型的圖表，但其本身數據是缺失的，你想獲得這個圖表的相關數據怎麼辦？有了這個小工具就非常easy了。直接上傳我們需要獲得數據的圖表，如下：
當然並不推薦用這個作為量化分析的依賴，對於定性的分析，做ppt級的數據統計分析就足夠了。
當然並不推薦用這個作為量化分析的依賴，對於定性的分析，做ppt級的數據統計分析就足夠了。
you-get
https://you-get.org/
這是一個程序員基於python 3開發的項目，已經在github上面開源，支持64個網站，包括優酷、土豆、愛奇藝、b站、酷狗音樂、蝦米……總之你能想到的網站都有! 還有一個黑科技的地方，即使是名單上沒有的網站，當你輸入鏈接，程序也會猜測你想要下載什麼，然後幫你下載。
6
數據導航
收集數據是一種能力，學習收集數據也是一種能力，數據的來源是沒有窮盡的，轉換一種思維，你就可以獲得不一樣的數據，下面推薦幾個可以用到的大數據導航，從這裡面你可能會發現一些你自己想要的東西。每個人喜歡的收集數據的渠道不盡相同，只有盡量多地去見識和實踐才會發現更多的適合自己的數據獲取方式。
199IT大數據導航
數據分析網導航
大數據人導航
（文章來源：百度新聞實驗室、酷學實驗室）
TAG:侯勇hyong |