10個關於大數據技術的常見誤解

如果一點點數據就是好的,那麼很多數據肯定會更好,對吧?那就好像在溫暖的夏日,涼爽的微風會讓你感覺很好,然後龍捲風會讓你感到欣喜若狂。

大數據的更好的比喻可能是一個高興的冠軍賽馬：通過適當的訓練和有才華的騎師,純種可以設置課程記錄——但減去訓練和騎手,強大的動物永遠不會進入起跑門。

為了確保您的組織的大數據計劃保持正軌,您需要消除這10個關於該技術的常見誤解。

大數據只是指「大量數據」

大數據的核心在於其描述了結構化或非結構化數據如何與社交媒體分析,物聯網數據和其他外部來源相結合,以說明「更大的故事」。這個故事可能是組織運作的宏觀描述,也可能是使用傳統分析方法無法捕捉的大圖。從情報收集的角度來看,所涉及的數據量的簡單測量是微不足道的。

大數據需要非常乾淨

在業務分析領域,沒有「太快」這種。 相反,在IT世界裡,也沒有「投入垃圾,產生黃金」的情況。你的資料能有多麼乾淨呢?找出的一個方法是運行您的分析應用程序,這可以識別您的數據收集中的缺點。一旦解決了這些弱點,再次運行分析來突出顯示「乾淨」區域。

所有人類分析人員將被演算法所取代

數據科學家的建議並不總是由業務經理在前線執行。行業主管Arijit Sengupta在TechRepublic的一篇文章中指出,這些建議通常比科學家項目更難實施。然而,依賴於機器學習演算法太多也可能同樣具有挑戰性。Sengupta說機器演算法告訴你該怎麼做,但是它們不能解釋你為什麼這樣做。這使得難以將分析與公司其他戰略規劃相結合。

數據湖是一件大事

據豐田研究院的數據科學家吉姆·阿德勒(Jim Adler)說,一些IT經理設想的巨大的存儲倉庫根本不存在大量的結構化和非結構化數據。 組織不會隨意將其所有數據轉儲到一個共享池中。 Adler表示:「這些數據在一個鼓勵」集中專業知識「的部門筒倉中」精心策劃「。 這是提供遵守和其他治理需求所需的透明度和問責制的唯一途徑。

演算法是無法預測的

不久前,有關Google流感趨勢項目的大量炒作聲稱,它們比美國疾病控制中心和其他健康信息服務更快,更準確地預測了流感疫情的位置。正如紐約客人米歇爾·尼胡斯(Michele Nijhuis)在2017年6月3日寫道,文章認為,人們搜索流感相關辭彙將準確地預測疫情即將爆發的地區。事實上,簡單地繪製局部溫度是一個更準確的預測方法。

谷歌的流感預測演算法陷入了一個普遍的大數據陷阱 - 它造成了無意義的相關性,如連接高中籃球比賽和流感爆發,因為兩者都發生在冬季。當數據挖掘在大量數據上運行時,更有可能在具有統計意義但完全無意義的信息之間遇到關係。一個例子是將緬因州的離婚率與美國人均黃金的人均消費掛鉤:儘管沒有任何現實世界的意義,但這兩個數字確實存在「統計上顯著的」關係。

您無法在虛擬化基礎架構上運行大數據應用程序

大約10年前,當「大數據」首次出現在人們的屏幕上時,它是Apache Hadoop的代名詞。 正如VMware的賈斯汀·默里(Justin Murray)於2017年5月12日寫的「內部大數據」一文,該術語現在涵蓋了從NoSQL(MongoDB,Apache Cassandra)到Apache Spark的一系列技術。

批評者以前質疑Hadoop在虛擬機上的性能,但Murray指出,Hadoop可以在虛擬機上擴展性能,與裸機相當,並且更有效地利用了集群資源。 Murray也引發了虛擬機的基本特性需要存儲區域網路(SAN)的誤解。事實上,廠商經常推薦直接連接存儲,這樣可以提供更好的性能和更低的成本。

機器學習與AI相同

在大量數據中識別模式的演算法與能夠基於數據模式制定邏輯結論的演算法之間的差距更像是一個差距。 ITProPortal的Vineet Jain在2017年5月26日寫道,機器學習使用統計解釋來生成預測模型。 這是演算法背後的技術,它根據過去的購買預測一個人有可能購買什麼,或者根據他們的聽力歷史,他們可能喜歡什麼音樂。

與這些演算法一樣聰明,他們與實現人造智能的目標相去甚遠,這是人類決策過程的複製。 基於統計的預測缺乏人類的推理,判斷和想像力。 在這個意義上,機器學習可能被認為是真正AI的必要前提。 即使是迄今為止最先進的AI系統,例如IBM的沃森,也無法提供人類數據科學家提供的大數據的見解。

大多數數據項目最少滿足他們的目標

IT經理知道,沒有數據分析項目是100%的成功。當這些項目涉及大量數據時,成功率就會下降,NewVantage Partners最近進行的一項調查顯示。雖然95%的受訪企業領導表示,過去五年來,他們的公司已經開展了大型數據項目,但只有48.4%的項目取得了「可衡量的成果」。

事實上,根據Gartner在2016年10月發布的研究結果,大數據項目很少超過試點階段。Gartner的調查發現,只有15%的大數據實施被部署到生產中,與14年相比沒有變化 百分比成功率報告在上一年的調查。

大數據的上升將減少對數據工程師的需求

如果您的組織的大數據計劃的目標是盡量減少對數據科學家的需求,您可能會感到不愉快的驚喜。2017年「羅伯特半導體技術薪酬指南」指出,數據工程師的年薪平均跳高至13萬美元至196,000美元,數據科學家的薪酬平均為116,000美元至163,500美元,商業智能分析師的薪酬平均為118,000美元至138,750美元。

員工和線路經理們都將通張開雙臂擁抱大數據

NewVantage Partners調查發現,85.5%的參與公司致力於打造「數據驅動型文化」。然而,新數據計劃的整體成功率只有37.1%。這些公司最常引用的三個障礙是組織結構不一致(42.6%),中層管理層的採用和理解不足(41%),業務抵抗或缺乏理解(41%)。

未來可能屬於大數據,但實現技術的好處將需要大量好的老式努力——人類多樣化。

除非特別註明，本站所載內容來源於互聯網、微信公眾號等公開渠道，不代表本站觀點，僅供參考、交流之目的。轉載的稿件版權歸原作者或機構所有，如有侵權，請聯繫刪除。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！