數據抽取清洗轉換載入工具ETL
知識
09-15
應用場景
當你想通過工具,從一個資料庫將數據進行清洗後搬遷到另一個資料庫,那麼就可以通過ETL的數據抽取清洗轉換載入工具來操作。
操作步驟
1. 工具下載
kettle文件下載,解壓即可用: 下載地址
2. 配置
首先我們了解下Epoint-DI能做什麼? 一般我在項目中數據抽取一般都是自己寫定時任務,通過quartz或者其他任務調度框架來定時從數據源中抽取數據,所有有關數據的抽取、校驗、轉換等過程都是在代碼中手工編寫,針對不同的數據源都是需要手動來編寫代碼,然後重新發布數據抽取程序。但是通過DI就可以實現配置的方式來創建定任務調度,數據的抽取、校驗、轉換等過程。並且支持多種數據的輸入、輸出方式,有完善的過濾組件,數據處理組件等。
簡單的數據推送 創建一個輸入組件、一個輸出組件即可。負責抽取和插入數據。
表輸入:
表輸出:
※bootstrap Fileinput插件的使用實例
※Windows10下使用Tensorboard注意事項!
TAG:程序員小新人學習 |