...

ETL實踐--Spark做數據清洗 上篇博客，說的是用hive代替kettle的表關聯。是為了提高效率。 本文要說的spark就不光是為了效率的問題。 1、用spark的原因 （如果是一個sql能搞定的關聯操作，可以直接用kettle導原始數據到hive，用hive ...

【國外】1. datastage點評：最專業的ETL工具，價格不菲，使用難度一般下載地址：ftp://ftp.seu.edu.cn/Pub/Develop ... taStage.v7.5.1A-iSOBT種子下載：http://pan.baidu.com/share/link?shareid ...

前言 1. 刪除重復 2. 異常值監測 3. 替換 4. 數據映射 5. 數值變量類型化 6. 創建啞變量 統計師的Python日記【第7天：數據清洗（1）】 前言 根據我的Python學習計划： Numpy → Pandas ...

　　接觸Python兩年多了，還從來沒有獨立用Python完成一個項目，說來慚愧。最近因為工作需要，用Excel和oracle整理數據貌似不可行了，於是轉向Python，理所當然的踩了很多坑，一一記錄下來，避免以后再次入坑，畢竟不常用，好了傷疤就會忘了疼··· 業務場景： 　　領導拿來幾個 ...

Kafka Streams 1.Apache Kafka開源項目的一個組成部分,是一個功能強大,易於使用的庫.用於在Kafka上構建高可分布,可拓展,高容錯的應用程序. 2.Kafka Strea ...

目錄 數據清洗的概念 數據清洗實戰案例 數據清洗的概念 類比定義 專業定義 專業名詞 臟數據 干凈數據 常用方法 數據清洗實戰案例 數據讀取 思路 列字段 ...

# -*- coding: utf-8 -*-"""Created on Wed Jul 4 18:40:55 2018 @author: zhen""" import pandas as pdimport numpy as np# 創建空的df，保存測試數據test_df ...