需要清洗的数据有下面几种形式 2.1错误值 出现大量0的话，可以使用缺失值替代，然后再用缺失值填补的方法处理 camp['AvgIncome']=camp['AvgIncome'].r ...

Kettle日常使用汇总整理 Kettle源码下载地址： https://github.com/pentaho/pentaho-kettle Kettle软件下载地址： https://sou ...

概要 准备工作 检查数据 处理缺失数据 添加默认值 ...

概要 了解数据 分析数据问题 清洗数据 整合代码 了解数据 在处理任何数据之前，我们的第一任务是理解数据以及数据是干什么用的。我们尝试去理解数据的列/行、记录、数据格式、语 ...

# 识别python中DataFrame中的nanfor i in pfsj.index: 　　if type(pfsj.loc[i]['WZML']) == float: 　　　　print('fl ...

# 去除重复行数据 keep:'first':保留重复行的第一行，'last':保留重复行的最后一行,False：删除所有重复行df = df.drop_duplicates( 　　subset=[ ...

re 模块的使用： 1.使用compile()函数编译一个parttern对象， 例如：parttern=re.compile(r'\d+') 2.通过pattern对象提供的一系列属相和方法， ...

# -*- coding: utf-8 -*-"""Created on Wed Jul 4 18:40:55 2018 @author: zhen""" import pandas as pdi ...

Power Query 是做数据转换、数据清洗的利器，不管是在Excel还是PowerBI，如何玩好Power Query是成功建模的必不可少的一步。 今天要get到的一个新技巧：行列转换 如何将多行数据串联到一列 场景：很多时候需要把多行的数据串联起来 假设有 ...

目前对中文分词精度影响最大的主要是两方面：未登录词的识别和歧义切分。 据统计：未登录词中中文姓人名在文本中一般只占2%左右，但这其中高达50%以上的人名会产生切分错误。在所有的分词错误中，与人 ...