数据预处理常用函数 ...

概要 准备工作 检查数据 处理缺失数据 添加默认值 删除不完整的行 删除不完整的列 ...

概要 了解数据 分析数据问题 清洗数据 整合代码 了解数据 在处理任何数据之前，我们的第一任务是理解数据以及数据是干什么用的。我们尝试去理解数据的列/行、记录、数据格式、语义错误、缺失的条目以及错误的格式，这样我们就可以大概了解数据分析之前要做哪些“清理”工作。 本次 ...

预览数据 这次我们使用 Artworks.csv ，我们选取 100 行数据来完成本次内容。具体步骤： 导入 Pandas 读取 csv 数据到 DataFrame（要确保数据已经下载到指定路径） DataFrame 是 Pandas 内置的数据展示的结构，展示速度很快 ...

1. 使用 drop_duplicates 去重 1.1 初始化数据 1.2 对一列去重 1.3 对多列去重（多列同时满足重复） 2. 使用 duplicated 配合 drop 去重 2.1 初始化数据 2.2 对一列去重 ...

由于Pandas的索引比较复杂，常常在使用过程中容易搞混，所以整理一份关于索引的查找、排序、去重的总结文档。 .dataframe tbody tr th:only-of-type { vertical-align: middle ...

现在有一列数据，列名demo 该列中存在重复数据，现在要对数据去重 利用pandas的drop_duplicates方法，subset指列名，keep指只保留遇到的第1个结果 效果： demo列中重复的数据就已经没有了 参考文档： pandas ...

指定字段去重（背景：多张结构相同的表通过某一个或多个字段去重清洗。逻辑：按照要求创建一个空白表准备往里面灌入多个表的数据——第一个表通过group by去重后插入——第二张表找到第一张表里面没有的去重字段——将第二张表的去重字段插入到第一张表中——然后根据插入后的第一张表的去重字段更新数据将第二张 ...