档案信息，同时也有可能会添加新的档案名。同个年度的总表在年末可能会有两、三百个工作表，同时每个表中可能 ...

之前发过一篇关于定位csv中的特殊字符的，主要是用到了python的自带的函数，近期又遇到了一些新的问题，比如isdigit()的缺点在于不能判断浮点型，以及小数中有多个小数点的情况。发现还是正则表达式更灵活一些。 更多的字符判断代码可以参考下面 ...

navicat中sql数据表合并问题，有几百个表，字段是一样的，内容不一样。如何用navicat合并到一起？ select 'insert into Table0 select * from ' + table_name from ...

前言 1. 删除重复 2. 异常值监测 3. 替换 4. 数据映射 5. 数值变量类型化 6. 创建哑变量 统计师的Python日记【第7天：数据清洗（1）】 前言 根据我的Python学习计划： Numpy → Pandas ...

　　接触Python两年多了，还从来没有独立用Python完成一个项目，说来惭愧。最近因为工作需要，用Excel和oracle整理数据貌似不可行了，于是转向Python，理所当然的踩了很多坑，一一记录下来，避免以后再次入坑，毕竟不常用，好了伤疤就会忘了疼··· 业务场景： 　　领导拿来几个 ...

一、需求： 对爬取的csv文件进行数据清洗 运用内容：pandas、正则表达式 二、简单分析： 共176条数据 其中，分析目标以全职为准，但职位名称包含实习信息，需要删除掉。 数据方面：csv保存格式为str，运用正则表达式提取数值工作经验去平均值，工资按市场情况，取工资范围 ...

# -*- coding: utf-8 -*-"""Created on Wed Jul 4 18:40:55 2018 @author: zhen""" import pandas as pdimport numpy as np# 创建空的df，保存测试数据test_df ...

1.数据错误： 错误类型– 脏数据或错误数据• 比如, Age = -2003– 数据不正确• ‘0’ 代表真实的0，还是代表缺失– 数据不一致• 比如收入单位是万元，利润单位是元，或者一个单位是美元，一个是人民币– 数据重复 2.缺失值处理： 处理原则–缺失值少于20%•连续变量 ...