檔案信息，同時也有可能會添加新的檔案名。同個年度的總表在年末可能會有兩、三百個工作表，同時每個表中可能 ...

之前發過一篇關於定位csv中的特殊字符的，主要是用到了python的自帶的函數，近期又遇到了一些新的問題，比如isdigit()的缺點在於不能判斷浮點型，以及小數中有多個小數點的情況。發現還是正則表達式更靈活一些。 更多的字符判斷代碼可以參考下面 ...

navicat中sql數據表合並問題，有幾百個表，字段是一樣的，內容不一樣。如何用navicat合並到一起？ select 'insert into Table0 select * from ' + table_name from ...

前言 1. 刪除重復 2. 異常值監測 3. 替換 4. 數據映射 5. 數值變量類型化 6. 創建啞變量 統計師的Python日記【第7天：數據清洗（1）】 前言 根據我的Python學習計划： Numpy → Pandas ...

　　接觸Python兩年多了，還從來沒有獨立用Python完成一個項目，說來慚愧。最近因為工作需要，用Excel和oracle整理數據貌似不可行了，於是轉向Python，理所當然的踩了很多坑，一一記錄下來，避免以后再次入坑，畢竟不常用，好了傷疤就會忘了疼··· 業務場景： 　　領導拿來幾個 ...

一、需求： 對爬取的csv文件進行數據清洗 運用內容：pandas、正則表達式 二、簡單分析： 共176條數據 其中，分析目標以全職為准，但職位名稱包含實習信息，需要刪除掉。 數據方面：csv保存格式為str，運用正則表達式提取數值工作經驗去平均值，工資按市場情況，取工資范圍 ...

# -*- coding: utf-8 -*-"""Created on Wed Jul 4 18:40:55 2018 @author: zhen""" import pandas as pdimport numpy as np# 創建空的df，保存測試數據test_df ...

1.數據錯誤： 錯誤類型– 臟數據或錯誤數據• 比如, Age = -2003– 數據不正確• ‘0’ 代表真實的0，還是代表缺失– 數據不一致• 比如收入單位是萬元，利潤單位是元，或者一個單位是美元，一個是人民幣– 數據重復 2.缺失值處理： 處理原則–缺失值少於20%•連續變量 ...