之前用rvest帮人写了一个定期抓取amazon价格库存，并与之前价格比较的小程序，算是近期写过的第一个完整的程序了。里面涉及了一些报错的处理。 这里主要参考了stackoverflow上的以下问答： How to skip an error in a loop skip ...

在数据挖掘的过程中，数据预处理占到了整个过程的60% 脏数据：指一般不符合要求，以及不能直接进行相应分析的数据 脏数据包括：缺失值、异常值、不一致的值、重复数据及含有特殊符号（如＃、¥、＊）的数据 数据清洗：删除原始数据集中的无关数据、重复数据、平滑噪声数据、处理缺失值、异常值 ...

一、异常值检验 异常值大概包括缺失值、离群值、重复值,数据不一致。 1、基本函数 summary可以显示每个变量的缺失值数量. 2、缺失值检验 关于缺失值的检测应该包括：缺失值数量、缺失值比例、缺失值与完整值数据筛选 ...

1 异常观测值 states<-as.data.frame(state.x77[,c("Murder", "Population","Illiteracy","Income","Frost")]) fit<-lm(Murder ...

...

异常值概念：是指那些远离正常值的观测，即“不合群”观测。异常值的出现一般是人为的记录错误或者是设备的故障等，异常值的出现会对模型的创建和预测产生 严重的后果。当然异常值也不一定是坏事，有些情况下，通过寻找异常值就能够给业务带来良好的发展，如销毁“钓鱼”网站，关闭“薅羊毛”用户的权限 ...

　　异常值是指数据中个别值的数值明显偏离其余的数值，有时也称为离群点，检测异常值 就是检验数据中是否有录入错误以及是否含有不合理的数据。 　　异常值的存在对数据分析十分危险，如果计算分析过程的数据有异常值，那么会对结果 会产生不良影响，从而导致分析结果产生偏差乃至错误 ...

异常值是模型优化的关键点之一，离均值远的是异常值，可是多远才算足够远呢，其实不同的模型有着不同的考量，基于模型所受的影响不同，所以所能忍受的异常值也不同。 1、异常值的类型 从二维的角度来说，其实异常值有三种类型，一是影响垂直方向Y的异常值，叫垂直特异性，对应探测该类异常的指标为标准化残差 ...