前言 实验环境： 1.pyspark 1.5.0 2.python 2.7 本次主要写的是用pyspark提交任务时，需要注意的地方及遇到的问题的解决。 Step 1. 提交python工程 在提交spark ...

1 特征工程是什么？ 　　有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？顾名思义，其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。通过总结和归纳，人们认为特征工程包括以下方面： 　　特征 ...

之前一直都没用过SqlBulkCopy关键字进行数据插入，更没了解过。 事因：因业务需要在数据表中添加两列，然后将数据插入进表中 之前都是这样写的 dt.Columns.Add(new DataColumn("sComment", typeof(string))); 等等一一 ...

1.情景展示 　　需要对id_card字段按字符长度进行分组统计并进行计数。 2.错误方式 　　第一步：统计出id_card字段共存在几种情况。 　　第一种方式：distinct 　　第二种方式：group by 　　第二步：分组计数 ...

这里是原文 说明：这是我用Markdown编辑的第一篇随笔 目录 1 特征工程是什么？ 2 数据预处理 2.1 无量纲化 2.1.1 标准化 2.1.2 区间缩放法 2.1.3 无量纲化与正则化的区别 ...

上周参加了学校的数据挖掘竞赛，总的来说，在还需要人工干预的机器学习相关的任务中，主要解决两个问题：（1）如何将原始的数据处理成合格的数据输入（2）如何获得输入数据中的规律。第一个问题的解决方案是：特征工程。第二个问题的解决办法是：机器学习。 相对机器学习的算法 ...

目录 1 特征工程是什么？2 数据预处理　　2.1 无量纲化　　　　2.1.1 标准化　　　　2.1.2 区间缩放法　　　　2.1.3 标准化与归一化的区别　　2.2 对定量特征二值化　　2.3 对定性特征哑编码　　2.4 缺失值计算　　2.5 数据变换　　2.6 回顾3 特征选择　　3.1 ...

特征选择 (feature_selection) Filter 移除低方差的特征 (Removing features with low variance) 单变量特征选择 (Univariate feature selection) Wrapper 递归特征消除 ...