一.查看变量的缺失值（missing value，空值）个数以及所占比例 连续型数据探索 二.画频数占比分布图，查看样本在该特征值上的分布 根据连续变量的值域范围，将该变量分成10箱，就是分成10段，箱数可自由选择； 统计每一箱内样本的频数占比：该箱内样本个数/总样本个数 ...

转自：https://blog.csdn.net/anshuai_aw1/article/details/83275299 本篇文章主要参考柯国霖大神在知乎上的回答，以及自己阅读LGBM的部分源码整理而来。 1、one-hot编码弊端 one-hot编码是处理类别特征的一个通用方法 ...

处理流程： 变长特征分割成变长数组 变长数据填充成规则数组，组成n * m的矩阵 (keras.preprocessing.sequence.pad_sequences) 每一行数据进行embedding，结果可以按权重求平均、直接求平均、求最大值 得到 n*1结果矩阵 ...

其中count encoder，one-hot encoder，label encoder主要针对低基数无序特征，比如性别。可以采用target encoder或者mean encoder的方法来针对高基数无序特征，比如地区，邮编等 一、Label Encoding ...

一、SIFT算法特征原理 SIFT即尺度不变特征转换，它用来检测图像的局部性特征，在空间尺度中寻找极值点，提取这点的位置、尺度、旋转不变量。这些关键点是一些十分突出，不会因光照和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等，所以与影像的大小和旋转无关，对光线、噪声、视角改变 ...

参加kaggle的都知道，特征处理比跑模型重要的多，在特征处理上的时间也更多，这里总结一下常见的特征处理方法，在书上或者博客上看见一些比较好的处理特征的方法，我就总结在这里，并注明出处，持续更新。。。 先看看特征工程的总体，下面这幅图来自一次kaggle的特征工程总结，后面的总结不像这幅图系统 ...

由于获取位置特异性矩阵需要使用psiblast -db swissprot -query 0.txt -evalue 0.001 -num_iterations 3 -out_ascii_pssm 0.pssm命令获取，然而该命令只对一个序列比对，如果把大量蛋白质序列输入，其结果会不断更新，最后 ...

1. 特征工程之特征预处理 2. 特征工程之特征选择 1. 前言 “数据决定了机器学习的上限，而算法只是尽可能逼近这个上限”，这里的数据指的就是经过特征工程得到的数据。特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的就是获取更好的训练数据特征，使得机器学习模型逼近这个上限。特征 ...