关于大数据T+1执行流程
关于大数据T+1执行流程 前提： 搭建好大数据环境（hadoop hive hbase sqoop zookeeper oozie hue） 1.将所有数据库的数据汇总到hive (这里有三种数据源 ORACLE MYSQL SEQSERVER) 全量数据抽取示例： ORACLE ...
原文：大数据DDos检测——DDos攻击本质上是时间序列数据，t+1时刻的数据特点和t时刻强相关，因此用HMM或者CRF来做检测是必然！ 和一个句子的分词算法CRF没有区别！
DDos攻击本质上是时间序列数据，t 时刻的数据特点和t时刻强相关，因此用HMM或者CRF来做检测是必然 和一个句子的分词算法CRF没有区别 注：传统DDos检测直接基于IP数据发送流量来识别，通过硬件防火墙搞定。大数据方案是针对慢速DDos攻击来搞定。难点：在进行攻击的时候，攻击数据包都是经过伪装的，在源IP 地址上也是进行伪造的，这样就很难对攻击进行地址的确定，在查找方面也是很难的。这样就导致 ...
2017-06-24 15:37 1 2362 推荐指数：
相关推荐
MySQL回滚到某一时刻数据的方法
MySQL回滚到某一时刻数据的方法 对于有归档日志的数据库来说，原理上都具备全库回滚到之前某一时刻的能力。在这方面最好用的Orale数据库，使用 ...
ARIMA模型——本质上是error和t-?时刻数据差分的线性模型！！！如果数据序列是非平稳的，并存在一定的增长或下降趋势，则需要对数据进行差分处理!ARIMA（p，d，q）称为差分自回归移动平均模型，AR是自回归， p为自回归项； MA为移动平均，q为移动平均项数，d为时间序列成为平稳时所做的差
https://www.cnblogs.com/bradleon/p/6827109.html 文章里写得非常好，需详细看。尤其是arima的举例！ 可以看到：ARIMA本质上是error和t-?时刻数据差分的线性模型！！！ ARIMA模型全称为自回归积分滑动平均模型 ...
DDoS攻击流量检测方法
检测分类 1）误用检测 误用检测主要是根据已知的攻击特征直接检测入侵行为。首先对异常信息源建模分析提取特征向量，根据特征设计针对性的特征检测算法，若新数据样本检测出相应的特征值，则发布预警或进行反应。 优点:特异性，检测速度快，误报率低，能迅速发现已知的安全威胁。 缺点:需要人为更新特征 ...
HMM、CRF、MEMM区别
隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。 HMM首先出现，MEMM ...
条件随机场——时间序列（句子单词序列也算），其特征函数必须要考虑前一刻的数据
摘自：https://www.zhihu.com/question/35866596/answer/139485548 用一个活生生的例子来说明条件随机场的，十分的通俗易懂！原文在这里 [Introduction to Conditional Random Fields ...
使用深度学习检测DGA（域名生成算法）——LSTM的输入数据本质上还是词袋模型
from:http://www.freebuf.com/articles/network/139697.html DGA（域名生成算法）是一种利用随机字符来生成C&C域名，从而逃避域名黑名单检测的技术手段。例如，一个由Cryptolocker创建的DGA生成域 ...
重新定义数据库历史的时刻——时间序列数据库Schwartz认为InfluxDB最有前途，Elasticsearch也不错
。他同时也做过许多开源软件的性能分析、监控和管理工作。同时他还对许多不同的数据库社区有所贡献，包括Orac ...