最近参与了了一个日志和告警的数据挖掘项目，里面用到的一些思路在这里和大家做一个分享。 　　　　项目的需求是收集的客户系统一个月300G左右的的日志和告警数据做一个整理，主要是归类(Grouping)和关联(Correlation)，从而得到告警和日志的一些统计关系，这些统计结果可以给一线 ...

ps：作为目前人工智能和数据库领域研究的热点问题，数据挖掘从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。 数据挖掘（Data Mining，DM），又称数据库中的知识发现（Knowledge Discover in Database，KDD），是目前人工智能和数据 ...

0x00 前言 　　Windows 中提供了 2 个分析事件日志的 PowerShell cmdlet：一个是Get-WinEvent，超级强大，但使用起来比较麻烦；另一个是Get-EventLog，使得起来相当简单，可以实时筛选，接下来，我们利用PowerShell 来自动筛选 Windows ...

想必大家都听说过美国沃尔玛连锁超市“啤酒与尿不湿”的故事。为什么沃尔玛超市里会把婴儿的尿不湿和啤酒摆放在一起售卖呢？ 因为超市发现尿不湿和啤酒的购买峰值曲线有极大的相似性，观察得知，美国家庭中母亲在家照顾孩子，就会让父亲下班后买尿不湿回家，而男士来到超市后习惯于给自己买上一罐啤酒。那么如果将啤酒 ...

在MovieLens 1M数据集其中一个例子，使用pivot_table()按性别计算每部电影的平均得分 报错信息： Traceback (most recent call last): File "/Users/huanghonglin/PycharmProjects ...

进行应用性能分析、日志采集工作。BIGIP TMOS系统提供了多种方法帮助实现统一信息收集，包括： ...

一、写在前面 　　结合之前写的一篇文章：Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面 ...

聚类分析 一、概念 　　聚类分析是按照个体的特征将他们分类，让同一个类别内的个体之间具有较高的相似度，不同类别之间具有较大的差异性 　　聚类分析属于无监督学习 　　聚类对象可以分为Q型聚类和R型聚类 　　　　Q型聚类：样本/记录聚类 以距离为相似性指标 （欧氏距离、欧氏平方距离 ...