【刷题】面筋-linux-如何查找出现频率最高的100个ip地址
命令： cat + 文件名 + 管道 + 各种限制条件 简单示例：有如下文件test.txt 要统计出现次数最多的IP可以利用以下shell脚本： cat test.txt | awk '{print $2}' | sort | uniq -c ...
原文：100台机器上海量IP如何查找出现频率 Top 100？
场景题 有 机器，每个机器的磁盘特别大，磁盘大小为 T，但是内存大小只有 G，现在每台机器上都产生了很多 ip 日志文件，每个文件假设有 G，那么如果计算出这 太机器上访问量最多的 ip 呢 也就是Top 。 思路 其实，一开始我有往布隆过滤器那边考虑，但是布隆过滤器只能大致的判断一个 ip 是否已经存在，而不能去统计数量，不符合该场景。 那么一般这种大数据的问题，都是因为一次不能完全加载到内存， ...
2021-10-09 00:05 2 844 推荐指数：
相关推荐
在100G文件中找出出现次数最多的100个IP（转）
昨天面阿里最后栽在一道很常见的海量数据处理上了，也怪之前没专门花时间准备这个问题。今天参考了July的博客，又反思了下自己面试时错误的思路，重新整理为下面的解答过程。 先上July的博客对类似问题的解答思路： 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度 ...
linux vxlan实现2台机器的通往段ip互通
linux vxlan实现2台机器的通往段ip互通 https://github.com/lannyMa/scripts/blob/master/pkgs/vxlan.pcap vxlan多播实现多台互通 ...
经典面试问题: Top K 之 ---- 海量数据找出现次数最多或，不重复的。
作者：林冠宏 / 指尖下的幽灵 掘金：https://juejin.im/user/587f0dfe128fe100570ce2d8 博客：http://www.cnbl ...
leetcode top 100 题目汇总
首先表达我对leetcode网站的感谢，与高校的OJ系统相比，leetcode上面的题目更贴近工作的需要，而且支持的语言广泛。对于一些比较困难的题目，可以从讨论区中学习别人的思路，这一点很方便。 经 ...
SQLServer的top 100 percent用法
sql="select top 30 * from data where title='"&title1&"' order by id desc"原意是选出符合“where 条件”的记录集里的“前30条” 但是，对于该SQL语句，由于语句里同时存在where和top语句 ...
Linux sftp 另外一台机器时，出现:receive message is too long
因为在linux登录时，首先会运行的三个文件是： /etc/profile,/home/用户名/.bashrc，其次是/home/用户名/.bash_profile，出现这个问题的原因是因为在sftp登录时，有太多的显示信息，于是解决办法如下： 注释掉 ...
三台机器之间ssh互信配置
三台机器之间ssh互信配置 环境介绍：192.168.65.128 my1-222192.168.65.129 my2-223192.168.65.130 web224# 步骤一：# 每个节点执行cat >>/etc/hosts << ...