大數據與復雜網絡
寫這篇文章，有兩個原因： 看了李院士的《大數據研究的科學價值》，有些感觸。 我自己做了一段時間社交，也有一些想法。 之前也寫過復雜網絡的東西，但是都非常膚淺，沒有真正的理解復雜網絡，近期看了一些資料，有了進一步的理解。 李院士的文章，是從科學家的角度，理解大數據的價值 ...
原文：17 | 網絡優化（下）：大數據下網絡該如何監控？
通過上一期的學習，我們對如何打造一個高質量的網絡已經有了一個整體的認識。但是這就足夠了嗎 回想一下，一個網絡請求從手機到后台服務器，會涉及基站 光纖 路由器這些硬件設施，也會跟運營商和服務器機房有關。 不論是基站故障 光纖被挖斷 運營商挾持，還是我們的機房 CDN 服務商出現故障，都有可能會引起用戶網絡出現問題。你有沒有感覺線上經常突發各種千奇百怪的網絡問題，很多公司的運維人員每天過得膽戰心驚 疲 ...
2021-08-26 20:46 0 130 推薦指數：
相關推薦
大數據集群運維（36）linux下的幾個網絡流量監控工具使用
1、nethogs 1)NetHogs是一款開源、免費的，終端下的網絡流量監控工具，它可監控Linux的進程或應用程序的網絡流量。NetHogs只能實時監控進程的網絡帶寬占用情況。NetHogs支持IPv4和IPv6協議，支持本地網卡以及PPP鏈接 2)debian下安裝 ...
《當大數據遇見網絡：大數據與SDN》
總體結構： 《當大數據遇見網絡：大數據與SDN》 摘要 大數據和SDN無論是對於學術界還是工業界來說都極具吸引力。傳統上人們都是分別在最前沿工作中研究這兩個重要的領域。然而一方面，SDN的特點可以極大促進大數據的獲得（acquisition）、傳輸（transmission）、存儲 ...
大數據監控
數據作為大數據系統的核心，需要進行監控，合理的監控與報警策略不但可以幫助我們快速發現和定位故障，而且還可以智能化的預測可能發生的問題。我們可以根據業務的規則制定重點的監控指標，保證數據具備高質量。 在大數據的監控中，對數據質量進行監控是最為直接的。因為從數據使用者的角度來說 ...
大數據之優化
1.摘要 如果要將企業應用系統按照技術或數據按時間進行划分的話，那么可以以2008年Google推出的分布式文件系統DFS為一個划分標准，2008年之前，由於通信信息技術的弊端，還屬於PC互聯網時代，整個互聯網產生的數據和現在相比只是量級分之一，所以基本上是傳統的企業應用系統，將數據存儲 ...
Linux下網絡流量實時監控工具大全
在工作中發現，經常因為業務的原因，需要即時了解某台服務器網卡的流量，雖然公司也部署了cacti軟件，但cacti是五分鍾統計的，沒有即時性，並且有時候打開監控頁面不方便，個人喜歡隨手在某台服務器上輸入一個命令，查看網卡即時流量。百度了一下，發現有這么幾種方法，現對此類軟件進行了一個總結 ...
zabbix監控大數據
參考: https://github.com/Staroon/zabbix-hadoop-template 支持監控HDFS、NameNode, YARN ResourceManager, Hive, Zookeeper, HBase Master. 提供的腳本只是一個思路參考，理論上兼容 ...
大數據集群搭建的網絡配置過程
可以自己設置（只要在同一個局域網就行）。（參考NAT虛擬網絡的配置圖）例如：我得到的網關地址（gw）是： ...