前言 一直以來就想在寫文章時，能以文本形式（而不是截圖）附上項目的目錄結構，今天終於知道怎么操作了，在這分享一下。 Linux 首先說下Linux上輸出目錄結構的方法。 yum安裝tree 需要支持tree命令，首先是要安裝tree包的。 然后在你的項目目錄下執行tree命令即可 ...

我們遇到個特別的需求，一個數據接入的流程跑的太慢，需要升級為用大數據方式去處理，提高效率。 數據： 　　數據csv文件用Zip 壓縮后放置在SFTP中 數據來源： 　　SFTP 數據操作： 　　文件和它的壓縮包一致，后綴不同。文件名中包含渠道、日期、操作標記("S"追加,"N"全量 ...

前言 在.NET Core之前對於壓縮樣式文件和腳本我們可能需要借助第三方工具來進行壓縮，但在ASP.NET MVC Core中則無需借助第三方工具來完成，本節我們來看看ASP.NET Core MVC為我們提供了哪些方便。 自動壓縮樣式和腳本 當我們在測試環境中肯定不需要壓縮腳本 ...

我們通常會使用IDE（例如Intellij IDEA）開發Spark應用，而程序調試運行時會在控制台中打印出所有的日志信息。它描述了（偽）集群運行、程序執行的所有行為。 在很多情況下，這些信息對於我們來說是無關緊要的，我們更關心的是最終結果，無論是正常輸出還是異常停止。 幸運 ...

spark運行的時候會產生大量的消息，讓程序的運行結果看起來比較費勁 所以可以再程序中添加一些代碼，設置一下輸出日志的級別 代碼中Level那里的參數，可以設置為WARN，或者ERROR，這個根據自身需求 直接設置為ERROR可能會錯過一些比較重要的警告信息，但是這樣輸出的內容 ...

相比於Hadoop，Spark在數據的處理方面更加靈活方便。然而在最近的使用中遇到了一點小麻煩：Spark保存文件的的函數（如saveAsTextFile）在保存數據時都需要新建一個目錄，然后在這個目錄下分塊保存文件。如果我們想在原有的目錄下增加一個文件（而不是增加一個目錄 ...

實例需求 統計每個月每個家庭成員給自己打電話的次數，並按月份輸出到不同文件中 數據集 數據集下載點擊這里 數據格式：編號 聯系人 電話號碼 日期 思路分析 map階段：將 聯系人 + 電話號碼 + 日期中的月份 組合成的作為 key，value為1 reduce階段：相同key做 ...

很遺憾，gzip不能針對整個目錄進行壓縮，只能遞歸壓縮目錄下的每一個文件。 當然，替代方案是只用tar進行打包，比如 ...