以大數據眼光欣賞唐人文墨（一）
Begin 上次用C#把《全唐詩》和《唐詩三百首》整理成為QData格式之后，就開始進行各種分析… 詳細內容可以看看上次這篇文章，《用C#來學習唐詩三百首和全唐詩》 接下來講一下分析的內容，由於筆者不是很懂文學和大數據統計什么的，所以只好隨便分析一通，首先分析的有：標題、作者、單字 ...
原文：以大數據眼光欣賞唐人文墨（二）代碼實現
Begin 繼上次對唐詩三百首和全唐詩四萬多首詩進行分析之后 詳細內容可以看看上次這篇文章， 以大數據眼光欣賞唐人文墨 一 這篇文章來講講具體的代碼實現，本項目全部采用C 編寫。 軟件介紹 首先為了做本次分析，我用C 寫了一個Winform程序，名字很逗比，叫做 我愛讀詩詞 唐詩 。 軟件和唐詩三百首數據文件打包下載：http: pan.baidu.com s gftDKTd 全唐詩數據由於太大了 ...
2017-04-05 20:33 3 864 推薦指數：
相關推薦
【原創】大數據基礎之Spark（3）Spark Thrift實現原理及代碼實現
spark 2.1.1 一 啟動命令 啟動spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后會執行 org.ap ...
大數據的乘法實現——C語言
1大數據乘法的算法思路： 輸入兩個字符串，得到結果，例如：123456789*123456789； 思路：1）首先 123456789*1 = 9 18 27 36 45 54 63 72 81 ...
【原創】大數據基礎之Spark（5）Shuffle實現原理及代碼解析
一 簡介 Shuffle，簡而言之，就是對數據進行重新分區，其中會涉及大量的網絡io和磁盤io，為什么需要shuffle，以詞頻統計reduceByKey過程為例， serverA：partition1: (hello, 1), (word, 1)serverB：partition2 ...
大數據分頁實現與性能優化
大數據分頁實現與性能優化 摘要：Web 應用程序中經常使用數據分頁技術，該技術是提高海量數據訪問性能的主要手段。實現web數據分頁有多種方案，本文通過實際項目的測試，對多種數據分頁方案深入分析和比較，找到了一種更優的數據分頁方案Row_number()二分法。它依靠二分思想，將整個待查 ...
大數據分頁實現與性能優化
摘要：Web 應用程序中經常使用數據分頁技術，該技術是提高海量數據訪問性能的主要手段。實現web數據分頁有多種方案，本文通過實際項目的測試，對多種數據分頁方案深入分析和比較，找到了一種更優的數據分頁方案Row_number()二分法。它依靠二分思想，將整個待查詢記錄分為2部分，使掃描 ...
大數據排序的實現代碼， 理論上支持幾百億沒問題吧
先上說說思路， 1， 把一個bigdata文件拆分成N個小文件，小文件容量小於當前機器的內存 2，對小文件進行排序處理 3，對小文件進行並歸排序，代碼中我是用1 and 1，一個個並歸生成新的排序完成的文件，直到全部並歸完成 簡單說說我這里的並歸算法,代碼中 ...
python大數據分析代碼案例
#查詢用戶余額代碼案例 import sys import MySQLdb import pandas as pd optmap = { 'dbuser' : 'aduser', 'dbpass' : '123654', 'dbhost ...