Apache Spark技術實戰之3 -- Spark Cassandra Connector的安裝和使用
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 前提 假設當前已經安裝好如下軟件 jdk sbt git scala 安裝cassandra 以archlinux為例，使用如下指令來安裝cassandra 啟動cassandra 創建keyspace ...
原文：Apache Spark技術實戰之4 -- 利用Spark將json文件導入Cassandra
歡迎轉載，轉載請注明出處。 概要 本文簡要介紹如何使用spark cassandra connector將json文件導入到cassandra數據庫，這是一個使用spark的綜合性示例。 前提條件 假設已經閱讀技術實戰之 ,並安裝了如下軟件 jdk scala sbt cassandra spark cassandra connector 實驗目的 將存在於json文件中的數據導入到cassand ...
2014-09-06 14:54 1 2296 推薦指數：
相關推薦
Apache Spark技術實戰之1 -- KafkaWordCount
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Spark應用開發實踐性非常強，很多時候可能都會將時間花費在環境的搭建和運行上，如果有一個比較好的指導將會大大的縮短應用開發流程。Spark Streaming中涉及到和許多第三方程序的整合，源碼中的例子如何真正跑起來，文檔不是很多也不詳細。 本篇 ...
Apache Spark技術實戰之5 -- SparkR的安裝及使用
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 根據論壇上的信息，在Sparkrelease計划中，在Spark 1.3中有將SparkR納入到發行版的可能。本文就提前展示一下如何安裝及使用SparkR. SparkR的出現解決了R語言中無法級聯擴展的難題，同時也極大的豐富了Spark在機器學習 ...
Apache Spark技術實戰之9 -- 日志級別修改
摘要 在學習使用Spark的過程中，總是想對內部運行過程作深入的了解，其中DEBUG和TRACE級別的日志可以為我們提供詳細和有用的信息，那么如何進行合理設置呢，不復雜但也絕不是將一個INFO換為TRACE那么簡單。 主要問題 調整Spark日志級別的配置文件是$SPARK ...
Apache Spark技術實戰之8：Standalone部署模式下的臨時文件清理
未經本人同意嚴禁轉載，徽滬一郎。 概要 在Standalone部署模式下，Spark運行過程中會創建哪些臨時性目錄及文件，這些臨時目錄和文件又是在什么時候被清理，本文將就這些問題做深入細致的解答。 從資源使用的方面來看，一個進程運行期間會利用到這四個方面的資源，分別是CPU,內存，磁盤和網絡 ...
Apache Spark技術實戰之6 -- spark-submit常見問題及其解決
除本人同意外，嚴禁一切轉載，徽滬一郎。 概要 編寫了獨立運行的Spark Application之后，需要將其提交到Spark Cluster中運行，一般會采用spark-submit來進行應用的提交，在使用spark-submit的過程中，有哪些事情需要注意的呢？ 本文試就此做一個小小的 ...
apache-spark導入eclipse環境
工作中用到了apache-spark，想深入了解一下，決定從源碼開始。 先導入到常用的ide，eclipse吧： 准備工作 1. 下載Eclipse：http://scala-ide.org/ 2. 從github上下載源碼：https://github.com/apache ...
Apache Spark技術實戰之7 -- CassandraRDD高並發數據讀取實現剖析
未經本人同意，嚴禁轉載，徽滬一郎。 概要 本文就 spark-cassandra-connector 的一些實現細節進行探討,主要集中於如何快速將大量的數據從cassandra 中讀取到本地內存或磁盤。 數據分區 存儲在 Cassandra 中數據的一般都會比較多,記錄數在千萬級別 ...