Apache Spark技術實戰之4 -- 利用Spark將json文件導入Cassandra
歡迎轉載，轉載請注明出處。 概要 本文簡要介紹如何使用spark-cassandra-connector將json文件導入到cassandra數據庫，這是一個使用spark的綜合性示例。 前提條件 假設已經閱讀技術實戰之3,並安裝了如下軟件 jdk scala sbt ...
原文：Apache Spark技術實戰之3 -- Spark Cassandra Connector的安裝和使用
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 前提 假設當前已經安裝好如下軟件 jdk sbt git scala 安裝cassandra 以archlinux為例，使用如下指令來安裝cassandra 啟動cassandra 創建keyspace和table, 運行 usr bin cqlsh進入cql console，然后執行下述語句創建keyspace和table 添加記錄，繼續使用cql c ...
2014-09-02 21:48 0 3397 推薦指數：
相關推薦
Apache Spark技術實戰之5 -- SparkR的安裝及使用
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 根據論壇上的信息，在Sparkrelease計划中，在Spark 1.3中有將SparkR納入到發行版的可能。本文就提前展示一下如何安裝及使用SparkR. SparkR的出現解決了R語言中無法級聯擴展的難題，同時也極大的豐富了Spark在機器學習 ...
cassandra 之 在spark-shell 中使用 spark cassandra connector 完整案例
1、cassandra 准備 啟動cqlsh， 2、spark cassandra conector jar包 新建空項目，使用sbt,引入connector,打包為spark-cassandra-connector ...
Apache Spark技術實戰之1 -- KafkaWordCount
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 Spark應用開發實踐性非常強，很多時候可能都會將時間花費在環境的搭建和運行上，如果有一個比較好的指導將會大大的縮短應用開發流程。Spark Streaming中涉及到和許多第三方程序的整合，源碼中的例子如何真正跑起來，文檔不是很多也不詳細。 本篇 ...
Apache Spark技術實戰之9 -- 日志級別修改
摘要 在學習使用Spark的過程中，總是想對內部運行過程作深入的了解，其中DEBUG和TRACE級別的日志可以為我們提供詳細和有用的信息，那么如何進行合理設置呢，不復雜但也絕不是將一個INFO換為TRACE那么簡單。 主要問題 調整Spark日志級別的配置文件是$SPARK ...
MongoDB Spark Connector 實戰指南
Why Spark with MongoDB? 高性能，官方號稱 100x faster，因為可以全內存運行，性能提升肯定是很明顯的 簡單易用，支持 Java、Python、Scala、SQL 等多種語言，使得構建分析應用非常簡單 統一構建 ，支持多種數據源，通過 Spark ...
Apache Spark技術實戰之6 -- spark-submit常見問題及其解決
除本人同意外，嚴禁一切轉載，徽滬一郎。 概要 編寫了獨立運行的Spark Application之后，需要將其提交到Spark Cluster中運行，一般會采用spark-submit來進行應用的提交，在使用spark-submit的過程中，有哪些事情需要注意的呢？ 本文試就此做一個小小的 ...
Apache Spark簡單介紹、安裝及使用
Apache Spark簡介 Apache Spark是一個高速的通用型計算引擎，用來實現分布式的大規模數據的處理任務。 分布式的處理方式可以使以前單台計算機面對大規模數據時處理不了的情況成為可能。 Apache ...