Spark SQL怎么創建編程創建DataFrame

創建DataFrame在Spark SQL中，開發者可以非常便捷地將各種內、外部的單機、分布式數據轉換為DataFrame。以下Python示例代碼充分體現了Spark SQL 1.3.0中DataFrame數據源的豐富多樣和簡單易用：

1. # 從Hive中的users表構造DataFrame
2. users = sqlContext.table("users")
4. # 加載S3上的JSON文件
5. logs = sqlContext.load("s3n://path/to/data.json", "json")
7. # 加載HDFS上的Parquet文件
8. clicks = sqlContext.load("hdfs://path/to/data.parquet", "parquet")
10. # 通過JDBC訪問MySQL
11. comments = sqlContext.jdbc("jdbc:mysql://localhost/comments", "user")
13. # 將普通RDD轉變為DataFrame
14. rdd = sparkContext.textFile("article.txt") \
15.                   .flatMap(lambda line: line.split()) \
16.                   .map(lambda word: (word, 1)) \
17.                   .reduceByKey(lambda a, b: a + b) \
18. wordCounts = sqlContext.createDataFrame(rdd, ["word", "count"])
20. # 將本地數據容器轉變為DataFrame
21. data = [("Alice", 21), ("Bob", 24)]
22. people = sqlContext.createDataFrame(data, ["name", "age"])
24. # 將Pandas DataFrame轉變為Spark DataFrame（Python API特有功能）
25. sparkDF = sqlContext.createDataFrame(pandasDF)