Spark SQL怎么创建编程创建DataFrame

创建DataFrame在Spark SQL中，开发者可以非常便捷地将各种内、外部的单机、分布式数据转换为DataFrame。以下Python示例代码充分体现了Spark SQL 1.3.0中DataFrame数据源的丰富多样和简单易用：

1. # 从Hive中的users表构造DataFrame
2. users = sqlContext.table("users")
4. # 加载S3上的JSON文件
5. logs = sqlContext.load("s3n://path/to/data.json", "json")
7. # 加载HDFS上的Parquet文件
8. clicks = sqlContext.load("hdfs://path/to/data.parquet", "parquet")
10. # 通过JDBC访问MySQL
11. comments = sqlContext.jdbc("jdbc:mysql://localhost/comments", "user")
13. # 将普通RDD转变为DataFrame
14. rdd = sparkContext.textFile("article.txt") \
15.                   .flatMap(lambda line: line.split()) \
16.                   .map(lambda word: (word, 1)) \
17.                   .reduceByKey(lambda a, b: a + b) \
18. wordCounts = sqlContext.createDataFrame(rdd, ["word", "count"])
20. # 将本地数据容器转变为DataFrame
21. data = [("Alice", 21), ("Bob", 24)]
22. people = sqlContext.createDataFrame(data, ["name", "age"])
24. # 将Pandas DataFrame转变为Spark DataFrame（Python API特有功能）
25. sparkDF = sqlContext.createDataFrame(pandasDF)