Scala try-catch语句 Scala提供try和catch块来处理异常。try块用于包含可疑代码。catch块用于处理try块中发生的异常。可以根据需要在程序中有任意数量的try...ca ...

1.hello world程序 object HelloWorld { def main(args: Array[String]) { println("Hello ...

注意：将mysql的驱动包拷贝到spark/lib下，将hive-site.xml拷贝到项目resources下，远程调试不要使用主机名import org.apache.sp ...

Scala多线程 多线程是同时执行多个线程的过程。 它允许您独立执行多个操作。可以通过使用多线程来实现多任务。线程是轻量级的子进程，占用较少的内存。多线程用于在Scala中开发并发应用程序。 Sc ...

1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下 2.开启hive元数据服务：hive --se ...

环境变量 含义 SPARK_MASTER_IP master实例绑定的IP地址，例如，绑定到一个公网IP SPARK_ ...

Spark性能优化的10大问题及其解决方案 问题1：reduce task数目不合适解决方式：需根据实际情况调节默认配置，调整方式是修改参数spark.default.par ...

scala>val spark=new org.apache.spark.sql.SQLContext(sc) user.json {"age":"45","gender":"M","occ ...

import Array._ import scala.collection.mutable.Set object DataStructure { def main(args:Array[St ...

1.项目引入mysql和oracle驱动 2.将mysql和oracle驱动上传到hdfs 3.远程调试源代码如下： import org.apache.spark.sql.SQLCont ...