Spark Streaming之二：StreamingContext解析
1.1 创建StreamingContext对象 1.1.1通过SparkContext创建 源码如下： 第一参数为sparkContext对象，第二个参数为批次时间； 创建 ...
原文：spark streaming 使用geoIP解析IP
首先将GEOIP放到服务器上，如， opt db geo GeoLite City.mmdb 新建scala sbt工程，测试是否可以顺利解析 build.sbt 内容如下 import AssemblyKeys. assemblySettings mergeStrategy in assembly lt lt mergeStrategy in assembly mergeStrategy gt ...
2016-07-17 16:50 1 1490 推荐指数：
相关推荐
Hive UDF IP解析（二）：使用geoip2数据库自定义UDF
开发中经常会碰到将IP转为地域的问题，所以以下记录Hive中自定义UDF来解析IP。 使用到的地域库位maxmind公司的geoIP2数据库，分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb，不管哪个版本，开发的接口都是相同。 开发环境 ...
Spark Streaming on Kafka解析和安装实战
本课分2部分讲解： 第一部分，讲解Kafka的概念、架构和用例场景； 第二部分，讲解Kafka的安装和实战。 由于时间关系，今天的课程只讲到如何用官网的例子验证Kafka的安装是否成功。后续课程会接着讲解如何集成Spark Streaming和Kafka。 一、Kafka的概念、架构和用例 ...
Spark Streaming运行流程及源码解析（一）
本系列主要描述Spark Streaming的运行流程，然后对每个流程的源码分别进行解析 之前总听同事说Spark源码有多么棒，咱也不知道，就是疯狂点头。今天也来撸一下Spark源码。 对Spark的使用也就是Spark Streaming使用的多一点，所以就拿Spark ...
php使用geoip通过用户ip获取信息
使用代码 限制某个地区ip访问可以使用地区编号进行判断。 获取用户相对比较真实的 ...
使用 GeoIP2 获取 IP 的地理位置
1. 准备工作 数据库 ： 解析 IP 地理位置的的数据库来自 GeoLite2 开源数据库： https://dev.maxmind.com/geoip/geoip2/geolite2/ 。 C 语言 API : 使用的 API 是 maxmind 官网的开源项目 ...
spark streaming updateStateByKey 使用方法
updateStateByKey 解释: 以DStream中的数据进行按key做reduce操作，然后对各个批次的数据进行累加 在有新的数据信息进入或更新时。能够让用户保持想要的不论什么状。使用这个功能须要完毕两步： 1) 定义状态：能够是随意数据类型 2) 定义状态 ...
spark streaming (二)
一、基础核心概念 1、StreamingContext详解 （一） 有两种创建StreamingContext的方式： val conf ...