一、搭建Hadoop 开发环境 　　我们在工作中写完的各种代码是在服务器中运行的，HDFS 的操作代码也不例外。在开发阶段，我们使用windows 下的eclipse 作为开发环境，访问运行在虚拟机中的HDFS。也就是通过在本地的eclipse 中的java 代码访问远程linux 中的hdfs ...

1.Servlet接口分析 此接口是Servlet的最顶层接口，其中定义了Servlet生命周期相关的方法，所有Servlet都必须实现。此接口中的方法有以下几个： 生命周期的调用顺序如下： Servlet构建成功后调用init方法来初始化Servlet配置，此方法只调用一次，然后有一个 ...

1.概述 　　在 Kafka 中，官方对外提供了两种消费 API，一种是高等级消费 API，另一种是低等级的消费 API。在 《高级消费 API》一文中，介绍了其高级消费的 API 实现。今天给大家 ...

一、Hadoop项目简介 1. Hadoop是什么 Hadoop是一个适合大数据的分布式存储与计算平台。 作者：Doug Cutting；Lucene，Nutch。 受Google三篇论文的启发 2. Hadoop核心项目 HDFS: Hadoop Distributed File ...

目录 NIO-Channel接口分析 目录 前言 接口 SCTP协议 UDP协议 TCP协议 客户端 服务端 文件 ...

最近无聊分析了一下b站的视频流协议，简单分享下爬取的流程。 首先先要找到视频对应的aid和cid，aid就相当于av号，而av号对应网页下的每一个视频都有对应的cid，普通视频就是分p，番剧就是集数，aid和cid在网页的源代码里面都能找到，用正则匹配aid和cid这两个关键字就能匹配 ...

一、MapReduce简介 1.1MapReduce概述 　　MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Re ...

接口简介 down_timeout接口，在指定时间内获取信号量。 整体流程： 用户尝试获取信号量 如果资源充足（count>0），则count自减，代表占用一个资源； 如果资源不足（count<=0），则进行睡眠等待； 如果直到超时，资源 ...