一、搭建Hadoop 開發環境 　　我們在工作中寫完的各種代碼是在服務器中運行的，HDFS 的操作代碼也不例外。在開發階段，我們使用windows 下的eclipse 作為開發環境，訪問運行在虛擬機中的HDFS。也就是通過在本地的eclipse 中的java 代碼訪問遠程linux 中的hdfs ...

1.Servlet接口分析 此接口是Servlet的最頂層接口，其中定義了Servlet生命周期相關的方法，所有Servlet都必須實現。此接口中的方法有以下幾個： 生命周期的調用順序如下： Servlet構建成功后調用init方法來初始化Servlet配置，此方法只調用一次，然后有一個 ...

1.概述 　　在 Kafka 中，官方對外提供了兩種消費 API，一種是高等級消費 API，另一種是低等級的消費 API。在 《高級消費 API》一文中，介紹了其高級消費的 API 實現。今天給大家 ...

一、Hadoop項目簡介 1. Hadoop是什么 Hadoop是一個適合大數據的分布式存儲與計算平台。 作者：Doug Cutting；Lucene，Nutch。 受Google三篇論文的啟發 2. Hadoop核心項目 HDFS: Hadoop Distributed File ...

目錄 NIO-Channel接口分析 目錄 前言 接口 SCTP協議 UDP協議 TCP協議 客戶端 服務端 文件 ...

最近無聊分析了一下b站的視頻流協議，簡單分享下爬取的流程。 首先先要找到視頻對應的aid和cid，aid就相當於av號，而av號對應網頁下的每一個視頻都有對應的cid，普通視頻就是分p，番劇就是集數，aid和cid在網頁的源代碼里面都能找到，用正則匹配aid和cid這兩個關鍵字就能匹配 ...

一、MapReduce簡介 1.1MapReduce概述 　　MapReduce是一種分布式計算模型，由Google提出，主要用於搜索領域，解決海量數據的計算問題。MR由兩個階段組成：Map和Re ...

接口簡介 down_timeout接口，在指定時間內獲取信號量。 整體流程： 用戶嘗試獲取信號量 如果資源充足（count>0），則count自減，代表占用一個資源； 如果資源不足（count<=0），則進行睡眠等待； 如果直到超時，資源 ...