前提 随着现在业务开展,几个业务系统的数据量开始急剧膨胀。之前使用了关系型数据库MySQL进行了一次数据仓库的建模,发现了数据量上来后,大量的JOIN操作在提高了云MySQL的配置后依然有点吃不消,加之开发了一个基于关系型数据库设计的标签服务,日全量标签数据(无法避免的笛卡尔积)单表超过 ...
前提 笔者目前需要搭建数据平台,发现了Windows系统下,Hadoop和Hive等组件的安装和运行存在大量的坑,而本着有坑必填的目标,笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows 系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤 遇到的问题和对应的解决方案。 环境准备 基于笔者的软件版本洁癖,所有选用的组件都会使用当前 最高的版 ...
2020-11-03 08:21 3 2920 推荐指数:
前提 随着现在业务开展,几个业务系统的数据量开始急剧膨胀。之前使用了关系型数据库MySQL进行了一次数据仓库的建模,发现了数据量上来后,大量的JOIN操作在提高了云MySQL的配置后依然有点吃不消,加之开发了一个基于关系型数据库设计的标签服务,日全量标签数据(无法避免的笛卡尔积)单表超过 ...
开发环境基本介绍:(是以刚重装过系统的电脑进行介绍的,电脑刚装完的操作见其他的文档) Eclipse环境搭建: 1、 下载JDK (本例以JDK13.0.1为例) 2、 配置环境变量(主要是JAVA_HOME,path ,注意JDK13的配置方法和前些版本有区别,请百度),在命令行中 ...
1. Hadoop 概览Google 三篇论文(GFS -> HDFS,Map-Reduce -> MR,BigTable -> HBase)是 Hadoop 的思想之源。Hadoop 生态非常庞大,其最初两大核心是 HDFS 和 MR,分别负责存储和计算(Hadoop 1.x ...
一、WSL初始化 从Windows引用商店搜搜Linux,下载Ubuntu(可选18.04或者20.04都可),下载完成后开始菜单点击安装,会要求初始化用户名和密码。 二、创建root用户 后续操作需要root权限,Ubuntu默认是没有root用户的,需要先手动创建 三、更改阿里云 ...
最近研究WebAssembly技术,准备用WebAssembly编译C/C++代码供前端调用。网上看了很多文章,收获很大,现在就遇到的问题做一个记录。 官网关于windows开发环境搭建基本上几句话,写的太简单,看来是把每个人都当资深程序员了。 https://emscripten.org ...
3年前写了一篇《Windows下搭建PHP开发环境》之后就再也没有碰过PHP了,最近新发布了PHP7然后回去看了一下之前写的文章,发现很多配置都已经过时,所以就打算再写一篇新的。 安装准备 – 系统:Windows 10 Apache 上Apache官网才发现官方已经不提供Apache ...
原文链接:https://mp.weixin.qq.com/s/mUUKO-oCsy_xxi7dQduhwg 准备工作 查看操作系统的版本信息:计算机>>右键“属性”>>查看版本信息,如Windows10专业版64位 ...
、webOS、os/2等系统中运行。不少DOS下的游戏都可以直接在该平台上运行。 工具官网:ht ...