项目综述 在本次课程中，项目分别分为bigdata_track，bigdata_transforer和bigdata_dataapi。本次项目主要以分析七个模块的数据，分别为用户基本信息分析、操作系统分析、地域信息分析、用户浏览深度分析、外链数据分析、订单信息分析以及事件分析。那么针对不同的分析 ...

一、数据展示系统(bigdata_dataapi)总述 bigdata_dataapi项目的主要目标有两个：第一个就是我们需要提供一个提供json数据的Rest API；另外一个目标就是提供一个展示结果的demo页面。bigdata_dataapi使用 ...

1.问题背景 　　设计到几十张数据库表，每张表有几万到十几万数据不等，现在需要尽可能快的导出excel数据。 2.遇到的问题及解决思路 　　2.1 数据量大，生成速度慢。下载的文件太大。 　　　　　使用多线程下载，一个表的数据分配一条线程，全部下载完成压缩成一个zip文件 ...

　　最近在公司备份数据库数据，简单的看了一下。当然我用的是简单的手动备份。 　　第一：其实最好的方法是直接用： 　　mysqldump -u用户名 -p密码 数据库名 < 数据库名.sql 在linux在操作的，测试过一个一万多行的导入数据，共121m。在linux下，几秒 ...

bloom-filter 算法 场景：我说的大数据量处理是指同时需要对数据进行检索查询，同时有高并发的增删改操作； 记得以前在XX做电力时，几百万条数据，那时一个检索查询可以让你等你分钟； 现在我是想探讨下对大数据量的处理，那时我就在想例如腾讯，盛大，动辄数以亿计的帐号,怎么能 ...

近几天做了一个项目，需要解析大量的json数据，有一万多条，以前我用的都是Gson包去自动解析，但是速度真是不敢恭维，于是我又去查了其它的方法，发现fastjson的解析，发现速度直的是很快，在此我不得不佩服，这个包的作者，直是很厉害，能写出这样一个工具，我在网上看了，这个工具还有很多问题，但也 ...

一、有没有遇到过问题，怎么进行解决的 1、空值问题 本质：hive底层存储空数据使用\n《==》MySQL存储空数据使用null 解决：双向导入均分别使用两个参数☆，之前讲过 2、数据一致性问题 Hive ==》 MySQL ...

1.需求背景是什么？2.存储何种数据？3.数据特点是什么？4.存在哪些技术挑战？5.解决方案有哪些？6.md5散列桶的方法需要注意的问题？7.测试结果是什么？解决方案：1 需求背景该应用场景为DMP缓存存储需求，DMP需要管理非常多的第三方id数据，其中包括各媒体cookie与自身cookie ...