1.网络拥塞简述 IP层是基于块状的Packet报文来分片发送的,因此,TCP协议需要将应用交付给它的字符流拆分成多个Packet(在TCP传输层被称为Segment)发送,由于网速有变化且接收主机 ...
一 系统架构 runtime framework v.s. mpp 在SQL on Hadoop系统中,有两种架构: 一种是基于某个运行时框架来构建查询引擎,典型案例是Hive 另一种是仿照过去关系数据库的MPP架构,就是参考过去的MPP数据库架构打造一个专门的系统,于是就有了Impala,Presto等等。 前者现有运行时框架,然后套上sql层,后者则是从头打造一个一体化的查询引擎。 对于SQL ...
2016-07-27 22:54 0 2143 推荐指数:
1.网络拥塞简述 IP层是基于块状的Packet报文来分片发送的,因此,TCP协议需要将应用交付给它的字符流拆分成多个Packet(在TCP传输层被称为Segment)发送,由于网速有变化且接收主机 ...
文章一开始发表在微信公众号 Fuzz技术综述 Fuzzing是一种高效的漏洞挖掘方法,它通过不断地让被测程序处理各种畸形测试数据来挖掘软件漏洞。一个Fuzz工具由三个基础模块组成,分别是测试用例生成模块、程序执行模块以及异常检测模块。 各个模块的作用以及模块间的交互 ...
快照(Snapshot)技术发展综述 刘爱贵 摘要:传统数据备份技术存在备份窗口、恢复时间目标RTO和恢复时间点RPO过长的问题,无法满足企业关键性业务的数据保护需求,因此产生了数据快照技术。本文对快照技术的概念、特点、实现技术和发展现状进行了概括性阐述,并对其未来的发展进行了展望。 关键词 ...
Hadoop 3.0 EC技术 EC的设计目标 Hadoop默认的3副本方案需要额外的200%的存储空间、和网络IO开销 而一些较低I/O的warn和cold数据,副本数据的访问是比较少的(hot数据副本会被用于计算) EC可以提供同级别的容错能力,存储空间要少得多(官方宣传 ...
最近因为做了些和hadoop相关的项目(虽然主要是运维),但是这段经历让我对hadoop的实际运用有了更加深入的理解。 相比以前自学hadoop,因为没有实战场景以及良好的大数据学习氛围,现在回顾下的确相当肤浅。 因此我要好好重学下hadoop,短期计划 ...
欢迎大家前往腾讯云技术社区,获取更多腾讯海量技术实践干货哦~ 作者:温球良 导语 最近分享过一次关于Hadoop技术主题的演讲,由于接触时间不长,很多技术细节认识不够,也没讲清楚,作为一个技术人员,本着追根溯源的精神,还是有必要吃透,也为自己的工作沉淀一些经验总结。网上 ...
本文结构 1 大数据处理与系统 1.1 批量数据处理系统 1.1.1 批量数据的特征与典型应用 1.1.2 代表性的处理系统 ...
长篇自动驾驶技术综述论文(下) 三维目标检测 鉴于经济性,可用性和研究的广泛性,几乎所有的算法都使用相机作为主要的感知方式。把相机应用在ADS中,限制条件除了前面讨论到的光照等因素外,还有一个问题就是目标检测是在图像空间的,忽略了场景的尺度信息。而当需要进行避障等动态驾驶任务时,我们需要 ...