1.为什么产生大数据技术
对于“大数据”(Big data)研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
因此需要产生大数据技术来提高数据的处理效率,促进社会的进步
2.为什么需要学习大数据
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。 阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology数据科技,显示大数据对于阿里巴巴集团来说举足轻重。
有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是赢得竞争的关键。
所以作为IT行业一员的我们来说学习大数据技术十分之必要
3.简述大数据、云计算、物联网、区块链和人工智能的概念和相互关系。
大数据是物联网和云计算发展到一定阶段的必然结果,物联网为大数据提供了大部分的数据来源,而云计算则为大数据提供了支撑平台。大数据又是人工智能的重要基础,人工智能需要通过大数据完成学习和决策的过程。从整个智能系统的体系结构来看,物联网是触角,云计算是支撑平台,大数据提供数据分析,人工智能完成最终的决策。
区块链技术未来与大数据技术的结合应用将会带来一系列重要的改变,大数据与区块链的结合还能解决数据价值化过程中的“确权”问题和流通问题,可以说未来大数据与区块链的结合将更加紧密。
4.用图表和简单的文字简要描述大数据的发展前景和就业趋势,并谈谈你的看法。
营销分析、客户分析和内部运营管理是大数据应用最广泛的三个领域。调查发现,超过60%的企业将大数据应用于营销分析;其次,52.2%的企业将大数据应用于客户分析;另外,超过50%的企业将大数据应用于内部运营管理。相比之下大数据分析在企业供应链管理等方面的应用比例还有待提升。
笔者对于大数据的发展与就业趋势非常期待,因为现在正是大数据时代,熟练对于大数据处理尤为之重要
5.大数据的危害
大数据就仿佛出现在人类文明里的一朵玫瑰,它的应用前景实在是美丽动人。但是,隐藏在花朵之下的利刺时刻准备着刺伤人类。现在,我们就来看看大数据的危害究竟是什么吧。
如果说要找出大数据对人类的危害,最直观的恐怕是隐私问题。隐私泄露是长久存在的问题,但是,大数据时代的隐私泄露是不同的。之前的隐私泄露是直接的,比如我的信息被某个机构非法获取了,信息是直接泄露给第三方的。不同的是,大数据时代的隐私泄露是由于数据的二次利用产生的。
比如说在电力系统上增加一些传感器,就可以几乎实时的获取到家庭的用电情况。由于不同的家用电器在通电时产生的电力数据是不一样的,经过简单的数据分析,就可以用电网数据分析出家庭对电器的使用情况。这种隐私泄露的方式防范起来十分困难,由于数据在采集时的直接目的并不会造成隐私的泄露,所以可以获利用户的授权。但是,当数据分析后,可能通过与不同数据集的对比就会获利一些用户不想让人知道的私密信息。如果在每次分析的时候都事先询问用户的意见,这不但会极大的提高使用成本,而且本身实现起来就不太现实。