大數據技術,就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術,它們成為大數據采集、存儲、處理和展現的有力武器。
一、大數據接入
1、大數據接入
已有數據接入、實時數據接入、文件數據接入、消息記錄數據接入、文字數據接入、圖片數據接入、視屏數據接入
2、大數據接入技術
Kafka、ActiveMQ、ZeroMQ、Flume、Sqoop、Socket(Mina、Netty)、ftp/sftp
二、大數據存儲
1、大數據存儲
結構化數據存儲、半結構化數據存儲、非結構化數據存儲
2、大數據存儲技術
Hdfs、Hbase、Hive、S3、Kudu、MongoDB、Neo4J 、Redis、Alluxio(Tachyon)、Lucene、Solr、ElasticSearch
三、數據分析挖掘
1、大數據分析與挖掘
離線分析、准實時分析、實時分析、圖片識別、語音識別、機器學習
2、大數據分析與挖掘技術
MapReduce、Hive、Pig、Spark、Flink、Impala、Kylin、Tez、Akka、Storm、S4、Mahout、MLlib
四、大數據共享交換
1、大數據共享交換
數據接入、數據清洗、轉換、脫敏、脫密、數據資產管理、數據導出
2、大數據共享交換技術
Kafka、ActiveMQ、ZeroMQ、Dubbo、Socket(Mina、Netty)、ftp/sftp、RestFul、Web Service
五、大數據展現
1、大數據展現
圖化展示(散點圖、折線圖、柱狀圖、地圖、餅圖、雷達圖、K線圖、箱線圖、熱力圖、關系圖、矩形樹圖、平行坐標、桑基圖、漏斗圖、儀表盤),文字展示;
2、大數據展現技術
Echarts、Tableau
國家規划大數據產業發展戰略,各行各業需要大數據技術支撐指數級的數據增量服務,越來越多的企業逐漸轉型於大數據,大數據方面市場需求呈爆發式增長。
轉自:https://www.douban.com/group/topic/109858772/?type=like