一.大數據組件分類:
1.計算類: hadoop,spark,flink,hive
2.傳輸類:kafka,flume,redis
3.存儲類:hbase,mongodb,Cassandra
4.調度類:zookeeper 5.配置類:mesos,yarn
二.流行的框架SMACK
Spark Mesos Akka Cassandra Kafka
三.Apache
Zookeeper 分布式調度
Spark 計算
Kafka 中心化傳輸整合數據,面向服務
Cassandra 線性增加容量,節省資源,consistency可調節
Mesos 分布式任務調度系統,智能調度硬件資源
四.大數據大數據對框架和工具的要求:
高可用性,高性能,高可擴展性
五.常見大數據架構包括:
數據注入層(webserver等)
數據存儲層
數據處理層
六.大數據技術人員兩個大方向
做大規模高並發的線上服務
做大數據分析
七.大數據指的是規模超過現有數據庫工具獲取、存儲、管理和分析能力的數據集，並同時強調並不是超過某個特定數量級的數據集才是大數據
八.國際數據公司（IDC）用四個維度的特征來定義大數據，即數據集的規模（Volume）、數據流動的速度（Velocity）、數據類型的多少（Variety）和數據價值的大小（Value）