mesos屬于大數據計算平臺的哪類組件?
首先,一個典型的大數據解決方案,即大數據系統平臺的構建,涉及多個層面,如數據采集傳輸、數據存儲、數據計算、資源管理、任務調度等。在每個流程階段,都有多個組件可供選擇,關鍵是滿足實際需求。舉一些簡單的例子來說明一些典型的組件:
文件存儲:HadoopHDFS離線計算:HadoopMapReduce、Sparkstreaming、實時計算:Storm、SparkStreamingK-V、NOSQL數據庫:Hbase、Redis、MongoDB資源管理:YARN、Mesos日志收集:Flume、Scribe、Logstash和Kibana消息系統:Kafka、StormMQ、ZeroMQ和RabbitMQ查詢分析:Hive、Impala、Presto、Phoenix、SparkSQL、Flink、Kylin和Druid分布式協調服務:Zookeeper集群管理和監控:Ambari、Ganglia、Nagios