大数据采集平台
来源：天津优就业IT培训学校时间：2022/2/24 11:53:26
现在每年大数据领域都会涌现大量新的技术，成为大数据获取、存储、处理分析或可视化的有效方法。大数据技术能把大规模数据中隐藏的信息和知识挖掘出来，为人类的社会经济生活提供依据，提高各个领域的运行效率，甚至整个社会经济的集约化程度。
大数据采集平台
Flume 是Apache旗下的一款开源、高可靠、高扩展、容易管理、支持客户扩展的数据采集系统。 Flume使用JRuby来构建，所以依赖Java运行环境。
Flume初是由Cloudera的工程师设计用于合并日志数据的系统，后来逐渐发展用于处理流数据事件。
Source
Source负责接收输入数据，并将数据写入管道。Flume的Source支持HTTP，JMS，RPC，NetCat，Exec，Spooling Directory。其中Spooling支持监视一个目录或者文件，解析其中新生成的事件。
Channel
Channel 存储，缓存从source到Sink的中间数据。可使用不同的配置来做Channel，例如内存，文件，JDBC等。使用内存性能高但不持久，有可能丢数据。使用文件更可靠，但性能不如内存。
Sink
Sink负责从管道中读出数据并发给下一个Agent或者终的目的地。Sink支持的不同目的地种类包括：HDFS，HBASE，Solr，ElasticSearch，File，Logger或者其它的Flume Agent。
在线咨询
电话咨询
