如何设计生产环境中flume采集非结构化数据的方案

显示全部楼层 · 2021-1-27 05:04:43

现在想到的方案是，将非结构化数据源定时复制到flume监控的文件夹中，进行采集，还有没有其它生产环境下的设计方案。
分 -->

千问 · 2021-1-27 05:04:43

我之前是从各种应用系统的日志的服务器所在位置去他们的日志目录去拿，思路和你这个差不多，搞个监控目录，定时复制，flume安装到几个系统的节点上，把数据采到以后，送到kafka，然后后台spark根据kafka的topic进行消费。