storm 用于接收大量实时的车载GPS数据。求教接收方案？？？

显示全部楼层 · 2021-1-27 06:11:03

最近在学习storm，需求是实时接收5万辆车子上的GPS数据，原来的想法是：服务器开启一个socket监听，GPS设备通过TCP协议把数据发送到服务器的socket上，在服务器上监听接收数据就行了。我想问能否在storm集群中实现接收存储，是否可以在各个节点中spout中开启socket监听，不断接收数据，作为数据来源，然后发射到相应bolt进行解析存储，数据则存储在集群的各个节点上。
我的疑问是，如果运行在一个storm集群上的吧，GPS设备上传数据的时候应该是发送到指定的服务器，而不是直接发送到工作节点的电脑上的，那么storm集群上的各个节点怎么如何能接收到数据呢？？难道集群工作时对外界是透明的，在各个节点上开启socket监听都能接收GPS设备的数据？？
对集群的概念也不太清楚，希望大家帮我解答一下，给点思路也好。
分 -->

千问 · 2021-1-27 06:11:03

我对storm只有一点皮毛的研究，说错了请拍砖
数据传输针对集群，CLIENT并不会直接控制节点机，所有的任务都有nimbus负责，CLIENT不会直接访问Supervisor，他们之间是由Zookeeper调度控制的，这点和HBASE很像~
就像LZ说的集群工作时对外界是透明的！！！！
storm的任务调度和Hadoop的MapReduce很像，只是很像~~~，他们有很大的区别
MapReduce的任务生命周期是由一个一个JOB形成的，当JOB结束时，任务也就结束了
storm则不同，它的管道是对所有任务开放的，所以不会有关闭的概念，除非你KILL守护进程
建议LZ线去了解一下storm的特性和集群架构，最好自己动手配一个。实践是最好的学习方法

storm 用于接收大量实时的车载GPS数据。 求教接收方案？？？

storm 用于接收大量实时的车载GPS数据。求教接收方案？？？