分布式计算是不是意味着不用再进行多线程编程了?

显示全部楼层 · 2021-1-27 05:40:48

最近一直在弄java多线程的编程,感觉挺麻烦的,是不是转向分布式计算之后,不需要再考虑多线程的问题了?
分 -->

千问 · 2021-1-27 05:40:48

可以这样理解吧
1、分布式可以简单理解把一块大的数据分割成很多小块，然后交由不同的机器处理。
2、分布式和多线程还是有区别的，更不能代替多线程。

千问 · 2021-1-27 05:40:48

我觉得分布式是将一台机器处理不了或者处理起来慢的数据交给多台机器处理，至于在某一台机器上用多线程还是单线程，看具体情况吧

千问 · 2021-1-27 05:40:48

引用1楼w574717155的回复:可以这样理解吧
1、分布式可以简单理解把一块大的数据分割成很多小块，然后交由不同的机器处理。
2、分布式和多线程还是有区别的，更不能代替多线程。
我现在搞得多线程处理就是把数据分割成多块处理啊,当然我现在还只是一台机器.这些数据分割处理之后还要合并或者衔接在处理,十分的麻烦.我在考虑转向分布式计算,打算用spark,不知道你有什么建议吗?

千问 · 2021-1-27 05:40:48

我把多线程用来控制hadoop，比如mapreduce无法即时返回结果，我就丢一个线程监控mapreduce计算，等待其完成。多少个mapreduce计算就用多少个线程来监控，不至于客户端一直处于假死状态。

千问 · 2021-1-27 05:40:48

引用3楼gzronald70的回复:Quote: 引用1楼w574717155的回复:
可以这样理解吧
1、分布式可以简单理解把一块大的数据分割成很多小块，然后交由不同的机器处理。
2、分布式和多线程还是有区别的，更不能代替多线程。
我现在搞得多线程处理就是把数据分割成多块处理啊,当然我现在还只是一台机器.这些数据分割处理之后还要合并或者衔接在处理,十分的麻烦.我在考虑转向分布式计算,打算用spark,不知道你有什么建议吗?
你这个需求到是可以用。spark我们正打算用，spark相对于mapreducer有很多优秀的功能，不过现在好像没有mapreducer成熟。具体用什么要根据你们的需求来。我们目前在用mapreducer，有些算法用mapreducer来实现，还是比较麻烦的。spark根据介绍，应该有取代mapreducer之势。但没实际用过，不太好说。