永洪科技大数据产品处理10亿条数据性能较hadoop如何

显示全部楼层 · 2021-1-27 06:11:02

机器配置相同，有人测过吗，感觉hadoop导入很快，查询计算有所不足啊
分 -->

千问 · 2021-1-27 06:11:02

没有实测过，从下面的永洪BI来看，性能也不错，要比较与hadoop可以看下相关的白皮书，用时间复杂度估计下
永洪主要通过以下核心技术来支撑PB级的大数据：跨粒度计算(In-DatabaseComputing)Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于跨粒度计算技术，Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，我们称之为库内计算(In-Database)。这一技术大大减少了数据移动，降低了通讯负担，保证了高性能数据分析。并行计算(MPPComputing)Z-Suite是基于MPP架构的商业智能平台，她能够把计算分布到多个计算节点，再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源，不管是服务器还是普通的PC，她对网络条件也没有严苛的要求。作为横向扩展的大数据平台，Z-Suite能够充分发挥各个节点的计算能力，轻松实现针对TB/PB级数据分析的秒级响应。列存储(Column-Based)Z-Suite是列存储的。基于列存储的数据集市，不读取无关数据，能降低读写开销，同时提高I/O的效率，从而大大提高查询性能。另外，列存储能够更好地压缩数据，一般压缩比在5-10倍之间，这样一来，数据占有空间降低到传统存储的1/5到1/10。良好的数据压缩技术，节省了存储设备和内存的开销，却大大了提升计算性能。内存计算得益于列存储技术和并行计算技术，Z-Suite能够大大压缩数据，并同时利用多个节点的计算能力和内存容量。一般地，内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算，CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速，是实现大数据分析的关键应用技术。

千问 · 2021-1-27 06:11:02

引用1楼FENGQIYUNRAN的回复:没有实测过，从下面的永洪BI来看，性能也不错，要比较与hadoop可以看下相关的白皮书，用时间复杂度估计下
永洪主要通过以下核心技术来支撑PB级的大数据：跨粒度计算(In-DatabaseComputing)Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于跨粒度计算技术，Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，我们称之为库内计算(In-Database)。这一技术大大减少了数据移动，降低了通讯负担，保证了高性能数据分析。并行计算(MPPComputing)Z-Suite是基于MPP架构的商业智能平台，她能够把计算分布到多个计算节点，再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源，不管是服务器还是普通的PC，她对网络条件也没有严苛的要求。作为横向扩展的大数据平台，Z-Suite能够充分发挥各个节点的计算能力，轻松实现针对TB/PB级数据分析的秒级响应。列存储(Column-Based)Z-Suite是列存储的。基于列存储的数据集市，不读取无关数据，能降低读写开销，同时提高I/O的效率，从而大大提高查询性能。另外，列存储能够更好地压缩数据，一般压缩比在5-10倍之间，这样一来，数据占有空间降低到传统存储的1/5到1/10。良好的数据压缩技术，节省了存储设备和内存的开销，却大大了提升计算性能。内存计算得益于列存储技术和并行计算技术，Z-Suite能够大大压缩数据，并同时利用多个节点的计算能力和内存容量。一般地，内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算，CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速，是实现大数据分析的关键应用技术。
虽然没有具体的测试时间，但是说了不少理论。。