设为首页收藏本站
开启辅助访问 切换到窄版
搜索
第一问答网»论坛 › 中问网 › 问答 › 十多亿条数据的处理

十多亿条数据的处理

[复制链接]
查看11 | 回复9 | 2015-3-6 11:57:31 | 显示全部楼层 |阅读模式
在一个应用中,每天进行一个大的数据处理,需要从很多表中取出数据,入到临时表中,字段很少,只有五个,都是整形,然后对这个十多亿条数据的临时表的前三个字段进行group by,请问这么大量数据的处理,会不会出其它问题(比如临时表空间,内存,数据库性能)?
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
每天做全量数据处理，以后数据量越大，估计问题会很多，建议做成增量的方式，每天仅处理新增的数据进行汇总。。。
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
同意 做增量处理！
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
物化视图手工刷新
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
同意使用物化视图
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
数据每天都是不一样的,每天都有十几亿条数据进行处理,没有办法做增量
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
汗貌似不好解决。。。明天拿十多亿条都不一样 ？ 奇怪的应用啊
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
办法是有的，可不可行就不一定了
比如如果有备库的话，如果有other importantdb or DW，可以把这样的操作从核心库上分离出来，
所以，一方面要看这个操作对现有系统的影响，这个方面不能仅靠评估猜测，要收集相关数据，用数据说话，一方面要看解决相关问题所拥有的资源和可以获得的资源，然后就是看想怎么做了
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
关注....
回复

使用道具 举报

千问 | 2015-3-6 11:57:31 | 显示全部楼层
对应用进行分离
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

千问

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
回复楼主 返回列表
热门排行