数据仓库的架构问题

显示全部楼层 · 2007-4-9 11:34:42

小弟这么多年一直做的是OLAP，数据仓库没有做过。现在我这里要上一个数据仓库的项目，估计数据量在3T左右，每年的增量为200-300G。这个东西是业务部门给我的预估值。初定是上IBM的小机。
按我以前对OLAP的做法，一定是一台DG，然后在DG中做RMAN，以备主机使用。现在的问题是如果也用这个架构，费用比较厉害。DG一定是要OS一样的，那也就是只能上IBM的小机。然后存储这里主机3TB的话，DG也要3TB。做RMAN的话，我即使用了10的COMPRESS，单次备份也需要400-500G，还要考虑到做第二次RMAN的时候，我们一般都保留前一次备份，那RMAN这里也至少需要1T。这样也做是PRIMARY 3T+STANDBY 3T+RMAN 1T=7T。还要考虑到一些ARCH文件什么的，要配到9T-10T吧。我觉得预算有些吃紧。
还有个想法么是用STREAM来做HA，这玩意不用OS一样的，至少我可以用一台X86的机器顶上去，可以便宜很多。但数据仓库的数据插入量比较大，我怕STREAM来不急跟上。这也是一个问题。
这是我的一个大概的想法，各位有没有数据仓库的HA建议，或者把你们现有的架构跟我说说，让我学习学习。谢谢。

千问 · 2007-4-9 11:34:42

数据仓库的备份应该考虑“过期数据沉淀”，可以把过期的数据向“低粒度”汇总，然后把细节过期数据单独备份到磁带上
个人感觉数据仓库项目用DG来进行保护没有太大的必要，毕竟数据仓库项目多数是提供应用分析的，对“数据的服务保障”要求不那么高。如果经费充足的话RAC是值得考虑的，RAC对数据仓库的计算有很大的性能提高！

千问 · 2007-4-9 11:34:42

数据仓库的备份应该考虑“过期数据沉淀”，可以把过期的数据向“低粒度”汇总，然后把细节过期数据单独备份到磁带上
兄弟，解释一下这段

千问 · 2007-4-9 11:34:42

原帖由 uj12 于 2008-1-18 09:13 发表
数据仓库的备份应该考虑“过期数据沉淀”，可以把过期的数据向“低粒度”汇总，然后把细节过期数据单独备份到磁带上
兄弟，解释一下这段
对细节数据按时间分区，对不经常访问的分区进行“低粒度”汇总，比如细节数据以日为单位，汇总到以月或季度为单位，然后把细节数据转移到单独的表空间上，然后对这个表空间进行备份，以后就不需要经常备份这部分数据了，也可以把这部分数据设置为“只读” 目标指向磁带，或者光盘！

千问 · 2007-4-9 11:34:42

OK,这个能理解没有问题.这个与我事先想的也一样.不过,那些在线的新鲜数据呢,还是做RMAN备表空间吗?这个是备在磁盘上还是磁带上比较好?
我是比较倾向于磁盘上的,1是方便,2是快,3是恢复也简单.比如块坏掉什么的,比从磁带找快很多.兄弟,你怎么看,谢谢你的回答.

千问 · 2007-4-9 11:34:42

原帖由 uj12 于 2008-1-18 09:41 发表
OK,这个能理解没有问题.这个与我事先想的也一样.不过,那些在线的新鲜数据呢,还是做RMAN备表空间吗?这个是备在磁盘上还是磁带上比较好?
我是比较倾向于磁盘上的,1是方便,2是快,3是恢复也简单.比如块坏掉什么的,比从磁带找快很多.兄弟,你怎么看,谢谢你的回答.
我更倾向于磁带，其实磁带的顺序写速度并不慢，可以通过配置RMAN的channel数加上增加磁带库的驱动器数完全可以胜任10T以下数据的全备份，以前询问过IBM的技术支持 2个小时内备份10T数据完全是可能的，但前提是要投入硬件和相关软件！
磁带好管理而且成本低。

千问 · 2007-4-9 11:34:42

谢谢,楼上了.
那兄台,你认为DG的必要性就不是很大了?

千问 · 2007-4-9 11:34:42

原帖由 uj12 于 2008-1-18 10:00 发表
谢谢,楼上了.
那兄台,你认为DG的必要性就不是很大了?
我认为不大，呵呵，关键还看业务是怎么要求的，如果仅仅是要报表结果或者汇总后的分析数据那么用“高级复制”生成DM数据就行了，这样DM和DW的数据是分开的，即使DW“宕机”了，也不影响DM。

千问 · 2007-4-9 11:34:42

楼上,你这里的DM是什么意思...........

千问 · 2007-4-9 11:34:42

原帖由 uj12 于 2008-1-18 10:25 发表
楼上,你这里的DM是什么意思...........
data market 数据集市