请问有没有早年间做过大数据量oracle系统割接的?

[复制链接]
查看11 | 回复9 | 2009-9-27 10:21:20 | 显示全部楼层 |阅读模式
我指的是大概4,5年前,还没有oracle data pumping, XTTS这些东西出来的时候。
我想问一下当时迁移数据库的具体步骤。是直接用etl工具从老系统往新系统倒呢,还是把老系统的表结构基本不变先传到新系统的数据库中,运行脚本或者其他工具实现表的mapping呢?大概平均下来1T数据量要多长时间?
PS:
谢谢各位的回复。实际上我不是要规划这样一个项目,我当时也参与了整个系统的割接,也奉献了很多pl/sql脚本,但是数据的迁移过程我没有参加。问了以前的同事,大概的过程就是先将老数据原封不动load到新库,然后跑脚本。现在我就是非常想知道用什么技术可以最快的将数据load到新库当中,记得当时最大的一个库大概2t左右,load+跑脚本实现mapping+check if migration success不超过14个小时。因为跑脚本的时间是很长的(最少要8个小时),check最少也要1两个小时吧,所以我就想知道怎么在4到5个小时之内load完数据库的。
感谢所有回复
[ 本帖最后由 yang_xdx 于 2009-9-27 12:26 编辑 ]
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
周末高手哪里去了
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
不要说4,5年前,就是现在,谁的生产库有IT的?真有这么大,作这些动作,估计也是一大帮DBA在整合方案,
非一人之力可以搞定.
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
1T的也不算大阿。lz说的迁移是结构相同的迁移,还是系统割接做的迁移?时间要求是什么?
不同情况方案也大不相同。
这几年都在做电信行业的数据迁移,大家可以探讨一下。
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
谢谢各位回复。
是系统割接,所以操作系统,数据库的表结构都是异构,数据量上t是肯定的,割接完了的数据库恐怕已经超过10T了。当时是把13个独立的库一个一个割接到一个数据库中的,对每一个独立的库,只给你一晚上,最大的独立库应该在2t左右(应该不超过3t)。我只知道当时创建了很多脚本用来把原来的数据插入到新的大库中,但是不清楚是直接用dblink联老库还是先把老库原封不动load进来在运行脚本。有经验的给说说,这两种哪个更快,如过原封不动的load数据,用什么方法快(是从8i-9i,操作系统异构,所以data pump,stream replicate,xtts这些那时候都还没有)
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
刚看了一下,俺独立负责的最大的库是12.8TB大小,不过中间用了emc的盘库和Veritas的quickIO,大数据量的维护没感觉比小库慢呢。
[ 本帖最后由 fsm 于 2009-9-27 10:01 编辑 ]
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
原帖由 yang_xdx 于 2009-9-26 23:54 发表
谢谢各位回复。
是系统割接,所以操作系统,数据库的表结构都是异构,数据量上t是肯定的,割接完了的数据库恐怕已经超过10T了。当时是把13个独立的库一个一个割接到一个数据库中的,对每一个独立的库,只给你一晚上,最大的独立库应该在2t左右(应该不超过3t)。我只知道当时创建了很多脚本用来把原来的数据插入到新的大库中,但是不清楚是直接用dblink联老库还是先把老库原封不动load进来在运行脚本。有经验的给说说,这两种哪个更快,如过原封不动的load数据,用什么方法快(是从8i-9i,操作系统异构,所以data pump,stream replicate,xtts这些那时候都还没有)





这种系统迁移或者用行话说割接,用什么exp,streams,mv,tts,第三方rep软件通通不凑效,大部分这样的需求,原系统和目标系统不仅仅是结构的不同,在业务逻辑上也有很大的不用,所以很多情况下,数据需要转换.所以有些ISV专门有team做这些data migration solutions,当然了这个team的人员,不仅仅有系统专家,也有很多业务专家和一些必要的开发人员.

以前见过几次类似的工作,1T左右的数据,几个小时就过去了。
其中整体迁移框架、逻辑控制、协调调度是整个迁移解决方案的核心,这部分做不好,时间和效率就控制不了,最终也很难在用户给定的time window内完成这个任务。
当然了,编写大量的shell+pl/sql是个痛苦的活,但也是蛮有挑战的,需要做到精准、高效、简洁、易读(毕竟这不是一个人在战斗)

这样的解决方案,需要较长的准备/协调/沟通时间,更需要多次的测试和演练,并不断的分析、改进和优化,最后才可能达到用户期望的目标(比如6小时1T)。

回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
原帖由 ZALBB 于 2009-9-26 22:32 发表
不要说4,5年前,就是现在,谁的生产库有IT的?真有这么大,作这些动作,估计也是一大帮DBA在整合方案,
非一人之力可以搞定.

呵呵,现在的业务需求越来越复杂,表的数量成千上万,T级的数据库到处都是,迁移数据也不麻烦,这点迁移时间做10t完整迁移可能是少点。可以做差异化同步,能大大减少时间,也就是说,那些不变的表先迁移,变动的表先按照一个时间点迁移,然后在正式迁移的时候,处理差异数据关键还是看业务类型分析,确实很复杂,不是一个人能搞定的,不过你要是说给个1周时间,我估计1个人就能干好这活。
[ 本帖最后由 wwwlh 于 2009-9-27 10:37 编辑 ]
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
作为一个项目去做吧,不是一个人的事情..
回复

使用道具 举报

千问 | 2009-9-27 10:21:20 | 显示全部楼层
学习一下!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
热门排行