传统的ETL工具将逐步退出舞台

显示全部楼层 · 2005-10-30 17:05:33

传统的ETL工具将逐步退出舞台

千问 · 2005-10-30 17:05:33

能讲详细点吗？

千问 · 2005-10-30 17:05:33

不见得是最佳解决方案，因为目前很多项目，就是把数据Extract到DW中，然后用存储过程做Transform，就是类似的E-LT结构。其实缺点很明显，由于ETL有不同周期，包括天、周、月、年等，每天都有很多job需要做，存储过程需要在客户要求的周期内完成所有的Transform工作，会对数据库系统造成很大的压力，对于需求很多，而且变更频繁的项目，扩展性是存储过程的致命缺点。只是对于业务不复杂，数据量也不大的项目来说，也可以为一种快速开发项目的不错选择。
其实有种成熟而且流行的方案是用程序Extract出来，程序中嵌入sql 做T，然后形成文件，然后再Load到target database，这种方案的优点是能最大限度减轻数据库负担，扩展性强。

千问 · 2005-10-30 17:05:33

看不出传统的ETL工具将逐步退出舞台,该文章只是某产家的一家之言.
举的ETL工具例子也不全面.

千问 · 2005-10-30 17:05:33

不见得

千问 · 2005-10-30 17:05:33

第一是它取消了传统的ETL中的私有Engine，数据转换一般都是目标数据库中进行，而且数据转换用RDBMS的丰富的语句。可以这么说RDBMS的转换能力有多快，那么Sunopsis转换就有多快。第二它采用了知识模块的功能，实现了零编程，第三Sunopsis是用Java编程，所以它几乎可以运行在任何主流平台。

千问 · 2005-10-30 17:05:33

看来这个产品没在业务复杂，数据量也大的项目中用过，那样的话，数据库不容易撑死才怪。

千问 · 2005-10-30 17:05:33

太夸张, 传统的东西也在进步啊!

千问 · 2005-10-30 17:05:33

专业系统cross platform不是由JAVA完成的。
觉得JAVA的执行效率太低。要看编程者的水平而定。