设为首页
收藏本站
开启辅助访问
切换到窄版
登录
立即注册
中问网首页
我的收藏
站长博客
搜索
搜索
本版
帖子
用户
第一问答网
»
论坛
›
中问网
›
问答
›
请问有专门的ETL工具吗?管用吗?
返回列表
发新帖
请问有专门的ETL工具吗?管用吗?
[复制链接]
11
|
9
|
2010-3-1 11:20:00
|
显示全部楼层
|
阅读模式
请问有专门的ETL工具吗?管用吗?
自己写程序导入处理数据也叫ETL吧?
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
ETL是一个过程,抽取转换装载, 大部分人都做过etl。大型数据仓库项目必须用专门的工具来做etl
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
原帖由
crazyzhou
于 2009-10-22 12:02 发表
ETL是一个过程,抽取转换装载, 大部分人都做过etl。大型数据仓库项目必须用专门的工具来做etl
谢谢,都有哪些工具呢?
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
数 不过来
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
原帖由
Garfield_Hu
于 2009-10-22 15:34 发表
数 不过来
能列举几个么?
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
just google it
三大主流ETL工具选型
原文地址:http://hi.baidu.com/mcj0127/blog ... d325f2b2fb959d.html
ETL(extract, transform and load)产品乍看起来似乎并不起眼,单就此项技术本身而言,几乎也没什么特别深奥之处,但是在实际项目中,却常常在这个环节耗费太多的人力,而在后续的维护工作中,更是往往让人伤透脑筋。之所以出现这种状况,恰恰与项目初期没有正确估计ETL工作、没有认真考虑其工具支撑有很大关系。
做ETL产品的选型,仍然需要从以前说的四点(即成本、人员经验、案例和技术支持)来考量。在此,主要列举三种主流ETL产品:Ascential公司的Datastage、Informatica公司的Powercenter、 NCR Teradata公司的ETL Automation。其中,ETL Automation相对其他两种有些特别之处,放在后面评述。
旗鼓相当:Datastage与Powercenter
就Datastage和Powercenter而言,这两者目前占据了国内市场绝大部分的份额,在成本上看水平相当,虽然市面上还有诸如Business Objects公司的Data Integrator、Cognos公司的DecisionStream,但尚属星星之火,未成燎原之势。
谈Datastage和Powercenter,如果有人说这个就是比那个好,那听者就要小心一点了。在这种情况下有两种可能:他或者是其中一个厂商的员工,或者就是在某个产品上有很多经验而在另一产品上经验缺乏的开发者。为什么得出这一结论?一个很简单的事实是,从网络上大家对它们的讨论和争执来看,基本上是各有千秋,都有着相当数量的成功案例和实施高手。确实,工具是死的,人才是活的。在两大ETL工具技术的比对上,可以从对ETL流程的支持、对元数据的支持、对数据质量的支持、维护的方便性、定制开发功能的支持等方面考虑。
一个项目中,从数据源到最终目标表,多则上百个ETL过程,少则也有十几个。这些过程之间的依赖关系、出错控制以及恢复的流程处理,都是工具需要重点考虑。在这一方面,Datastage的早期版本对流程就缺乏考虑,而在6版本则加入Job Sequence的特性,可以将Job、shell脚本用流程图的方式表示出来,依赖关系、串行或是并行都可以一目了然,就直观多了。Powercenter有Workflow的概念,也同样可以将Session串联起来,这和Datastage Sequence大同小异。
ETL的元数据包括数据源、目标数据的结构、转换规则以及过程的依赖关系等。在这方面,Datastage和Powercenter从功能上看可谓不分伯仲,只是后者的元数据更加开放,存放在关系数据库中,可以很容易被访问。此外,这两个厂家又同时提供专门的元数据管理工具,Ascential有Metastage,而Informatica拥有Superglue。你看,就不给你全部功能,变着法子从你口袋里面多掏点钱。
数据质量方面,两种产品都采用同样的策略——独立出ETL产品之外,另外有专门的数据质量管理产品。例如和Datastage配套用的有ProfileStage和QualityStage,而Informatica最近也索性收购了原先OEM的数据质量管理产品FirstLogic。而在它们的ETL产品中,只是在Job或是Session前后留下接口,所谓前过程、后过程,虽然不是专为数据质量预留的接口,不过至少可以利用它外挂一些数据质量控制的模块。
在具体实现上看,Datastage通过Job实现一个ETL过程,运行时可以通过指定不同参数运行多个实例。Powercenter通过Mapping表示一个ETL过程,运行时为Session,绑定了具体的物理数据文件或表。在修改维护上,这两个工具都是提供图形化界面。这样的好处是直观、傻瓜式的;不好的地方就是改动还是比较费事(特别是批量化的修改)。
定制开发方面,两者都提供抽取、转换插件的定制,但笔者认为,Datastage的定制开发性要比Powercenter要强那么一点点。因为Datastage至少还内嵌一种类BASIC语言,可以写一段批处理程序来增加灵活性,而Powercenter似乎还缺乏这类机制。另外从参数控制上,虽然两者的参数传递都是比较混乱的,但Datastage至少可以对每个job设定参数,并且可以job内部引用这个参数名;而Powercenter显得就有些偷懒,参数放在一个参数文件中,理论上的确可以灵活控制参数,但这个灵活性需要你自己更新文件中的参数值(例如日期更新)。另外,Powercenter还不能在mapping或session中引用参数名,这一点就让人恼火。
总起来看,Datastage和Powercenter可谓旗鼓相当,在国内也都有足够的支持能力,Datastage在2005年被IBM收购之后,可以说后劲十足。而Informatica则朝着BI全解决方案提供商方向发展,Powercenter显然还将是它的核心产品。
独树一帜:Teradata的ETL Automation
继续要说的第三种产品是Teradata的ETL Automation。之所以拿它单独来说是因为它和前面两种产品的体系架构都不太一样。与其说它是ETL工具,不如说是提供了一套ETL框架。它没有将注意力放在如何处理“转换”这个环节上,而是利用Teradata数据库本身的并行处理能力,用SQL语句来做数据转换的工作,其重点是提供对ETL流程的支持,包括前后依赖、执行和监控等。
这样的设计和Datastage、Powercenter风格迥异,后两者给人的印象是具有灵活的图形化界面,开发者可以傻瓜式处理ETL工作,它们一般都拥有非常多的“转换”组件,例如聚集汇总、缓慢变化维的转换。而对于Teradata的ETL Automation,有人说它其实应该叫做ELT,即装载是在转换之前的。的确,如果依赖数据库的能力去处理转换,恐怕只能是ELT,因为转换只能在数据库内部进行。从这个角度看,Automation对数据库的依赖不小,似乎是一种不灵活的设计。也正是这个原因,考虑它的成本就不单单是ETL产品的成本了。
其实,在购买现成的工具之外,还有自己从头开发ETL程序的。
ETL工作看起来并不复杂,特别是在数据量小、没有什么转换逻辑的时候,自己开发似乎非常节省成本。的确,主流的ETL工具价格不菲,动辄几十万;而从头开发无非就是费点人力而已,可以控制。至于性能,人大多是相信自己的,认为自己开发出来的东西知根知底,至少这些程序可以完全由自己控制。
就目前自主开发的ETL程序而言,有人用c语言编写,有人用存储过程,还有人用各种语言混杂开发,程序之间各自独立。这很危险,虽然能够让开发者过足编码的瘾,却根本不存在架构。
有位银行的朋友,他们几年前上的数据仓库系统,就是集成商自己用c语言专门为他们的项目开发的。单从性能上看似乎还不赖,然而一两年下来,项目组成员风雨飘零,早已物是人非,只有那套程序还在那里;而且,按照国内目前的软件工程惯例,程序注释和文档是不全或者是不一致的,这样的程序已经对日常业务造成很大阻碍。最近,他们已经开始考虑使用ETL工具重新改造了。
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
精辟. 不仅是你的ETL知识,还有你的文笔.
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
Who can summarize Ab Initio which is one of the most popular ETL tools?
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
etl 工具一定要分传统ETL工具与调度工具.
传统ETL工具, 实际对很多项目来说可有可无, 大不了自己写程序.
但调度就不好弄了, 最好找一个通用展示好的调度工具,目前市场上有一款叫taskctl的国产调度软件, 非常不错, 而且还有免费版, www.taskctl.com
回复
使用道具
举报
千问
|
2010-3-1 11:20:00
|
显示全部楼层
赞6楼,确实是好文,09年写的,到现在都还适用!可以转帖不?
楼上也不错,国产软件做成这样,还是值得肯定了
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
千问
主题
0
回帖
4882万
积分
论坛元老
论坛元老, 积分 48824836, 距离下一级还需 -38824837 积分
论坛元老, 积分 48824836, 距离下一级还需 -38824837 积分
积分
48824836
加好友
发消息
回复楼主
返回列表
问答
热门排行
1
这一切到底是为了什么?
2
女人身上的那鼓香味哪里来的?
3
对女朋友我是不是心眼儿太小了
4
我25岁混合型皮肤 适合什么品牌的护肤?脸上有雀斑
5
电子转向助力器警示灯
6
单机真三国无双!
7
梯形的上底为5dm,下底8dm,高4dm,它的中位线为(
8
求一张绝美 和尚的画
9
想换手机了!!!诺基亚79和82的翻新机问题。
10
本人15,皮肤敏感,洗完澡全身发痒并且有起一些红点点,症状持续时候不久,望有解决方法
11
老年人在家需要注意哪些生活细节?安全方面的,不是健康养生的,大家互相提醒下!
12
我的淘宝虚拟交易多到了%97影响了实物交易我该怎么办
13
2009年12月16日16点出生,女孩取名字,唐姓,谢谢
14
为什么我的古墓丽影汉化不了??
15
关于考研最后模拟题的选择
16
LP-LINK无线网卡未连接
17
谁有武林外传后9集
18
体育学院毕业的大学生参军后的情况
19
黄金太阳2怎么进不了黄金太阳1的哈依迪亚村?
20
巨蟹男和处女男配不配?
21
maya2008和maya8.5的界面相差大吗?
22
winXP系统如何输入任何密码都可以进呢???
23
购买天津经济适用房按揭贷款
24
喜欢了一个比我小的人,觉得不现实,就离开了
25
我的MP4是加州苹果N62固件 升级找不到.请求厂家帮忙发到我邮件:
[email protected]
26
在电脑和电视连在一起的情况下,我的INTEL 945GM显卡如何设置,可以让电视放电影,而同时不影响电脑操作?
27
DNF剑魂平民PK装备?
28
秦王李世民中李倩的吻戏在第几集
29
李咏女儿在2009年度《芭莎男士》中国品味成功年度人物颁奖典礼上穿的外套是什么牌子啊
30
银河英雄传说 txt 格式的书发到我邮箱
[email protected]
最好十部分开
31
寒假想去福建旅游,求关于福建的旅游资源,特别是厦门与泉州的旅游景点,美食,住宿,谢谢!
32
我想买摄像机
33
什么是电厂事故灰场
34
谁知道太阳能截止阀怎样安装
35
蜗居里小贝的手机链在哪能买到?急。
36
dnf55称号任务的问题
37
求亨利·米勒《南回归线》中的一段英文原文
38
涉嫌寻衅滋事罪如何取保侯审
39
3G手机的上网速度是不是很快,听说室内下载达速度到每秒好几兆,车载也很乐观,不知道是不是真的?
40
中国化学工程第七建设公司 住房公积金问题
41
多汗症是什么?有何中药方?求教
42
河北网通固话开通QQ会员
43
重装系统后需要光盘引导开机
44
两次乙肝三项检查的对比。麻烦帮我看下。
45
跪求一首开场音乐有点像弄你DJ慢摇舞曲
46
《龙》中的龙隐村要怎么再进去?
47
《龙OL》怎么调小游戏窗口
48
全运向前冲杨超群
49
求银魂的插曲
50
s4jjc等级
51
广东去江西南昌 坐火车 路线是怎样的?
52
诺基亚N79鉴别翻新
53
我是2010届广东考生,关于广东商学院
54
采购空调时如何描述空调的各方面
55
三国里以下这些人哪个最强?按顺序排
56
百度怎么下载视屏?
57
雅马哈08款天剑越野50元油93号6.3元每升跑320公里,正常吗?
58
给我一支烟那段帮狗洗澡唱的歌叫什么
59
百度知道怎么触发彩蛋?
60
请问仓鼠、宠物兔、肉兔、长毛兔的饲养是不是一样的?它们身上长虱子吗?
61
[Mobile C#.NET] 注册 验证
62
我从厦门游泳到台中需要多长时间?
63
什么叫速度优先式?
64
你好 你之前不是也关闭不了windows7的任务栏嘛?后来怎么关闭的 !!我的也关不了 换别的主题就特别扭
65
如何使用CAD
66
WOW盗贼问题
67
屏幕上显示pdl参数错误是什么意思
68
佳能一款全能镜头的问题
69
权证名称问题:上汽CWB1中CWB1是什么意思啊??
70
谁有篮球视频的背景音乐
71
求乃木坂春香的秘密2中第十一话米兰唱的插曲
72
我明年想报考中戏的艺术管理系,我是学编导的,请问我该怎么准备呢?
73
VISTA下搜索到的网络和计算机保存的类型不一致
74
为什么ML的诱惑这么大
75
可以使用联通3G卡的智能手机
76
DNF弹药的攻击问题
77
求东方神起的《break out 》完整版?
78
为什么我的电脑玩穿越火线Ping超高
79
女生进,帮忙,谢谢!!!!!
80
先版本国服盗贼怎么才能打出高输出
81
如何运用衍射原理,设计实验装置测试物体形变
82
《魔兽世界》为什么我的急救技能升到99点很难再升上去了?必须要用亚麻布造绷带吗?
83
有没有重案七组的电视剧?
84
求昨天晚上开的一个私服名称
85
发几本小说给我,分就给你!
86
请专家分析阴道分泌物报告单
87
关于名片设计问题
88
谁有篮球视频的背景音乐
89
有4个主角让玩家选的是大海航海时代3还是4
90
我这条件能买经济适用房吗?
91
怎么对付这种人
92
最新国产手机CPU的频率是多少?
93
骐达改灯 海拉3 和LX350小糸 哪个好??
94
关于 微星X410 的本本 我该如何?
95
天然气热水器能不能直接用液化气?谢谢
96
我在学校有笔记本,但家里没有网线,放假了想要无线上网一个月,要买个无线上网卡吗?有一个月的吗
97
请问现在iphone 的(3G)版 8G 和 16G 还有(3GS)版的在香港买水货和行货是多少钱?
98
谁能帮我查下包裹到那里了谢谢包裹号 PA15747314711
99
公务员报名流程?
100
简述陪体在摄影画面中的作用?