怎样入手学习ETL

显示全部楼层 · 2011-11-1 16:25:22

之前是写PLSQL 的，我现在要学习ETL，之前没有接触过，该如何学，从什么地方入手！

千问 · 2011-11-1 16:25:22

有SQL 基础学ETL 还是蛮简单的。

千问 · 2011-11-1 16:25:22

下载一个工具，如Informatica，建立几个数据源表、几个目标表，然后把数据源表的数据抽到目标表中，首先不用做得很复杂，先做最简单的。

千问 · 2011-11-1 16:25:22

找个项目练手

千问 · 2011-11-1 16:25:22

找个工具，实践
数据仓库的逻辑区域的划分及各区域的功能和特点：
(1) 暂存区(Staging Area)：是为了保证数据移动的顺利进行而开设的增量性的数据存储空间，它是业务系统原始数据进入数据仓库前的缓存区。从业务系统到Staging的数据传输，应该避免进行复杂的数据处理，以保证数据的快速导入而尽量减少对业务系统造成的压力。一般，可以创建与OLTP交易系统实体结构相同的属性，同时在STAGING区域需要增加两个属性，1）SOURCE CODE，用来表示来源系统；2）LAST MODIFIED DATE，用来获得数据处理时间；如果原来的数据中已经有了上述两个属性，则需要在新属性中增加DW后缀进行标识；数据成功导入数据仓库之后，应清空Staging Area中的数据；
(2) 数据存储区Operational Data Store (ODS):ODS的数据作为数据仓库系统数据存储。ODS区域可以从逻辑上可以分为两部分，一部分用来存放OLTP系统的历史数据，这部分需要考虑是否需要对OLTP中的数据进行LIFE CYCLE的记录（包括交易数据与基础数据，即缓慢变化的处理）；另一部分存放数据仓库部分加工的信息，即通过ODS历史数据经过整合后的信息，这些信息更加全面地反映出一个主题中某件事物的全貌。
(3) 中央数据仓库（BASELINE）是真正具有星型结构的多维数据存储区，这个部分包括的实体包括FACTENTITY和DIMENSION ENTITY。BASELINE部分需要能够支持最细粒度级别，保证可以在最细粒度级别实现多维的分析；即能够同时支持汇总数据以及明细数据的多维查询；
(4) 数据集市（DATAMART）是某一主题领域的专有的多维数据区；实现某一主题领域的多维查询需求；这个部分包括的实体也包括FACTENTITY和DIMENSION ENTITY两部分，但与BASELINE不同的是这部分的FACTENTITY和DIMENSION ENTITY都是某一业务主题服务。
数据仓库系统中Staging Area逻辑层的作用：
1．是为了保证数据移动的顺利进行而开设的增量性的数据存储空间，它是业务系统原始数据进入数据仓库前的缓存区。需要进入数据仓库各主题系统的数据首先直接快速传输到Staging Area，通过Staging Area再转移到目标数据仓库中。从业务系统（如ERP、PSP、Notes）到Staging Area的数据传输，应该避免进行复杂的数据处理，以保证数据的快速导入而尽量减少对业务系统造成的压力。
2．一般，可以创建与OLTP交易系统实体结构相同的属性，同时在STAGING区域需要增加两个属性，1）SOURCE CODE，用来表示来源系统；2）LAST MODIFIED DATE，用来获得数据处理时间；如果原来的数据中已经有了上述两个属性，则需要在新属性中增加DW后缀进行标识；数据成功导入数据仓库之后，应清空Staging Area中的数据；
数据仓库系统中BASELINE逻辑层的作用：
是真正具有星型结构的多维数据存储区，这个部分包括的实体包括FACTENTITY和DIMENSIONENTITY；
1）FACTENTITY：是对某一个事物（可能是某一笔交易，某一个项目，如某一笔到货明细，某一个任务令）的各个方面信息的全面描述，描述性的属性包括：该事物的各方面的度量信息，相关度量信息的相关维度信息；
2）DIMENSION ENTITY：此处的维度是与FACTENTITY相关的维信息，包括很多FACTENTITY共有的维度信息，如时间维等；以及某一个FACTENTITY需要的专有的维信息；BASELINE部分需要能够支持最细粒度级别，保证可以在最细粒度级别实现多维的分析；即能够同时支持汇总数据以及明细数据的多维查询。
[ 本帖最后由 lxk_8080 于 2011-2-25 10:57 编辑 ]

千问 · 2011-11-1 16:25:22

同关注，另Informatica现在好像不好下载，哪位仁兄share一下?不甚感激。。

千问 · 2011-11-1 16:25:22

同关注！！！