物化视图在数据仓库中怎么设计啊(大家能不能给我点建议)

显示全部楼层 · 2012-5-21 10:19:41

本帖最后由 doncode 于 2015-7-1 21:06 编辑
我这边目前是做某市智慧城市的项目，现在项目还在设计阶段，这边做数据仓库的暂时就我一人，一期主要是智慧政务这块，就是把各个委办局的有关人口信息和法人信息的数据汇总到一个平台来，一期最终效果就是做到各个委办局数据互通，虽说是智慧城市，但真的体现不到智慧到哪，给政府做项目感觉就靠忽悠。好了，说正事了，现在暂时没拿到数据，但这边要我写一份数据仓库设计文档，要着重体现数据增量抽取和数据历史变化，增量抽取我打算用oracle的CDC机制，但关于oracle CDC的资料太少，目前完整的只有官网英文版的，研究比较费劲。以前了解点oracle物化视图，我就像问问oracle物化视图在我这种业务场景适用吗？它主要针对哪种场景比较合适，另外我看了下这边部门的数据项调研文档，感觉大多都是些静态数据，就是个人信息数据，并没有很多事件，比如你叫什么名字，你的学校，你的单位，你的社保信息，工作单位，住址像这之类的数据

千问 · 2012-5-21 10:19:41

oracle物化视图就是把复杂查询结果先保存起来，如果不复杂，则用不到

千问 · 2012-5-21 10:19:41

物化视图刷新的时候，物化视图表里的数据可能会被清空，这会导致查询结果为空，这点需要注意一下

千问 · 2012-5-21 10:19:41

物化视图和cdc都是可行的
方法。

千问 · 2012-5-21 10:19:41

lastwinner 发表于 2015-7-1 23:53
物化视图刷新的时候，物化视图表里的数据可能会被清空，这会导致查询结果为空，这点需要注意一下
你说的是全量刷新不是增量刷新，而且是ATOMIC_REFRESH=>FALSE的情况（先TRUNCATE再INSERT），缺省为TRUE（先DELETE再INSERT）。缺省情况下是不需要操心的。
物化视图实现起来比较简单，代价就是要在原始表上创建MVEW LOG，会有一些开销。

千问 · 2012-5-21 10:19:41

lz只要什么是物化视图，适用于什么场景，基本就能用了，不过物化视图在DW里面确实用的比较多

然后就刷啊刷mv

千问 · 2012-5-21 10:19:41

本帖最后由 doncode 于 2015-7-2 13:24 编辑
newkid 发表于 2015-7-2 10:37
你说的是全量刷新不是增量刷新，而且是ATOMIC_REFRESH=>FALSE的情况（先TRUNCATE再INSERT），缺省为TRUE（ ...想问下newkid大神，我这种目前业务还算简单，完成增量数据抽取物化视图相比oracle里的cdc哪个更合适

千问 · 2012-5-21 10:19:41

ORACLE的文档说CDC很快就不支持了，推荐用ORACLE的GOLDENGATE复制。

千问 · 2012-5-21 10:19:41

newkid 发表于 2015-7-2 10:37
你说的是全量刷新不是增量刷新，而且是ATOMIC_REFRESH=>FALSE的情况（先TRUNCATE再INSERT），缺省为TRUE（ ...
对的，全量才可能
增量其实就是快速刷新，需要MV_LOG的支持，而且还要小心避免oracle的bug（我就碰到过一次，快刷一段时间后，数据不一致了）

千问 · 2012-5-21 10:19:41

我擦你不会是万达信息的吧