设为首页
收藏本站
开启辅助访问
切换到窄版
登录
立即注册
中问网首页
我的收藏
站长博客
搜索
搜索
本版
帖子
用户
第一问答网
»
论坛
›
中问网
›
问答
›
BI应用中的三大矛盾
返回列表
发新帖
BI应用中的三大矛盾
[复制链接]
11
|
8
|
2011-5-7 01:45:08
|
显示全部楼层
|
阅读模式
2012-9-25 23:58| 发布者: 仙豆| 查看: 6| 评论: 0|原作者: joegh |来自: 网站数据分析
摘要: 因为近期工作的变更,一直在忙一些杂七杂八的东西,工作交接、离职手续及对新工作的思路整理,目前还处在这个阶段,所以可能近期没有比较新的内容跟大家分享,最近的几篇文章会以一些总结的内容为主,主要是对之前的 ...
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
因为近期工作的变更,一直在忙一些杂七杂八的东西,工作交接、离职手续及对新工作的思路整理,目前还处在这个阶段,所以可能近期没有比较新的内容跟大家分享,最近的几篇文章会以一些总结的内容为主,主要是对之前的工作中的一些感想。但相信之后会有更加丰富的数据分析相关的内容向大家呈上,因为我相信我要去的新公司是一个朝气蓬勃、充满创意和挑战的地方,而最重要的是他们对数据的重视和理解。
看到文章标题,相信大家已经知道这篇文章还是关于BI方面的,其实这是我刚进现在所在公司的时候所写的一篇文章,现在回头看来即使一直努力地在协调好这些矛盾,但说实话最终没有一个是真正完完全全的解决了的。我相信如果其他公司也是自己搭建BI系统的话,多多少少也会遇到这些问题,可能其中的一两个矛盾现在也正困扰着大家,我这里提供了我的解决方案,至于可行性和效果,有待大家去验证。
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
矛盾一:业务部门对数据的理解与数据部门对需求的理解
把它放在第一位是因为这个直接影响着数据所能发挥的效用,或者说这个矛盾没协调好的话,数据所能创造的价值将大打折扣。造成这个矛盾的原因就是业务部门无法了解数据的获取、处理、计算整个流程,从而对数据的含义和用处产生了自己的理解;同时数据部门无法真正了解业务需求,不清楚数据到底用于何处,为了监控或评估产品的哪个方面,于是无法提供最优或最有效的数据。
解决方案:建立业务部门与数据部门间的接口。这个接口包括规范的流程、详细的文档、合理的数据展现,而最重要的还是能够衔接起业务和数据之间的人。
首先是数据需求流程的规范化,也就是需求一般由业务部门提起,通过数据部门对数据的获取和计算将结果返回给业务部门,这个流程中业务部门不仅要提供数据的规则,同时应该对获取数据的目的、指标的定义、用处和价值做出详细的描述;而数据部门不仅要给出最终数据,同时需要对指标的获取途径、计算方法作出解释,最终的目的都是为了使双方在理解上能够达成一致。
其次是详细的文档。这个其实就是上面所说的流程中必然会产生的两类文档:数据需求文档和数据解释文档(在数据仓库里面是元数据的重要组成部分,关于数据仓库的元数据一直想整理一篇文章出来,希望在之后尽快贴上来),文档的内容基本就是包含上面流程中提到的那些内容。
再者就是合理的数据展现。其实就是一个原则:让每个人看到自己想看的数据,并能直观地理解这些数据。无论是报表、Excel还是其他展现方式,每个指标都应该能够有途径去直接查看相应的数据解释文档,而数据应该以最直观的方式展现出来以方便理解,借助各类图表结合的方式。
最后也是最重要的一点就是业务与数据的衔接者。这类人员应该对产品的战略目标、业务流程十分熟悉,同时对数据的获取途径、计算方法也了如指掌,或许不需要涉及高技术难度的数据ETL处理、组织和优化,但必须具备自己去计算和获取各类数据的能力。
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
矛盾二:业务需求的不断变化与生成数据的复杂流程
业务需求是不断变化的,尤其是身在互联网这个发展迅速的环境中。所以我们往往会遇到每天业务部门都会有新的需求过来,或者几天前某个指标的计算逻辑在几天之后就发生了变化。而数据部门面对这些情况,往往会陷入困境,一方面由于数据获取上的问题导致某些指标没法计算得到,另一方面指标计算逻辑的改变可能需要改动到整个复杂的数据处理流程,令人头疼。
解决方案:集成化的完整的底层数据与快速灵活的数据获取途径。
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
其实在关于数据仓库架构的文章中就提到过数据仓库尽量保存所有的底层细节数据,包括原始的日志点击流数据和前台数据库的ODS数据以及其他来源的数据,其实我不太建议数据仓库是单纯根据需求建立起来的多维模型,因为需求始终会变,但多维模型在应对变化时有缺失灵活性。而如果保存的底层数据,其实在大部分时间内就能做到以不变应万变,因为几乎所有的指标都是从这些底层数据中计算得到的,拥有了底层数据相当于满足了大部分数据的需求。
还有一个问题就是对需求改变时的及时应变,一种方法是建立面向不同主题的多维模型(当然是在底层数据的上层建的),因为多维模型能够满足从多个角度多个层面对数据的观察分析,能够从一定程度上解决数据的多样需求;同时基于底层数据集成化的组织管理环境,使用标准化的统计语言,如SQL语句,借助其强大的对数据的聚合、排序、分组等能力,加速数据的获取和计算。
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
矛盾三:数据即时查询的效率与海量数据的处理和建模
其实这里又是一个权衡的问题,即如何在提供足够丰富的指标的前提下保证数据的展现、获取和查询的效率能够满足数据需求方的要求。如果提供的指标不够,或者数据的粒度不够细,就无法满足日常数据监控和分析需要;相反,如果每天计算和统计的指标过多或者数据分得太细,那么显然会增加服务器运算的负荷,同时在数据查询上的响应能力也会相应的下降。
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
解决方案:把握核心数据,建立合理的多维模型。
其实数据仓库中海量数据的处理和查询效率的问题本身就是一门很深的学问,涉及数据仓库结构和ETL的优化、OLAP的优化(上一篇文章——OLAP的基本特征有提到Oracle在这方面所做的优化),这里不谈论这些技术上的实现途径,还是说应用上的。
核心数据,简单说就是网站的目标、KPIs等,这些数据是从高层到基层人员都在时刻关注的数据,所以最优先的原则就是保证这些数据的查询效率和及时响应。最简单的做法就是这些指标独立统计,不放入多维模型,只做每天的简单聚合存入Summary表中直接供报表展现。
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
另一个就是建立合理的多维模型,说到合理这里又要抱怨下,数据的需求方起初会漫无边际地提各种需求,可能会有上百个指标,但一旦统计出来之后很少会有人真正去使用和分析这些指标(估计是因为看了会眼花),这个我在关于实时数据统计中提到过类似问题。因为在多维模型中增加一个维或维的层次加深一层,对于立方的数据是以乘积方式递增的,比如增加一个100条记录的维相当于立方的数据乘以100,或者时间维的粒度从天到小时,相当于数据量是原先的24倍,这个对于那些本身数据量就非常庞大的多维模型而言本身就是一场灾难。所以建立多维模型时的原则是提供实际应用中需要的维和指标,同时把握好各个维的层次粒度。
回复
使用道具
举报
千问
|
2011-5-7 01:45:08
|
显示全部楼层
上面就是我遇到的三大难题了,一下子又写了这么多,希望大家有耐心看完。其实之前的工作也较多地涉及了一些技术上面的东西,主要是Oracle和PL/SQL,由于对于那方面不是很擅长,另外博客主要面向网站数据分析方面的主题,所以很多总结的东西也不敢拿出来献丑,如果大家希望也有这个方面的讨论的,我可以分享几篇上来,大家可以留言给我点建议。
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
千问
主题
0
回帖
4882万
积分
论坛元老
论坛元老, 积分 48824836, 距离下一级还需 -38824837 积分
论坛元老, 积分 48824836, 距离下一级还需 -38824837 积分
积分
48824836
加好友
发消息
回复楼主
返回列表
问答
热门排行
1
宝清县申通
2
求一句励志名言,有深刻含义的,看清楚是名言,要标清是谁的,谢了
3
长期在比较小的噪音下生活听力也会受损么
4
海贝属于什么类型动物
5
有哪个牌子型号的手机适合高中生
6
借条怎么登记现金日记账
7
如何查在qq团购里所购的东西现在已运到什么地方
8
东芝笔记本有的时候会突然没声音重启后又正常了是怎么回事
9
什么花开双对双歌谱
10
在河北省的建筑工程中是不是住宅用电必须有电力部门施工呢,物业及设备用电可以由总包方施工呢
11
新配电脑出问题
12
为什么苹果电脑来死机?
13
我十月份和十一月份开了5400左右,团费扣了84,正常吗,不是扣1%吗?有知道的回答我。
14
改了简体查看器后如何恢复原来的样子啊?
15
请问大家,我在macbook上装了ghost版本的xp,安装过程速度超级慢,几个小时还没安完
16
数列{bn}为等比数列,且满足b1=a1.2b3=b4.(1)求数列{an}{bn}的通项公式。(2)求数列{an*bn}的前n项和
17
为什么win7 F盘下载东西不能超过4GB
18
铸钢件热处理后的焊接性能以及力学性能
19
北大绿卡课课大考卷英语八年级下答案
20
什么事手机基站设定
21
看看我买什么枪
22
BB高达中除了OO系列有腿外 还有什么系列是有腿的?
23
CF极品号换其他CF号,不要垃圾,我QQ390754876
24
北京地铁站5号线优惠券机怎么用?收费吗?
25
2011款 风云2 怎么样?比老款动力和油耗方面是否有改善
26
丝路传说怎么老掉线
27
用友T6做完年结后,为什么会计科目不可删除,但客户往来,供应商往来就可以呢?
28
psp iphone 买哪个
29
QQ仙境最大或最好的公会是哪个?附上联系方式。
30
安徽省芜湖市有没有永和豆浆店,地点在哪?
31
娱乐百分百20100301罗志祥穿的外套
32
海带应与什么做汤呢
33
金正EVD怎么外带充电?
34
连接路由器时显示“宽带连接错误678”
35
如何订火车票往返票
36
该怎么开办一个小型图书馆,经济应该怎么打理
37
为什么一个男人为了满足一个女人无理要求,宁愿掏空钱包?
38
康颂水彩本需要前期处理吗
39
生物体的细胞原则上是活的,都可以产生酶
40
现在流行的、女生跳的舞种是什么呢?(若能带一些视频网站就更好了
41
帮我查下圆通速递的货物到哪了?运单号是 2362001321
42
大连2011七月份口译与听力什么时间报考?
43
2011河北的小学寒假的放假时间安排?
44
年底收到原材料运输发票,但原材料已耗用完,所生产的产品已售出,现在要怎么出账?
45
windows7更改主题只换了背景
46
如何把mov转换成avi
47
DC第一视角每天在哪里打?浩方还是VS?哪个房?
48
图1情景所反映的重大历史事件是什么?该事件彻底废除了在中国存在了两千多年的什么
49
天语W366怎样使用卡2登Q
50
国内有哪些试验室可以做CBR, 试验费是多少?
51
如何定翡翠原石价格
52
怎样系统的准备选调生考试 需要什么资料 谢谢
53
如何更改QQ微博网址
54
我送给仂一个我狠喜欢的男生一个糖。他在扣状态上写:这糖的甜,含义是什么?那人。 我不知道我该不该去评
55
安静的人很无趣么
56
常熟市有光明牛奶的经销商吗
57
我家电脑刚开机就出现一个打开方式怎么办
58
一张长方形纸对折后可以得到一个长是10厘米、宽6厘米的长方形,原来长方形的周长可能是()厘米,也可能是
59
以前看过一个视频 里面是一个女孩(真人)在跳凉宫春日的舞 这女孩后面是个大屏幕 求这个视频
60
帮我算一下,(女)阳历1987年9月18日,申时是什么命?
61
就是 英文
62
黄瓜味苦是怎么回事?还能吃吗?
63
神武穿心剑在哪里买
64
问一个简单的问题,本人到一个镇 这个镇离我出发的地点是 6公里,我开摩托车时速50,要多长时间到达目的地
65
360杀毒为何要自宫
66
QQ三国如何快速升级?
67
手机QQ怎么下载不了
68
淘宝网没手机怎么买东西
69
杭州银行2011笔试成绩出来了吗?有人收到面试通知了么?1月4号考的
70
为什么刷雷者总是掉
71
关于HTC G8的问题
72
为什么一个月内来两次月经
73
台湾的chanel包 burberry之类的价格
74
有Les小说吗?麻烦发下哈 谢谢了
[email protected]
75
青春痘怎么治啊?谁知道好点的方法
76
fair-weather friend的反义词
77
在使用WIN7优化大师里,优化网络我弄不懂,我是属于ADSL还是属于PPPOE拨号(我是PPPOE拨号的,
78
.2011年春运金华购买31号晚上的火车票要什么时间去
79
极品飞车12封面的那辆车是什么啊?怎么改出来?
80
去香港的签证为什么只有七天
81
本人属蛇,农历十月十五晚两点,帮我算下我2011的运势,最近不是很顺…
82
PS模拟的合金装备1如何还盘?哪位朋友帮帮忙!!!!!!!!!!!!
83
为什么我下载不了东西,本来想下个迅雷的,却发现用什么浏览器也不行,下360,QQ也一样- -帮帮忙
84
手机搜不到蓝牙耳机,怎么问10086?
85
赛尔号查斯性格温顺刷什么我打谱尼
86
方向盘式三轮车:万虎的大灯在南宁哪个地方有卖
87
熊猫血,患者急需献血,如何异地献血,这样免去了路上奔波之苦,使献血者更加踊跃?
88
信长之野望13 组队问题
89
msn临时对话另一方不在线,会显示什么!
90
为什么室内的玻璃上会结冰?
91
有什么好办法能提高学习效率,可以让学习成绩上去,谢谢!
92
我能考上中央音乐学院吗?
93
紫雨区盛典套6000W,忘记是什么颜色了
94
我亲戚在家买了个电脑 你能不能帮忙核算一下价位哈 具体的配置如下
95
路由器连接的两台电脑一台网速好,一台网速卡
96
河北会计电算化考试结束后立即出的是时间还是分数?我考了81分,还是8...
97
我这配置能玩什么啊? 内存226MB 显卡32MB
98
f(x)=(1/2)^x (x>0) ,求f^-1(x)