设为首页
收藏本站
开启辅助访问
切换到窄版
登录
立即注册
中问网首页
我的收藏
站长博客
搜索
搜索
本版
帖子
用户
第一问答网
»
论坛
›
中问网
›
问答
›
Google的系统工程师如何工作?
返回列表
发新帖
Google的系统工程师如何工作?
[复制链接]
11
|
0
|
2013-3-19 08:53:00
|
显示全部楼层
|
阅读模式
由于Google的服务已经集群化,系统工程师并不大量接触硬件比如做安装服务器等事情。另外大部分工作也已经自动化了,比如架设LDAP, 负载均衡等。对照而言,国内目前大部分互联网公司SA仍然要做大量重复的底层工作,比如拿一个业务的数据库过大需要拆分为例,从系统管理员的角度,需要做以下事情
同技术人员沟通目前业务特点,制定拆分方案并评估程序风险
搭建测试环境,技术人员测试程序兼容性
制定实施方案,保证业务的不停机平稳过渡
深夜上线
观察1-2天运行情况
我们需要思考上面工作是否是系统管理员以及技术人员有价值的工作。像Cassandra这样解决了分布式存储自动化扩展的问题是业内一种发展方向,尽管Cassandra的稳定性还需要改进)。
Google的系统工程师怎么做?
他们会通常1周值班,响应各种问题,比如完成上述场景中的扩容业务。然后有大约5周左右脱离一线工作来自由思考将这1周内碰到的工作进行自动化改进,将那些会反复碰到的问题通过脚本及监控程序完成,或者进一步反馈给技术人员改进应用程序来实现自动化。1:5只是个大约比例,时段可以灵活安排。比如也可以按天来安排,1天值班/7天改进。当改进完成之后,下次遇到相同的场景,自动化程序会完成大部分工作。如果在其他公司,SA通常忙碌在一线机械重复上述工作,但是在Google, 给系统工程师预留了相当多的时间让大家思考改进。
这就是Google的System Administrator自称SRE(Site Reliability Engineers)的原因。SRE会不断在优化所负责的系统,一些人关注运维层面,另外一些可能关注自动化工具。所有的SA都需要具备一定程序或脚本开发能力。
因此,当遇到Google的数据规模,自动化不是是否需要,而是如何更好实现的问题。
在Google其他一些令人兴奋的工作还包括与开发技术人员是协同的关系。
只需关心技术,在技术领域也有职业生涯上升通道,不必转向技术管理岗位或其他。
同事都非常聪明,通常会觉得自己是最逊的那一个。
很多挑战,保守的估计领先行业2-10年,在这里工作就象给了你一个魔法水晶球,通过你的工作可以预见这个行业的未来。
受Google方式的启发,以下想到的一些可以研究的自动化方向
1. 程序部署
C/C++/Java/PHP/Python/Ruby/C# 等语言如何不停机自动发布
自动发布如何简洁的解决模块依赖性,比如1天需要同时更新10个有相互依赖的模块,并且不能停止服务
Web容器虚拟化,同一Web容器上可以部署多个业务,业务之间互相隔离,互不影响。
将新开发的服务程序运维自动化。
一般的服务程序从数量上来说,10是一个分水岭,10台以下的服务通过人工重复操作方式来管理也问题不大,但是10台以上就需要自动化管理的方法。很多优秀的开源程序(比如Tokyo Cabinet, Redis等)在单机上表现优秀,但是大规模部署不能。大公司中很多技术人员经常提到很多开源软件不适合他们就有这方面原因。
2. 资源部署
MySQL
分布式文件存储
Cache,拿cache自动化管理举例
端口资源管理,不同业务使用不同端口,同一应用内不同的数据使用不同的端口,相关原因可以参看以前cache相关博文。
容量管理,不同的数据需要不同的容量
动态扩容,应用业务规模增长,比如从10G扩容到100G
Proxy功能,比如虚拟化端口映射,程序访问的是固定虚拟端口,这样不需要重启服务也可以随时扩充,应用也不需要一致性hash, proxy帮你做了。
3. 系统部署
OS
反向代理与负载均衡
本地分区容量,批量管理
程序发布与停止,比如一个程序一个点击部署到100台服务器
虚拟化,比物理服务器更容易部署,资源利用率更高,部署更可控
大部分国内互联网公司基础技术还是比较原始的,这跟行业过分强调“好产品是运营出来的”也有关系,基础研发通常不受重视,长此以往,只能在门槛低的领域打拼,与Google的技术差异就不止10年了。
回复
使用道具
举报
返回列表
发新帖
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
千问
主题
0
回帖
4882万
积分
论坛元老
论坛元老, 积分 48824836, 距离下一级还需 -38824837 积分
论坛元老, 积分 48824836, 距离下一级还需 -38824837 积分
积分
48824836
加好友
发消息
回复楼主
返回列表
问答
热门排行
1
脸颊两侧有痘痘红有白尖
2
手指肚上起白色的小疙瘩。手经常爆皮。
3
厌食,主要是对着饭菜不愿进食。
4
发热伴有腹痛、腹泻、恶心、呕吐的药物
5
药品吃的对不
6
我家宝宝刚九天,昨天脸上起了两个红豆豆,今天起了好多,豆豆尖尖发白
7
乳头内缩,呈火山状
8
怀孕多久可以检测出来?做人流哪种手术好?
9
来月经能吃桂枝茯苓丸和头孢氨苄胶囊吗
10
.一岁九个月宝宝不会说话
11
心脏出现间歇性跳动是什么问题
12
一天吃了12粒,怎么办
13
一吃饭就肚子疼想去厕所
14
脚麻还有点疼帮帮忙把
15
如果子宫被切除了还会来月经吗?
16
手淫后,尿道有精液去澡堂泡澡,会感染艾滋
17
淋病一年了,吃啥药好的快?
18
怀孕多久可以测出来?做人流手术哪种比较好
19
这几天总是胃胀,连着好多天了都
20
怀孕三个月了,可以带隐形眼镜吗,前面一直
21
下巴额头脸颊痒,一块一块的红
22
请问阴茎上长得是什么东西
23
母亲50多岁手指裂大口子不好
24
性病和疱疹是一种病不
25
口、眼、生殖器损害是怎么形成的
26
喝水呛该杂么办
27
月经量多应该吃些什么药呢
28
幽门狭窄的鉴别
29
妄言妄见的并发症
30
眼科检查说我得了干眼症
31
胃病及肠道病该如何保养
32
怎么检测出来是怀孕了?选择哪种人流手术?
33
用茶水洗完脸之后怎么冲洗
34
有那几种药可治幽门螺旋
35
来月经第一天血的颜色有点深而且量非常的少,第二
36
额头上的痘痘一直去不掉两三年了,怎么办呢
37
做月子应该注意些什么啊?有哪些东西不能吃
38
九个月大孩子不吃饭了怎么办?
39
怎样取消脸上的痘痘。
40
3周岁半宝宝反复发烧39.7
41
一直没胃口十几天了,还一直恶心,想吐去医
42
清宫两个月了,还没有来月经,
43
怀孕了多久可以检测出来?人流手术哪种好?
44
我今天早上一起来就感觉左耳听不见了,而且
45
精液擦干了还能受孕么
46
现在,生孩子了想母乳喂养血糖一直控制不好
47
阴道异味和月经不调,还有疑似阴道变小
48
平常月经很规律,每月20号来
49
做过三次药流
50
乳房彩超显示有肿块,请专家门看..
51
手部总是冒虚汗,有什么好的办法解决?
52
痘痘怎么除掉呢,脸上总是有很多
53
想再做一次核磁共振 要间隔多长时间呢
54
感冒发烧咳嗽(成年人56岁
55
肠虫清六岁儿童吃几天
56
静脉曲张小腿
57
两个脸颊共长了4个红色痘痘,总是不好,没
58
好人啊!求帮助啊!我快痒死了!一紧张、运
59
我以前带环腰疼,医生说是子宫靠后,那么我
60
七十二天的婴儿
61
不来月经快两个月
62
缺锌,钙.维生素c.吃什么药啊
63
嘴唇内侧长了很多小水泡
64
嗅觉倒错的并发症
65
牙颌畸形,“地包天”
66
我腹部背部大腿长了多达百粒肿粒.大小不一
67
幻想失去时间和空间感觉的并发症
68
请问快来月经有点黑色,来完月经八九天还有
69
四月宝宝剪伤了怎么办
70
点痣结痂后能不能洗澡
71
我的宝宝今天是出生第19天,睡觉总是不踏
72
孩子不吃饭,一天都在哭
73
皮肤太敏感。。又想美白咋办
74
昨天晚上揉眼睛的时候觉得痛了早上起来眼
75
人流半个月了,偶尔回有褐色白带,有问题吗
76
我想问一下维生素AD滳剂(胶囊型)0一1
77
您好!我老婆怀孕快三个月了!体重没有增加
78
月经期间白带。恶臭
79
下背部酸痛的治疗
80
月经推迟了7天自查为弱阳性
81
小孩为什么反复肠套叠发作?什么高科技检查
82
宝宝今天3个月了!2天一夜没大便什么原因
83
肛门口长了一个黄豆大小的硬的肉块
84
这是感染艾滋病了不,很担心
85
我不知道我的是过敏性鼻炎还是别的鼻炎,,
86
身上起红点不痒该怎么治疗
87
快到预产期了请问是不是快要生了
88
可能是颞前低级别胶质瘤
89
小孩十八个月,但是以前妊娠痕迹依然没消失
90
肝有1.2CM大的CYST是什么样的
91
您好,我孕19周,想引产,胎盘部分覆盖宫
92
有时候有狐臭有时候没有。
93
产后脱发的并发症
94
经血是褐色经量少撒原因
95
我想问林芝怎么吃有什么要求吗
96
脚丫烂、痒,用足光粉合脚癣一次净泡了,可
97
睡觉时候感觉腰痛,尤其是过性生活后疼痛加
98
为什么做爱两年都没有怀孕做爱时都是晚
99
关于老年人的以协助病情咨询