|
|
51CTO旗下网站
|
|
移动端

1.4.3 从蘑菇街平台的实践经验对比两种建设路径

《大数据平台基础架构指南》第1章大数据平台整体建设思想,在本章中,为了避免分歧,我们首先会对本书上下文语境中所讨论的“大数据平台”这个概念做一个简单的阐述和背景铺垫。本节为大家介绍从蘑菇街平台的实践经验对比两种建设路径。

作者:刘旭晖来源:电子工业出版社|2018-11-11 10:50

1.4.3  从蘑菇街平台的实践经验对比两种建设路径

2016年蘑菇街和美丽说进行了战略合并,不可回避的问题就是技术平台也需要进行方案融合,这也让我们有机会从技术、服务、产品的角度去比较两者的大数据平台的建设思路和具体实践方案。

技术方案融合前,美丽说的大数据平台的建设思路,基本就是按照前文第一种方式,也就是围绕业务进行定制的原则来2018送彩金的娱乐网站的。在某些具体定制化业务的产品服务实现方面,客观地说,当时其易用性要比蘑菇街对应的产品好很多,用户口碑也不错。

但带来的问题就是,不同的业务和产品线往往针对不同的产品和功能需求,各由一套体系来支撑。比如,当时在美丽说的大数据平台体系中,作业工作流调度系统就有独立的三套实现方案内嵌在各个产品之中。这些方案和各自产品的流程及业务逻辑的耦合度都很高,很难进行剥离和替换,其他组件也有类似的情况。所以,在各个业务之间,相关的产品基本没有打通流程的可能性,平台的维护成本也很高,技术迭代比较困难。

而蘑菇街的数据平台服务,则是采用第二种方式来演进的。

在2014年左右,我们只有最基本的功能组件,包括定时轮询的调度系统、Hive集成2018送彩金的娱乐网站平台、定制的报表系统、简单的权限系统,以及使用Storm2018送彩金的娱乐网站基本的实时计算业务等。

在2015年左右,我们开始添加更多的功能组件,引入Spark计算框架,2018送彩金的娱乐网站元数据管理系统和自定义查询系统,Storm代码开始模块化构建,全站用户页面行为跟踪埋点体系也开始构建,并进行了一些底层系统整理改造工作,包括公司内部底层多个集群的整合、改造、升级。在数据平台各业务后台权限管理的统一、报警服务系统的拆分构建等方面,我们既有经验收获也有教训。

收获是,整个2015年,大数据平台做了大量的稳定性改进、模块拆分、组件完善、集群融合、升级等工作,在一定程度上完善了数据平台的体系架构,降低了维护代价,提升了稳定性,给平台发展打下了基础。

但是,对应的教训是,从最终业务价值产出的角度来说,整个大数据平台这一年的产出并不明显,终端业务方没有从大数据平台的改进工作中得到显著的收益,所以平台2018送彩金的娱乐网站团队的外部压力较大。

这也可以理解,从领导和业务方的角度来说,他们并不关心我们做了什么,重要的是对公司的价值体现在哪里。所以,回过头来看,2015年其实也应该在业务导向方面多做一些思考和工作,避免冰山下的工作不能给团队带来实际的价值回报。所以,在核心系统改造的基础上,2016年开始加入更多围绕终端服务价值产出的工作。

从2016年开始,我们开始重构部分核心组件的功能和产品形态,以配合推进整体平台的服务化进程,包括权限系统的服务化,构建对象存储系统,完成核心调度系统的重构和功能拓展,以更好地串联业务流程,完成数据可视化平台核心功能的构建,着手进行实时计算平台SQL化和平台管控能力的建设。

这些工作,一方面是内部系统的服务化,比如RBAC的权限系统,用来服务所有的业务和数据后台;比如通用对象存储服务,用来支持其他各类有通用存储需求的系统,如简历招聘系统、小图片存储系统等。

另一方面是针对数据2018送彩金的娱乐网站用户或终端数据使用用户的服务,整体的目标是降低各项业务2018送彩金的娱乐网站的难度,让用户能够更加独立自主地进行自我服务,减少需要平台定向支持的需求。

在2017年以后,总体的建设工作更加注重整体傻瓜式服务平台的构建,各种自助服务功能也进一步完善,端到端整体链路服务的打通和专家系统的构建,进一步降低了服务支持的代价。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书会第9群:808517103

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

2006软考上半年试题分析与解答

本书是针对全国计算机技术与软件专业技术资格(水平)考试而编写的,书中详尽分析与解答了2006年上半年的程序员级、软件设计师级、软件评测...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
博聚网