|
|
51CTO旗下网站
|
|
移动端

1.3.1 组件工具化

《大数据平台基础架构指南》第1章大数据平台整体建设思想,在本章中,为了避免分歧,我们首先会对本书上下文语境中所讨论的“大数据平台”这个概念做一个简单的阐述和背景铺垫。本节为大家介绍组件工具化。

作者:刘旭晖来源:电子工业出版社|2018-11-11 10:45

1.3  大数据平台的建设指导方针

谈完目标谈过程,具体到如何建设数据平台,一定要根据各个公司的实际情况,因地制宜。不过,可以谈谈几个基本方针思想,我把它们归纳为“四个现代化”。

1.3.1  组件工具化

所有自建的大数据平台,大概都是从集群搭建之类的工作开始,对集群进行运维管理,然后提交给用户,或者仅仅自己使用。

这件事情做得多了,你就会想要提高效率,最简单的方法就是把一些常用的操作用脚本维护起来,以沉淀经验、避免误操作,比如集群部署、配置更新等工作。

但组件工具化,难道就是写写集群日常维护脚本这点事吗?当然没有那么简单。工具化的本质目标是降低学习成本,提高工作效率,减少犯错概率。所以工具化的背后是对组件细节的封装和简化,不仅要考虑平台组件维护,更要考虑用户应用2018送彩金的娱乐网站。

比如用户不熟悉HBase的使用方式(虽然API其实已经很简单了),你写一个SDK包去封装一些常用操作提供给用户。看起来这是一件很简单、很直白的工作,但如果深入进去,你会发现,在工具化的过程中,你还能附加一些自己的私货,比如在SDK里面,你可以做一些权限的管控工作,对IO的流量进行监管,采集一些应用的行为指标信息,或者为了提升安全性,顺便屏蔽一些高风险的操作,等等。

再比如,当用户消费Kafka的Topic时,难免要做一些消息偏移量Offset查询、重置,以及即席的消息查阅之类的工作。扔给用户Kafka服务器和ZK的地址,让用户自己研究Kafka/ZK客户端之类的API去完成这些工作,固然也是一种可行的方式,但无论从用户的效率还是从集群的安全角度来考虑,这都是不恰当的。这时候,提供一些工具把这些操作封装起来,不只是为了降低用户的学习成本,也有助于屏蔽集群的拓扑布局、屏蔽业务操作的命令细节、屏蔽组件版本的兼容性问题等。平台的统一管理,显然也有助于提高运维管理的效率和集群,以及数据的安全性。


喜欢的朋友可以添加我们的微信账号:

51CTO读书频道二维码


51CTO读书会第9群:808517103

【责任编辑:book TEL:(010)68476606】

回书目   上一节   下一节
点赞 0
分享:
大家都在看
猜你喜欢

读 书 +更多

精通EJB 3.0

本书是关于EJB 3.0的专业技术教程,专注于EJB的概念、方法、2018送彩金的娱乐网站过程的介绍。同时,本书还研究许多高端的EJB知识,使得2018送彩金的娱乐网站者能够真正理解...

订阅51CTO邮刊

点击这里查看样刊

订阅51CTO邮刊
博聚网