用一个面点加工厂来类比理解什么是数据中台


用一个面点加工厂来类比理解什么是数据中台

 前言

我在和不同的朋友沟通有关数据中台方面的事情的时候,发现经常出现鸡同鸭讲的情况。

大家表达的和理解的内容,存在很大的差异。特别是技术人员和非技术人员(比如Boss等)沟通的时候,问题更大。

如果大家所表达和理解的事情不在一个水平面上,那难免在沟通的时候产生很大的误差,

会导致Boss认为他说的事情你理解了,但是你做出来的东西,Boss看了以后会认为不是他要的东西。

为此,我想了一个主意,先把大家的思维,都拉扯到同一件事情上来,然后加以类比进行理解。这样能够最快的速度,让大家对数据中台的认识,达成共识。

 

概念范畴

我们常说的数据中台,其实包括两个部分,一个是数据中台,一个是业务中台。两者结合在一起,也往往被简称为数据中台了。

这里我不是要写数据中台的定义。数据中台的概念比较抽象,对应到不同公司的不同业务,各自说的数据中台,在具体业务呈现上,差异很大。

一个公司的数据中台是和公司的业务紧密整合和联系的系统,数据中台首先面要向公司内部的业务部门,产品部门,技术部门等去使用。

我用类比的方法,来辅助理解一下什么是数据中台。我把数据中台理解为一个面点加工厂。也许有很多不对的地方,敬请拍砖,感谢。

 

 

一个面点加工厂(数据中台+业务中台) 

 

数据中台

把:原材料+管道系统+原料清洗+原料存储,四部分加在一起,可以理解为数据中台。

 

1、原料(类比:数据)
  我们可以把这些原材料理解为数据中台中的各种数据。
  这些数据可能来自自己的其他系统和平台的数据,也可能包括来自外部第三方公司的his的数据,来自体检中心的数据,来自卫健委公卫系统的数据,甚至更多来自其他外部系统的数据。
  这里,那么我们可以把his数据可以理解为面粉,体检中心的数据理解为玉米粉,公卫系统数据理解位奶粉。

 

2、管道系统(类比:数据管道)
  这些数据原料,怎么进入我们的数据中台呢?
  通过工厂的管道系统,导入到我们的数据中台里面来。那么这个管道系统就是我们说的数据总线(datatrans暂且这么称呼)。
  目前而言,我们的datatrans只是实现了对部分his系统的连接和数据导入,可以理解为这个管道系统中的其中一个管道已经通了。
  但是对公卫系统的管道还没通(没有建设),对体检中心的管道也还没有建设。这些异构系统的管道,需要单独建设和开发。
  有一些ETL工具,可以成为数据管道这个模块的辅助工具,比如日立集团下的BI公司Pentaho的产品:Pentaho Data Integeration,简称“PDI”。他可以很容易的连接异构的各种数据源,为面点叫工厂导入各种数据。

 

3、原料清洗(数据清洗)
  有可能对接进来的原材料含有杂质,那么就需要数据中台具备能力,对新进入的各种类型的数据,可以进行数据清洗,并且合理的归纳存储。

  也许有的时候,数据在经过数据管道的时候就已经被清洗过了。

  也许有的时候,数据经过初步的清洗进入系统,但是还需要做二次清洗以及归纳整理,分别存储。

  这些能力,作为数据中台来说,就应该具备,甚至更强。关键一点,要可视化,要有界面,能看得到,能看明白,这是最好的。

  进入工厂,马上能看到各种类型的原材料都堆放在什么地方,有多少量,一览无余,是最爽的。

 

4、原料存储(数据归纳存储)

  原来在清洗整理后存放在哪儿呢?这个部分就是提供一个定义存放位置,以及如何存放的的功能。

  使用这部分功能后,我们可以定义出各种不同类型的数据的存放位置,存放规则,定义好名称等等。(可以初步理解为二维表,表明,表结构)

 

业务中台:
把业务部门的需求响应+面点加工部,加在一起理解为:业务中台。

 

5、面点业务部门的需求响应(类比:业务需求)

  业务部门的需求,肯定会跟随市场的需求的变化而变化。
  业务部门可能知道市场上目前现有的主要市场需求是什么,但是也可能并不知道某个其他市场主体的个性化需求是什么。
  不容易理解,举例来说:
  业务一部知道,现在市场上大部分的客户主体,都需要馒头这种面点,而且所需要的馒头规格是圆形的直径10cm,重量为100克的馒头。
  但是业务二部是新成立的部门,面向的客户群假设是某企业。但是业务部门在和这个企业沟通后,发现企业需要的产品是:奶香味的玉米粉方形50克的馒头。可是这种馒头,当前面点加工厂中并没有,甚至生产这种馒头的生产线都没有建设起来。
  同样的,假设有个业务三部,而业务三部的新客户的需求更加奇葩。他要的是绿豆粉做的奶香味的麻辣味的绿豆糕(怪味绿豆糕)。可是这种东西,原材料在当前面点加工厂中都还不具备。

  于是面点业务部门把上述三个业务部门的需求,都提交给了面点加工厂的面点加工部门了。

 

6、面点加工部(类比:业务中台)

      面点加工部的职责是按需生产产品,不管这个产品是平台中已有产品线的,还是没有产品线的。都要想办法生产出来。


  对于业务一部,他们通知面点加工部,你给我生产这种规格的圆形的直径10cm,重量为100克的馒头。。因为生产线是现成的,面点加工部很快就生产出这种规格的馒头。然后交给市场部门了。
  对于业务二部,他们告诉面点加工部这个需求后,由于该产品的生产线并没有开发出来。于是生产运营部门在技术研发部门的协助下(可能利用平台现有功能,也可能技术研发部门新开发功能),很快迅速的搭建起一条生产线(新的产品生产模块),可以把奶粉,玉米粉,水等揉和到一起, 迅速的产出了奶香味的玉米粉方形50克的馒头。然后快速的交付给业务二部。从而迅速的满足业务部门和客户的实际需求。
  对于业务三部,这时候,因为原材料都还没有,面点加工部就需要和管道系统迅速沟通,管道系统通过外联部门迅速的和绿豆粉的厂家进行管道对接,和麻辣粉的厂家进行对接。迅速的将这些新的原料导入到面点加工厂中来,并且按规则存 放好位置。然后面点加工部,通过面点加工厂中现有的设备(系统的功能)或者在技术部门的协助下,迅速的整合原材料和加工需求,生产出业务三部所需要的新产品,怪味绿豆糕,迅速的交付给新客户。

  对于面点加工部而言,他们不仅能够迅速的给出业务部门的已知需求的结果,也能够给出业务部门新提出的各种奇怪的需求的结果。这种能力,是业务中台上实现的能力。

  而业务中台上的这种能力,则需要技术研发团队去开发出各种功能,以满足这种能力的实现。

 


小结:数据中台的能力
1、具备快速对接外部数据来源的能力
2、具备快速的准确的数据清洗和数据归纳整理的能力。
3、具备快速响应业务部门需求,灵活组建出各种类型数据输出,以及完整数据业务流程的能力。
4、具备快速的定制全新业务数据或者全新业务流程的能力。

5、具备发布新业务成果并让新业务成果投入生产经营的能力。

等等

 

对应到我们公司的数据中台,则初步可以理解为,我们的数据中台应具备下列能力:
1、可以快速的实现对外部数据来源系统的对接。对接的主体是datatrans,具体对接形式,可以有jdbc直连,webservice对接,remote-json-api对接等等形式。
2、可在数据中台内部,可以定义各种数据的清洗规则,存放规则,存放位置等等。
3、可在数据中台内部,自定义各种新的数据报表,自定义全新的基于已有数据的业务流程。所有这些自定义的过程,应该尽可能是在界面上鼠标及键盘操作就能满足和实现。
4、可以讲数据中台中,自定义的各种数据输出,可以轻松的提供给外部系统进行访问。并且具备严格的访问权限限制。
5、基于数据中台,还能实现更多现有思考范围之外的能力,数据中台具备超强的数据和功能扩展的能力。所有这些能力的实现,是基于数据中台软件系统的开发。

等等

 

 

一点心得,敬请拍砖,欢迎指正。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM