数据仓库作为全行数据中心能高效支持全行或全公司的统计 、数据分析工作,除了稳定的ETL架构、高效的数据处理能力,流畅的开发管理流程,还需要有全面的数据管理体系,确保提供的数据准确性和高质量。数据管理主要有数据标准,元数据和数据质量3方面。那数据治理是指对没有规范或者不符合规范的数据进行清理并建立 ...
本文为微众银行大数据平台:周可在 nMeetup 深圳场的演讲这里文字稿,演讲视频参见:B站 自我介绍下,我是微众银行大数据平台的工程师:周可,今天给大家分享一下 Nebula Graph 在微众银行 WeDataSphere 的实践情况。 先来说下图数据库应用背景。 WeDataSphere 图数据库架构是基于 JanusGraph 搭建,正如邸帅在演讲 NebulaGraph WeDataS ...
2020-12-22 14:52 0 401 推荐指数:
数据仓库作为全行数据中心能高效支持全行或全公司的统计 、数据分析工作,除了稳定的ETL架构、高效的数据处理能力,流畅的开发管理流程,还需要有全面的数据管理体系,确保提供的数据准确性和高质量。数据管理主要有数据标准,元数据和数据质量3方面。那数据治理是指对没有规范或者不符合规范的数据进行清理并建立 ...
不同来源的异构数据间存在着千丝万缕的关联,这种数据之间隐藏的关联关系和网络结构特性对于数据分析至关重要,图计算就是以图作为数据模型来表达问题并予以解决的过程。 一、背景 随着网络信息技术的飞速发展,数据逐渐向多源异构化方向发展,且不同来源的异构数据之间也存在的千丝万缕的关联,这种数据之间 ...
背景 对于数据库来说,性能测试是一个非常频繁的事情。优化查询引擎的规则,调整存储引擎的参数等,都需要通过性能测试,查看系统在不同场景下的影响。 即便是同样的代码,同样的参数配置,在不同的机器资源配置,不同的业务场景下也有较大的区别,记录一下内部的压测实践过程,有一个参考。 本文中操作系统 ...
本文首发于 Nebula Graph 公众号 NebulaGraphCommunity,Follow 看大厂图数据库技术实践。 前言 在先前的 Query Engine 源码解析中,我们介绍了 2.0 中 Query Engine 和 1.0 的主要变化和大体的结构 ...
导读 索引是数据库系统中不可或缺的一个功能,数据库索引好比是书的目录,能加快数据库的查询速度,其实质是数据库管理系统中一个排序的数据结构。不同的数据库系统有不同的排序结构,目前常见的索引实现类型如 B-Tree index、B+-Tree index、B*-Tree index、Hash ...
本文整理自微众银行容器负责人陈广镇和李焕 在 Techo 开发者大会云原生专题的分享内容——微众容器化实践。本文主要和大家介绍微众的容器化实践,具体分为三个部分:里程碑、实践之路,以及未来的规划。 微众应用容器化项目始于2018年底,我们的生产环境在私有机房上,由于基础设施的差异,容器 ...
图数据库(英语:Graph Database)是一个使用图结构进行语义查询的数据库。该系统的关键概念是图,形式上是点 (Node 或者 Vertex) 和边 (Edge 或者 Relationship) 的集合。一个顶点代表一个实体,比如,某个人,边则表示两个实体间的关联关系,比如 “你关注 ...
银行数据仓库体系实践(1)--银行数据仓库简介 大家好,我是leo,一个ITer,在银行从事系统开发多年。对银行系统架构特别是数据仓库/ODS等数据类系统有一定的经验积累,准备将之前的一些经验整理成文,一来为自己工作做个总结梳理,二来也希望能和大家互相讨论,共同学习,探讨新技术、新 ...