记一次大规模数据迁移和加密
公司的核心业务合作伙伴淘宝网，最近出现泄漏用户信息的现象，找了好久找不到根源，于是乎，淘宝那边决定对所有敏感数据进行加密，从出口和入口都走密文，于是乎，我们的工作量就来了。 我们的一个底单数据库，存储了大量淘宝卖家和买家的订单打印，申请单号，发货，回收单号等等操作的日志，大概有10亿左右 ...
原文：如何进行大规模在线数据迁移（来自Stripe公司的经验）
首发于笔者的微信公众号：技术心流FollowFlows 原文地址：Stripe Engineering Blog 各工程团队常面临一项共同挑战：重新设计数据模型以支持清晰准确的抽象和更复杂的功能。这意味着，在生产环境中，需要迁移数以百万计的活跃数据对象，并且重构上千行代码。 用户期望 Stripe API 保障可用性和一致性。所以在进行迁移时，需要格外谨慎，必须保证数据的数值正确无误，并且 Str ...
2017-11-22 00:19 0 1771 推荐指数：
相关推荐
Spark SQL - 对大规模的结构化数据进行批处理和流式处理
Spark SQL - 对大规模的结构化数据进行批处理和流式处理 大体翻译自：https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-sql.html 如同一般的 Spark 处理，Spark SQL ...
Kudu专注于大规模数据快速读写，同时进行快速分析的利器
存储引擎/系统，由Cloudera开源后捐献给Apache基金会很快成为顶级项目。用于对大规模数据快速读 ...
如何高效地存储与检索大规模的图谱数据？
摘要：本文简要介绍知识图谱的存储与检索相关的知识。 本文分享自华为云社区《知识图谱的存储与检索》，原文作者：JuTzungKuei 。 1、概述 背景：随着互联网的发展与普及，一个万物互联的世界正在成型。与此同时，数据呈现出爆炸式的指数级增长，我们正处于一个数字洪流汹涌澎湃的新时代 ...
大规模数据爬取 -- Python
Python书写爬虫，目的是爬取所有的个人商家商品信息及详情，并进行数据归类分析 整个工作流程图： 第一步：采用自动化的方式从前台页面获取所有的频道 第二步：通过第一步获取的所有频道去获取所有的列表详情，并存入URL_list表中，同时获取商品详情 ...
[转]BloomFilter——大规模数据处理利器
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 一. 实例 ...
Pandas处理超大规模数据
对于超大规模的csv文件，我们无法一下将其读入内存当中，只能分块一部分一部分的进行读取； 首先进行如下操作： import pandas as pd reader = pd.read_csv('data/servicelogs', iterator=True)分块，每一块是一个chunk ...
大规模异常滥用检测：基于局部敏感哈希算法——来自Uber Engineering的实践
uber全球用户每天会产生500万条行程，保证数据的准确性至关重要。如果所有的数据都得到有效利用，t通过元数据和聚合的数据可以快速检测平台上的滥用行为，如垃圾邮件、虚假账户和付款欺诈等。放大正确的数据信号能使检测更精确，也因此更可靠。 为了解决我们和其他系统中的类似挑战，Uber ...