原文:MongoDB遇到的疑似数据丢失的问题。不要用InsertMany!

最近做数据备份的时候发现了有个很严重的问题,那就是数据丢失 最后证明没丢,是别的问题造成的 。 问题如下: 我通过两种方式在两个mongoDB集群中,对一组collection进行备份,最后 个备份数据的数据个数不相同,并且都小于原始collection的count结果。于是便开始寻求解决办法,流程如下: 记录 组数据,原始数据集按条件count有 个数据,备份代码如下,其中replaceOne备 ...

2017-10-26 09:18 0 5634 推荐指数:

查看详情

MongoDB 默认写入关注保存数据丢失问题与源码简单分析

MongoDB 默认写入关注可能保存数据丢失问题分析 问题描述: EDI服务进行优化,将原有MQ发送成功并且DB写入成功,两个条件都达成,响应接收订单数据成功,修改为只有有一个条件成功就响应接收数据成功。只要发送MQ成功,就代表数据已经给下游客单系统,保存DB数据失败 ...

Thu Nov 01 03:16:00 CST 2018 0 1083
MongoDB-Java的两个基本操作Upsert和insertMany

  此文只是为了记录几个基本操作,首先Upsert,有多种方法可以进行,但是都需要指定UpdateOptions.upsert(true),其中最简单的办法如下(eqq是一个用来filter的BSON ...

Fri Oct 20 00:48:00 CST 2017 0 4511
MongoDB 副本集丢失数据的测试

MongoDB副本集的测试中发现了一个丢数据的案例。 1. 概要描述 测试场景为:一主一从一验证 测试案例 step1 :关闭从副本; step 2 ;向主副本中插入那条数据; step 3 :关闭主副本; step 4 :开启辅助副本,此副本升级为主副本,这是后会看到新 ...

Wed May 22 23:25:00 CST 2019 0 472
mongodb安装启动遇到问题

好不容易下载到了mongodb,配置的时候遇到了不少问题。 下载的是解压包,不是官网的,有一个bin目录,解压到一个自己想要的目录,如d:\mongo,首先把bin复制进来,然后创建data目录,data目录下创建db和log文件夹。 目录创建完后就是真正的安装,也就是指定db目录,log目录 ...

Wed Jan 04 21:57:00 CST 2017 0 2770
Kafka 数据丢失问题总结

数据丢失是一件非常严重的事情事,针对数据丢失问题我们需要有明确的思路来确定问题所在,解决思路如下: 是否真正的存在数据丢失问题,比如有很多时候可能是其他同事操作了测试环境,所以首先确保数据没有第三方干扰。 理清你的业务流程,数据流向,数据到底是在什么地方丢失数据,在kafka ...

Wed Mar 16 19:35:00 CST 2022 0 1368
表单提交数据丢失问题

在流程审批过程中,提交审批时发现使用request.getParameter(“taskId”)获取数据时,发现取得任务ID为空。 在调试的过程中我发现表单的数据量特别大。 到网上查询了一下,说post 提交数据数据量有限制。 于是写了个表单测试了一下: 测试 ...

Sun Jan 25 20:31:00 CST 2015 0 9731
使用datax mongodb数据到postgresql数据遇到访问权限问题

当我们使用datax工具将mongodb数据到postgresql数据库的时候,报了这么一个错误 我的json文件是这样的 分析流程下来也么有什么问题,但从报错的信息来看,是在mongodb数据库缺少了读写权限造成 ...

Tue Oct 20 03:08:00 CST 2020 0 502
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM