大文件拆分方案的java实践（附源码）
引子 大文件拆分问题涉及到io处理、并发编程、生产者/消费者模式的理解，是一个很好的综合应用场景，为此，花点时间做一些实践，对相关的知识做一次梳理和集成，总结一些共性的处理方案和思路，以供后续工作中借鉴。 本文将尝试由浅入深的方式表述大文件拆分的问题及不同解决方案，给出的方案不一定是最优解 ...
原文：数据同步方案（附Java源码)
一.问题背景经常碰到要同步数据的情况，而系统自带的复制功能又不能实现增量同步，每次都要做全量复制，发生异常情况后只能重头再来，非常麻烦，优其是对那种大文件的处理，更是耗时。二.解決方案 .计算源目录数据指纹 .计算目标目录数据指纹 .对比指纹数据，找出差异项，得到需要添加,删除或更新的文件列表，计算出需要更新的数据大小 .挨个同步差异项，如果碰到大文件，则缓存其指纹数据到目标文件夹中，供下次同步数 ...
2015-04-27 20:37 2 7909 推荐指数：
相关推荐
Java获取个个地区邮编（附源码、抓取的数据）
因公司需要..个个地区的邮编..一个个去搜显然是很麻烦的很耗时间、体力... （不想偷懒的程序猿，不是好程序猿，23333，开玩笑滴） 技术栈：Java + Jsoup 开发工具：idea 抓取的目标网址： 抓取的数据如下（部分地区没有邮编 ...
多端数据同步方案
1 Evernote 1.1 基本介绍 Evernote包括笔记（Note）、笔记本（Notebook）、标签（Tag）、资源（Resource）、搜索记录（SavedSearch）等概念。 USN（Update Sequence Number）是整个同步系统中最重要的东西，它用于标识账户中 ...
ES数据同步方案
实际用到的场景，对数据从mysql到es的同步进行一些分析。 在实践中我总结出了以下几种方式。 第1 ...
数据同步方案
一、数据库表设计 1、客户端表设计 每条记录包含两个用来同步用的字段： status ： 用来标识记录的状态 anchor ： 记录服务端同步过来的时间戳 status 含义 0 本地新增 -1 标记删除 1 本地更新 9 已同步 2、服务端表设计 每条记录包含 ...
MySQL 快速删除大量数据（千万级别）的几种实践方案——附源码
笔者最近工作中遇见一个性能瓶颈问题，MySQL表，每天大概新增776万条记录，存储周期为7天，超过7天的数据需要在新增记录前老化。连续运行9天以后，删除一天的数据大概需要3个半小时（环境：128G, 32核，4T硬盘），而这是不能接受的。当然如果要整个表删除，毋庸置疑用 TRUNCATE ...
solr与mysql数据同步的方案
1、使用activeMQ http://blog.csdn.net/zhou2s_101216/article/details/77855413 2、通过配置实现定时同步 http://blog.csdn.net/millery22/article/details/51445964 3、使用 ...
数据同步解决方案
一、为了解决数据同步汇聚，数据分发，数据转换，数据维护需求，TreeSoft推出了数据同步，数据处理等丰富功能 。 TreeSoft作为中间传输载体，负责连接各种数据源，为各种异构数据库之间架起沟通的桥梁，可实现一对多，多对多，多对一等复杂场景的数据同步。 支持多字段合并 ...