用java代码来定时增量同步数据库表的实现代码
import java.io.Serializable;
import java.util.List;
/**
* Created by Administrator on 2017/4/19.
* 这是基于是单线程来执行同步 千万不允许多线程执行 多线程执行太难写了 放弃吧～～～～～
* 这里我们考虑有时间因素、以及mysql mvcc非锁定读的因素。
* 时间因素我们这样解决:1、以主服务器的时间为准。而非本地时间。本地时间快与慢不会影响同步功能
* 2、主服务器可以调整它的时间，可以向前(改小时间)或向后(改大时间)调整，程序都是支持的。
* 假设我们的同步时间是1小时同步一次，事物最大超时
时间是5分钟(就是没有事物可以超过5分钟)。假设当前主服务器时间
* 是: 08:00 , 那么上次同步时间是:06:55
* 2.1、向前调整:假设向前调整5小时，那么是 03:00 , 当我们同步的时候，获取主服务器的时间是 X ( 03:00 <= X <= 04:00) 因为我们的同步时间间隔是1小时
* 假设X=03:56 , 那么min(06:55+01:00,03:56-01:00-00:05)=02:51 那么我们此次的同步时间将会是:02:51，那么是正确同步时间。
* 下次认为的上次同步时间将会是:02:51
* 2.2、向后调整:假设向后调整5小时，那么是13:00， 当我们同步的时候，获取主服务器的时间是:Y (13:00 <= Y <= 14:00) 同理。
* 假设Y=13:56，那么min(06:55+01:00,13:56-01:00-00:05)=07:55 那么我们此次的同步时间将会是:07:55，那么是正确同步时间。
* 下次认为的上次同步时间将会是:13:56-01:00-00:05 = 12:51 这个时候时间就一下进步了很多了(跟上时间的步伐)。
*
*
是id类型
*/
public abstract class BaseSyncUserInfoTaskImpl implements
ISyncUserInfoTask{
//同步时间间隔 可以稍微大点(比真实在定时任务的执行中的间隔大，但是千万别小于他，等于定时任务执行间隔最好)
private int sync_time_interval_in_milsecond = 10*60*1000;
//事物处理最长时间 建议同步时间间隔大于此时间
private int tx_time_out_in_milsecond = 5*60*1000;
//上次同步时间
private Long up_sync_time = null;
//本次同步时间
private Long this_sync_time = null;
/**
* 执行总体架构
*/
@Override
public final void sync() {
//获取同步时间 与主服务器商定同步时间
long nowSyncTime = getSyncTime();
//开始数据同步
syncDatas(nowSyncTime);
//同步数据仅仅解决更新与插入的问题 这里去解决删除的问题
//有些表不会存在删除操作，这里对那些不需要删除的表直接跳过
if(isNeedDel)
syncDel();
//这个放到最后 怕事物回滚 而时间没有被回滚 导致下次同步时，up_sync_time不正确
updateUpSyncTime();
}
//加synchronized 仅仅是怕jvm优化 导致语句重排 一定要在最后来更新这个时间
protected synchronized void updateUpSyncTime(){
up_sync_time = this_sync_time;
}
private void syncDel() {
//1、本地取全部id集合的摘要 MD5，以及
记录
混凝土 养护记录下载土方回填监理旁站记录免费下载集备记录下载集备记录下载集备记录下载
数 拿去远程比较，相等则啥都不做
CommonKVQuery abstractAndCount =
getLocalIdsAbstractAndCount();
boolean isMach = isMachMasterServer(abstractAndCount);
if(isMach)
return ;
//2、把本地的数据按照id进行分页拿到远程去对比，没有则拿回来进行删除 。
DefaultPageRequest pageRequest = new DefaultPageRequest();
pageRequest.setLimit(100);
pageRequest.setPage(1);
List ids = null;
List delIds = null;
do {
ids = listLocalIds(pageRequest);
delIds = getNeedDelIdsFromMasterServer(ids);
deleteLocalByIds(delIds);
pageRequest.setPage(pageRequest.getPage()+1);
} while (ids.size() == pageRequest.getLimit());
}
/**
* 删除本地的数据 通过id集合
* @param delIds
*/
protected abstract void deleteLocalByIds(List delIds);
/**
* 去远处匹配 找出需要删除的id集合
* @param ids
* @return
*/
protected abstract List getNeedDelIdsFromMasterServer(List ids);
//分页获取本地id集合
protected abstract List listLocalIds(DefaultPageRequest pageRequest);
//去主服务器匹配摘要及记录数
protected abstract boolean isMachMasterServer(CommonKVQuery
abstractAndCount);
//获取本地id集合摘要及记录数量
protected abstract CommonKVQuery getLocalIdsAbstractAndCount() ;
//同步数据 更新时间在指定的时间之后的数据进行更新
protected abstract void syncDatas(long nowSyncTime) ;
private long getSyncTime(){
final long masterServerTime = getMasterServiceTime();
if(up_sync_time == null){
up_sync_time = getLocalMaxUpdateTime() - sync_time_interval_in_milsecond;
//若上次跟新时间为null，表示系统重启，进行第一次同步，那么来一次全量
同步
// this_sync_time = masterServerTime - sync_time_interval_in_milsecond-tx_time_out_in_milsecond; // return 0l;
}
// min(主服务器时间 - 同步时间间隔(1小时) - 最大事物超时时间(5分钟),
上次商定的时间 + 同步时间间隔)
// 这里的5分钟我考虑的是最大事物的用时。就是假定所有事物的时间长度不可以
超过5分钟。
// 因为我们在程序中经常是先设置更新时间，然后插入数据库，然后再做些别的(浪费了一些时间)，
// 最后提交了事物。那么根据mvcc模式，非锁定读，是读快照。导致更新时间本应
该在本次同步中被同步的，而并没有同步到
//(不可见)，而下一次的同步时间又大于了这个更新时间。导致会丢失更新。所以每次同步，都多同步5分钟的数据。
// 就怕丢下这种间隙中的数据。
this_sync_time = Math.min(up_sync_time + sync_time_interval_in_milsecond,
masterServerTime-sync_time_interval_in_milsecond-tx_time_out_in_milsecond) ;
final long result = Math.max(0,this_sync_time);
//这里的这一次同步时间取值是 主服务器时间-同步时间间隔-事物最大超时时间
//而舍弃了up_sync_time + sync_time_interval_in_milsecond 这个取值，原因
在于让下一次的更新跟上主服务器的时间，不要距离太远
this_sync_time = masterServerTime - sync_time_interval_in_milsecond-tx_time_out_in_milsecond;
return result;
}
/**
* 获取本地记录中的最大更新时间
* @return
*/
protected abstract long getLocalMaxUpdateTime() ;
//获取主服务器的当前时间
protected abstract long getMasterServiceTime();
/**
* 表数据是否需要删除操作，不会删除，则可以减少去同步被删的数据
*/
private boolean isNeedDel = false;
public void setSync_time_interval_in_milsecond(int
sync_time_interval_in_milsecond) {
this.sync_time_interval_in_milsecond = sync_time_interval_in_milsecond;
}
public void setTx_time_out_in_milsecond(int tx_time_out_in_milsecond) {
this.tx_time_out_in_milsecond = tx_time_out_in_milsecond;
}
public void setNeedDel(boolean needDel) {
isNeedDel = needDel;
}
}
浙公网安备 33021202002483