• 设为首页
  • 点击收藏
  • 手机版
    手机扫一扫访问
    迪恩网络手机版
  • 关注官方公众号
    微信扫一扫关注
    迪恩网络公众号

tabledif: 从两张结构一致的表中,对比出数据差异的小玩意

原作者: [db:作者] 来自: 网络 收藏 邀请

开源软件名称:

tabledif

开源软件地址:

https://gitee.com/wowtools/tabledif

开源软件介绍:

tabledif

从两张结构一致的表中,对比出数据差异的小玩意

有时候,我们需要从两张结构相同的表(可能跨库,甚至数据库类型都不一样)中找到他们的差异数据,以进行增量更新、差异统计等操作。

那么,这个小玩意或许可以给你一些参考。

它有如下好处

· 可以跨库,甚至跨不同类型的数据库进行比对

· 可以比对出两张表中彼此缺失、增加、属性不同的数据

· 使用游标逐条取数据,不用把所有数据都拉内存中再比较,所以需求的内存资源非常小

但它也有如下限制

· 必须有唯一标识字段来

· 比对前,程序会按两张表的唯一标识字段进行排序查询,这会消耗比较多的时间,但可以通过加索引来降低耗时

· 两张表的结构必须完全一致,当然,如果不一致可以考虑利用视图等手段来适配

· 为了防止内存爆炸,需要setFetchSize,各类数据库的setFetchSize操作略有差异,本项目以postgresql为例且未做适配,你需要自己修改成你用的数据库

说明

原理很简单,先把两个表做个排序查询,然后移动游标尝试找到相同的唯一标识,由于唯一标识经过排序,所以可以简单的做一些判断就能判断数据差异,流程图如下:

流程图

定义了如下几种状态,你可以编写实现类去处理遇到某种状态时进行什么操作

状态说明
notInTableAB中有但A中没有
notInTableBA中有但B中没有
difAbAB都有,但值不一样
equal相同

使用示例参见 这个demo


鲜花

握手

雷人

路过

鸡蛋
该文章已有0人参与评论

请发表评论

全部评论

专题导读
热门推荐
热门话题
阅读排行榜

扫描微信二维码

查看手机版网站

随时了解更新最新资讯

139-2527-9053

在线客服(服务时间 9:00~18:00)

在线QQ客服
地址:深圳市南山区西丽大学城创智工业园
电邮:jeky_zhao#qq.com
移动电话:139-2527-9053

Powered by 互联科技 X3.4© 2001-2213 极客世界.|Sitemap