背景前几天因工作需要,组长给我安排了一个数据清洗的任务 。
任务:把 A 表的数据洗到 B 表 。我的第一反应,什么是「洗」?洗数据是什么?洗钱我倒是知道 。
【我操作MySQL的惊险一幕】不过我不能慌啊 , 于是问了问组长 。
我:组长,把 A 表的数据洗到 B 表是什么意思?
组长一脸无奈,手捂住脸,恨铁不成钢,然后调整过来,还是很耐心地跟我讲的 , 大概意思就是我们现在 B 表需要 A 表的数据, A 表中和 B 表中字段含义一样,但是值可能不一样,这就需要我们进行处理,在将 A 表数据搞到 B 表的过程中,把数据搞正确 。
基于我理解能力有限 , 当时并不是很懂所谓的「洗数据」 , 而且这个 A 表的字段也和 B 表的字段没怎么对上 , A 的字段明显多于 B 的字段,某些字段命名也和 B 不一样,但是表达的意思是一样的,该如何洗?
于是疯狂搜索如何洗数据!
我这里就举个例子来说明,分别给出 A 表和 B 表,当然我只列出了一部分字段,现在假设就这么多字段 。
A 表A 表字段:
name, province_id, city_id, area_id, tech_id, crop_id, field_id, create_time, update_time, xxx, yyy, zzz, ...
A 表的字段是多于 B 表的 , 我需要将 A 表的数据洗到 B 表 , 只处理我需要的字段,不需要的就不用理 。
A 表中有 2 万多条记录,B 表我自己插入的有 200 多条记录 。
当然,给出 A 表后,还给了个实体模型(JavaBean,Entity , 超多种叫法,花里胡哨的)
public class A {private String name;private Long provinceId;private Long cityId;private Long areaId;private Long techId;private Long cropId;private Date createTime;private Date updateTime;...}
B 表B 表字段:name, province_id, city_id, area_id, mature_id, crop_id, create_time, update_time
还原现场下面我模拟测试环境中数据库的那两张表,上面是 A 表(2 万多条记录,这里我只模拟了 7 条),下面的 B 表(200 多条记录) 。
文章插图
洗数据思路首先,我是先找出 A 表中能和 B 表对上意思的字段,然后将 A 表数据全部插入到 B 表中 。
于是,我便找出了如下这些字段:
name, province_id, city_id, area_id, tech_id, crop_id, update_time
之后在 B 表中对新插入的数据进行处理,即洗数据 。
写 SQL 操作主要的 SQL 语句是:
INSERT INTO 目标表(字段1, 字段2, ...) SELECT 字段1, 字段2, ... FROM 来源表 WHERE 条件;
于是 , 便这样操作:INSERT INTO b(name, province_id, city_id, area_id, mature_id, crop_id, update_time)SELECT name, province_id, city_id, area_id, tech_id, crop_id, update_time FROM a;
操作是正常的,成功将 A 中 2 万多条记录全部插入到了 B 中 。但是!我漏了一个字段,就是
create_time
。文章插图
于是,想着对这个字段进行更新,将 A 中这个字段更新到 B 中 。
于是写了一条SQL语句 。
UPDATE b(create_time) SET create_time = (SELECT create_time FROM a);> 1064 - You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '(create_time) SET create_time = (SELECT create_time FROM a)' at line 1
噢,看来不能这样更新?。。ㄒ桓龃笞彀妥庸?nbsp;, 写错了还没发现)换种写法:
UPDATE b AS tb, (SELECT create_time FROM a) AS ta SET tb.create_time = ta.create_time;
可以,噩梦开始了!更新了非常久,看着十几秒的SQL执行到六七百秒还没执行完,心里着实很慌!眼看着数据库可能会崩,我不得不向我的组长求救了!
这时问题出现了,有人数据库连接不上了 , 可见这严重性,已经影响到其他人的使用了!
文章插图
于是我组长来帮我处理了,想着 kill 掉我的
navicat
, 但是 kill 掉还是没效果,毕竟这个 SQL 已经在执行了 。我:能不能重启这个 MySQL 服务?
组长一波连环炮过来了
组长:重启?你知道这个 MySQL 有多少人在用吗?又不只是我们在用,你重启其他人怎么搞?
我哑口无言,心里非常忐忑,想着闯祸了 , GG,就看着他操作 。没过多久,经过他的一顿操作 , 终于解决了这个问题 。我的心里的一块悬着的大石终于放下了,还好解决了 。组长牛逼,救世主!
推荐阅读
- centos7中配置java + mysql +jdk+使用jar部署项目
- ipad如何设置分屏(ipad九代分屏操作方法)
- day03-MySQL基础知识02
- 我想申请一个QQ号,怎么操作(qq号被封了申请如何写)
- 我公司是属于生产制造业,最近考虑实施ERP,生产制造业的ERP那家比较好?
- 我是加工厂,想管理生产财务采购销售这块,什么样的ERP会好用点??
- 企业运维 | MySQL关系型数据库在Docker与Kubernetes容器环境中快速搭建部署主从实践
- 一个终端工具竟然有AI功能?使用了1天我立马把其他终端全卸载了!太香了!
- 我的 Kafka 旅程 - 性能调优
- binlog,redolog,undolog Mysql三种日志的作用和区别