MySQL删除重复数据-解决线上数据库存在重复数据的问题

目标:去掉同一字段下的重复数据或者仅仅留下一条

案例:

CREATE TABLE `student` (

  `id` INT(11) NOT NULL AUTO_INCREMENT,

  `name` VARCHAR(20) DEFAULT NULL,

  `age` INT(11) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;

 

INSERT INTO `student` (`id`, `name`, `age`) VALUES ('1', 'cat', 22);

INSERT INTO `student` (`id`, `name`, `age`) VALUES ('2', 'dog', 33);

INSERT INTO `student` (`id`, `name`, `age`) VALUES ('3', 'fish', 44);

INSERT INTO `student` (`id`, `name`, `age`) VALUES ('4', 'cat', 55);

INSERT INTO `student` (`id`, `name`, `age`) VALUES ('5', 'dog', 11);

INSERT INTO `student` (`id`, `name`, `age`) VALUES ('6', 'cat', 45);



SELECT * FROM student;

如何编写查看有重复记录的SQL?

公式:

Select * From 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(1)>1)

案例:

SELECT * FROM student WHERE NAME IN (SELECT NAME FROM student GROUP BY NAME HAVING COUNT(1)>1)

如何编写删除重复记录的SQL?

1.重复的数据全部删除
DELETE FROM student WHERE NAME IN (
    SELECT t.NAME FROM ( SELECT NAME FROM student GROUP BY NAME HAVING COUNT( 1 ) > 1 ) t
)
2.重复的数据要求删除,仅保留一条

第一步

# 删除表中删除重复数据仅保留一条
# select看看
SELECT
 * 
FROM
 student 
WHERE
 id NOT IN (
   SELECT
   t.id 
   FROM
   ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t 
 )

第二步

# delete搞定
DELETE
FROM
 student 
WHERE
 id NOT IN (  SELECT  t.id   FROM   ( SELECT MIN( id ) AS id FROM student GROUP BY `name` ) t  )
### 数据库线上环境常见问题解决方案 数据库在生产环境中的运行稳定性至关重要,但在实际应用中,常常会遇到一些问题,如死锁、性能瓶颈、资源竞争等。以下是一些常见问题及其解决方案。 #### 1. 死锁问题 死锁是数据库并发处理中常见的问题,特别是在高并发的多线程环境下。其根本原因通常是资源竞争和锁的顺序不一致。例如,两个事务分别持有部分资源并等待对方释放其他资源,从而导致死锁[^3]。 **解决方案:** - **规范事务操作顺序**:确保所有事务按照相同的顺序访问资源,减少锁竞争的可能性。 - **采用适当的锁机制**:根据业务需求选择合适的锁级别(如行级锁、表级锁),避免不必要的锁粒度。 - **定期检查死锁日志**:在 MySQL 中,可以通过查看死锁日志(`SHOW ENGINE INNODB STATUS`)来分析死锁原因,并据此优化事务逻辑。 #### 2. CPU 使用率过高 在高并发场景下,CPU 使用率可能飙升至 100%,导致系统响应变慢甚至不可用。常见的原因包括死循环、复杂查询、频繁的 GC(垃圾回收)等[^5]。 **解决方案:** - **优化 SQL 查询**:使用索引、避免全表扫描、减少不必要的数据加载。 - **避免死循环**:在代码中严格控制循环条件,使用线程池限制并发线程数量。 - **性能监控与调优**:使用 `top`、`htop`、`vmstat` 等工具监控 CPU 使用情况,结合 `jstack`(Java 应用)或 `perf`(Linux)分析线程堆栈,定位热点代码。 #### 3. 数据库连接池耗尽 当数据库连接池配置不合理或存在连接泄漏时,可能会导致连接池耗尽,进而影响业务正常运行。 **解决方案:** - **合理配置连接池参数**:如最大连接数、超时时间、空闲连接回收策略。 - **使用连接池监控工具**:如 HikariCP、Druid 提供的监控面板,实时查看连接池状态。 - **代码层面优化**:确保每次数据库操作后及时释放连接,避免连接未关闭的情况。 #### 4. 慢查询与性能瓶颈 慢查询是数据库性能下降的主要原因之一,通常表现为响应时间变长、QPS(每秒查询数)下降等。 **解决方案:** - **启用慢查询日志**:在 MySQL 中启用 `slow_query_log`,记录执行时间超过阈值的 SQL- **使用 `EXPLAIN` 分析执行计划**:检查 SQL 是否使用了正确的索引,是否有全表扫描。 - **优化索引**:为高频查询字段添加合适的索引,避免重复索引、冗余索引。 #### 5. 数据库主从同步延迟 在主从架构中,主库写入频繁或网络波动可能导致从库同步延迟,影响数据一致性。 **解决方案:** - **优化主库写入压力**:通过分库分表、异步写入等方式减少主库负载。 - **调整同步参数**:如 `sync_binlog`、`innodb_flush_log_at_trx_commit` 等,平衡性能与一致性。 - **监控同步状态**:使用 `SHOW SLAVE STATUS` 检查 `Seconds_Behind_Master`,及时发现延迟问题。 #### 6. 磁盘空间不足 随着数据量的增长,磁盘空间可能逐渐耗尽,影响数据库的正常写入操作。 **解决方案:** - **定期清理历史数据**:设置数据保留策略,删除或归档过期数据- **扩展存储容量**:使用云数据库的自动扩容功能,或手动扩展物理磁盘。 - **压缩数据**:使用 InnoDB 表压缩、分区表等方式减少磁盘占用。 #### 7. 数据库安全与权限管理 权限配置不当可能导致数据泄露或误操作,影响系统安全性。 **解决方案:** - **最小权限原则**:为不同用户分配最小必要的权限,避免使用 `root` 用户进行日常操作。 - **定期审计权限**:使用 `SHOW GRANTS` 检查用户权限,及时清理不再使用的账户。 - **启用 SSL 加密连接**:防止数据在传输过程中被窃取。 --- ### 示例代码:使用 `EXPLAIN` 分析 SQL 执行计划 ```sql EXPLAIN SELECT * FROM orders WHERE user_id = 1001; ``` 该命令可以查看 SQL 查询是否使用了索引、扫描的行数等信息,帮助优化查询性能。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Leighteen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值