MySQL-19.数据库备份与恢复

C-19.数据库备份与恢复

在任何数据库环境中,总会有不确定的意外情况发生,比如例外的停电、计算机系统中的各种软硬件故障、人为破坏、管理员误操作等是不可避免的,这些情况可能会导致数据的丢失服务器瘫痪等严重的后果存在多个服务器时,会出现主从服务器之间的数据同步问题

为了有效防止数据丢失,并将损失降到最低,应定期对MySQL数据库服务器做备份。如果数据库中的数据丢失或者出现错误,可以使用备份的数据进行恢复。主从服务器之间的数据同步问题可以通过复制功能实现。

1.物理备份和逻辑备份


物理备份:备份数据文件,转储数据库物理文件到某一目录。物理备份恢复速度比较快,但占用空间比较大,MySQL中可以用xtrabackup工具来进行物理备份。本质就是备份某一数据库实例的数据目录。

逻辑备份:对数据库对象利用工具进行导出工作,汇总入备份文件。逻辑备份恢复速度慢,但占用空间小,更灵活。MySQL中常用的逻辑备份工具为mysqldump。逻辑备份就是备份sql语句,在恢复的时候执行备份的sql语句实现数据库数据的重现。

2.mysqldump实现逻辑备份


mysqldump是MySQL提供的一个非常有用的数据库备份工具。

2.1 备份一个数据库

mysqldump命令执行时,可以将数据库备份成一个文本文件,该文件中实际上包含多个CREATEINSERT语句,使用这些语句可以重新创建表和插入数据。

  • 查出需要备份的表的结构,在文本文件中生成一个CREATE语句
  • 将表中的所有记录转换成一条INSERT语句。
  • 注意,该语句备份数据库不会生成创建数据库的语句,只备份数据库中的表和表的数据。

基本语法

mysqldump -u用户名称 -h主机名称 -p密码 待备份的数据库名称[tbname,[tbname...]]> 备份文件名称.sql

说明:
备份的文件并非一定要求后缀名为.sql,例如后缀名为.txt的文件也是可以的。

举例:使用root用户备份atguigudb3数据库

#自定义备份目录 
mkdir /mysql_backup #下文中,备份文件如果写的是相对路径,则都是在该目录下执行的

mysqldump -uroot -p atguigudb3>/mysql_backup/atguigudb3.sql 

#也可以直接备份到/var/lib/mysql下,这个目录的所有者和所在用户组就是mysql.mysql
mysqldump -uroot -p atguigudb3>/var/lib/mysql/atguigudb3.sql

查看逻辑备份文件

vim /mysql_backup/atguigudb3.sql
-- MySQL dump 10.13  Distrib 8.0.25, for Linux (x86_64)
--
-- Host: localhost    Database: atguigudb3
-- ------------------------------------------------------
-- Server version       8.0.25

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!50503 SET NAMES utf8mb4 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 */;
/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Table structure for table `a`
--

DROP TABLE IF EXISTS `a`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!50503 SET character_set_client = utf8mb4 */;
CREATE TABLE `a` (
  `f1` int DEFAULT NULL,
  `f2` int DEFAULT NULL,
  KEY `f1` (`f1`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
/*!40101 SET character_set_client = @saved_cs_client */;

/*!40101 SET character_set_client = @saved_cs_client */;

--
-- Dumping data for table `a`
--

LOCK TABLES `a` WRITE;
/*!40000 ALTER TABLE `a` DISABLE KEYS */;
INSERT INTO `a` VALUES (1,1),(2,2),(3,3),(4,4),(5,5),(6,6);
/*!40000 ALTER TABLE `a` ENABLE KEYS */;
UNLOCK TABLES;
.
.
.
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;

/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS */;
/*!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

-- Dump completed on 2024-07-11 10:59:53
  • 文件开头指明了备份文件使用的mysqldump工具的版本号;接下来是备份账户的名称和主机信息,以及备份的数据库的名称;最后是MySQL服务器的版本号,在这里为8.0.25。
  • 备份文件接下来的部分是一些SET语句,这些语句将一些系统变量值赋给用户定义变量,以确保被恢复的数据库的系统变量和原来备份时的变量相同,例如:
# 该SET语句将当前系统变量character_set_client的值赋给用户定义变量@old_character_set_client、其他变量与此类似。

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
  • 备份文件的最后几行MySQL使用SET语句恢复服务器系统变量原来的值,例如:
#该语句将用户定义的变量@old_character_set_client中保存的值赋给实际的系统变量character_set_client。

/* ! 40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT * / ;
  • 后面的DROP语句、CREATE语句和INSERT语句都是还原时使用的。例如,“DROP TABLE IF EXISTS 'student1"语句用来判断数据库中是否还有名为student1的表,如果存在,就删除这个表; CREATE语句用来创建student1的表;INSERT语句用来还原数据。
  • 备份文件开始的一些语句以数字开头。这些数字代表了MySQL版本号,告诉我们这些语句只有在制定的MySQL版本或者比该版本高的情况下才能执行。例如,40101表明这些语句只有在MySQL版本号为4.01.01或者更高的条件下才可以被执行。文件的最后记录了备份的时间。

2.2 备份全部数据库

若想用mysqldump备份整个实例(当前mysql下的所有的数据库实例),可以使用 --all-databases-A参数:

mysqldump -uroot -p --all-databases > all_databases.sql
mysqldump -uroot -p --A > all_databases.sql

2.3 备份部分数据库

使用--databases-B参数了,该参数后面跟数据库名称,多个数据库间用空格隔开。如果指定databases参数,备份文件中会存在创建数据库的语句,如果不指定参数,则不存在。语法如下:

mysqldump -u user -h host -p --databases [dbname1 [dbanme2...]] > 备份文件名称.sql

举例:

mysqldump -uroot -p --databases atguigudb2 atguigudb3 > /mysql_backup/part_database.sql
#或
mysqldump -uroot -p -B atguigudb2 atguigudb3 > /mysql_backup/part_database.sql

2.4 备份部分表

比如,在表变更前做个备份。语法如下:

mysqldump -u user -h host -p dbname [tname1 [tname2...]] > 备份文件名称.sql

举例:

mysqmysqldump -uroot -p atguigudb3 student1 > /mysql_backup/student1.sql

mysqmysqldump -uroot -p atguigudb3 student1 book > /mysql_backup/student1.sql #备份多张表

备份文件中,只包含被备份表的DROP,CREATE和INSERT语句。

2.5 备份单表的部分数据

有些时候一张表的数据量很大,我们只需要部分数据。这时就可以使用--where选项了。where后面附带需要满足的条件。

举例:备份student1表中id小于10的数据

mysqldump -uroot -p atguigudb3 student1 --where="id < 10" > student1_part_id_lt_10_bak.sql
mysql> select * from student1;#student1表中的数据
+----+---------+--------+
| id | name    | class  |
+----+---------+--------+
|  1 | 张三1   | 一班   |
|  3 | 李四    | 一班   |
|  8 | 王五    | 二班   |
| 15 | 赵六    | 二班   |
| 20 | 钱七1   | 三班   |
+----+---------+--------+
5 rows in set (0.00 sec)
#备份的数据
--
-- Dumping data for table `student1`
--
-- WHERE:  id < 10

LOCK TABLES `student1` WRITE;
/*!40000 ALTER TABLE `student1` DISABLE KEYS */;
INSERT INTO `student1` VALUES (1,'张三1','一班'),(3,'李四','一班'),(8,'王五','二班');
/*!40000 ALTER TABLE `student1` ENABLE KEYS */;
UNLOCK TABLES;
/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;

2.6 排除某些表的备份

如果我们想备份某个库,但是某些表数据量很大或者与业务关联不大,这个时候可以考虑排除掉这些表,同样的,选项--ignore-table可以完成这个功能。

mysqldump -uroot -p atguigudb3 --ignore-table=atguigudb3.book > no_book_bak.sql #在/mysql_backup目录下

通过如下指定判定文件中没有book表结构

grep "book" ./no_book_bak.sql

2.7 只备份结构或只备份数据

只备份结构的话可以使用--no-data简写为-d选项;只备份数据可以使用--no-create-info简写为-t选项。

  • 只备份结构
mysqldump -uroot -p atguigudb3 --no-data > atguigudb3_no_data_bak.sql

#grep命令,找不到insert相关语句,表示没有备份数据
[root@LinuxCentOS7-132 mysql_backup]# grep -i "INSERT" ./atguigudb3_no_data_bak.sql 
[root@LinuxCentOS7-132 mysql_backup]# 
  • 只备份数据
mysqldump -uroot -p atguigudb3 --no-create-info > atguigudb3_no_create_info_bak.sql

#grep命令,找不到create相关语句,表示没有备份表结构
[root@LinuxCentOS7-132 mysql_backup]# grep "create" ./atguigudb3_no_create_info_bak.sql 
[root@LinuxCentOS7-132 mysql_backup]# 

2.8 备份中包含存储过程、函数、事件

mysqldump备份默认是不包含存储过程,自定义函数及事件的。可以使用--routines-R选项来备份存储过程及函数,使用--events -E参数来备份事件。

举例:备份整个atguigudb3库,包含存储过程及事件

  • 使用下面的sql可以查看当前库有那些存储过程或者函数
mysql> SELECT SPECIFIC_NAME,ROUTINE_TYPE ,ROUTINE_SCHEMA FROM
    -> information_schema.Routines WHERE ROUTINE_SCHEMA="atguigudb3";
+-----------------+--------------+----------------+
| SPECIFIC_NAME   | ROUTINE_TYPE | ROUTINE_SCHEMA |
+-----------------+--------------+----------------+
| rand_num        | FUNCTION     | atguigudb3     |
| rand_string     | FUNCTION     | atguigudb3     |
| insert_class    | PROCEDURE    | atguigudb3     |
| insert_stu      | PROCEDURE    | atguigudb3     |
| insert_user     | PROCEDURE    | atguigudb3     |
| proc_drop_index | PROCEDURE    | atguigudb3     |
+-----------------+--------------+----------------+
6 rows in set (0.01 sec)
mysqldump -uroot -p -R -E --databases atguigudb3 > func_proc_atguigudb3.sql

#查询并显示rand_num关键词,上下5行的语句
[root@LinuxCentOS7-132 mysql_backup]# grep -C 5 "rand_num" ./func_proc_atguigudb3.sql 
--

--
-- Dumping routines for database 'atguigudb3'
--
/*!50003 DROP FUNCTION IF EXISTS `rand_num` */;
/*!50003 SET @saved_cs_client      = @@character_set_client */ ;
/*!50003 SET @saved_cs_results     = @@character_set_results */ ;
/*!50003 SET @saved_col_connection = @@collation_connection */ ;
/*!50003 SET character_set_client  = utf8 */ ;
/*!50003 SET character_set_results = utf8 */ ;
/*!50003 SET collation_connection  = utf8_general_ci */ ;
/*!50003 SET @saved_sql_mode       = @@sql_mode */ ;
/*!50003 SET sql_mode              = 'ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_ENGINE_SUBSTITUTION' */ ;
DELIMITER ;;
CREATE DEFINER=`root`@`%` FUNCTION `rand_num`(from_num INT ,to_num INT) RETURNS int
BEGIN
        DECLARE i INT DEFAULT 0;
        SET i = FLOOR(from_num +RAND()*(to_num - from_num+1)) ;
        RETURN i;
    END ;;
--
        DECLARE i INT DEFAULT 0;
        SET autocommit = 0;
        REPEAT
        SET i = i + 1;
        INSERT INTO class ( classname,address,monitor ) VALUES
        (rand_string(8),rand_string(10),rand_num(1,100000));
        UNTIL i = max_num
        END REPEAT;
        COMMIT;
    END ;;
DELIMITER ;
--
    DECLARE i INT DEFAULT 0;
    SET autocommit = 0; #设置手动提交事务
    REPEAT #循环
    SET i = i + 1; #赋值
    INSERT INTO student (stuno, name ,age ,classId ) VALUES
    ((START+i),rand_string(6),rand_num(1,50),rand_num(1,1000));
    UNTIL i = max_num
    END REPEAT;
    COMMIT; #提交事务
END ;;
DELIMITER ;
--
DECLARE i INT DEFAULT 0;   
 SET autocommit = 0;    
 REPEAT  
 SET i = i + 1;  
 INSERT INTO `user1` ( NAME,age,sex ) 
 VALUES ("atguigu",rand_num(1,20),"male");  
 UNTIL i = max_num  
 END REPEAT;  
 COMMIT; 
END ;;
DELIMITER ;

2.9 mysqldump常用选项

--add-drop-database:在每个CREATE DATABASE语句前添加DROP DATABASE语句。

--add-drop-tables:在每个CREATE TABLE语句前添加DROP TABLE语句。

--add-locking:用LOCK TABLES和UNLOCK TABLES语句引用每个表转储。重载转储文件时插入得更快。

--all-database, -A:转储所有数据库中的所有表。与使用--database选项相同,在命令行中命名所有数据库。

--comment[=0|1]:如果设置为0,禁止转储文件中的其他信息,例如程序版本、服务器版本和主机。
--skip-comments与--comments=0的结果相同。默认值为1,即包括额外信息。

--compact:产生少量输出。该选项禁用注释并启用--skip-add-drop-tables、--no-set-names、--skipdisable-keys和--skip-add-locking选项。

--compatible=name:产生与其他数据库系统或旧的MySQL服务器更兼容的输出,值可以为ansi、MySQL323、MySQL40、postgresql、oracle、mssql、db2、maxdb、no_key_options、no_table_options或者no_field_options。

--complete_insert, -c:使用包括列名的完整的INSERT语句。没有该参数的执行结果,中insert语句,不包括列名

--debug[=debug_options], -#[debug_options]:写调试日志。

--delete,-D:导入文本文件前清空表。

--default-character-set=charset:使用charsets默认字符集。如果没有指定,就使用utf8。

--delete--master-logs:在主复制服务器上,完成转储操作后删除二进制日志。该选项自动启用-master-data。

--extended-insert,-e:使用包括几个VALUES列表的多行INSERT语法。这样使得转储文件更小,重载文件时可以加速插入。

--flush-logs,-F:开始转储前刷新MySQL服务器日志文件。该选项要求RELOAD权限。

--force,-f:在表转储过程中,即使出现SQL错误也继续。

--lock-all-tables,-x:对所有数据库中的所有表加锁。在整体转储过程中通过全局锁定来实现。该选项自动关闭--single-transaction和--lock-tables。

--lock-tables,-l:开始转储前锁定所有表。用READ LOCAL锁定表以允许并行插入MyISAM表。对于事务表(例如InnoDB和BDB),--single-transaction是一个更好的选项,因为它根本不需要锁定表。

--no-create-db,-n:该选项禁用CREATE DATABASE /*!32312 IF NOT EXIST*/db_name语句,如果给出--database或--all-database选项,就包含到输出中。

--no-create-info,-t:只导出数据,而不添加CREATE TABLE语句。

--no-data,-d:不写表的任何行信息,只转储表的结构。

--opt:该选项是速记,它可以快速进行转储操作并产生一个能很快装入MySQL服务器的转储文件。该选项默认开启,但可以用--skip-opt禁用。

--password[=password],-p[password]:当连接服务器时使用的密码。

-port=port_num,-P port_num:用于连接的TCP/IP端口号。默认3306

--protocol={TCP|SOCKET|PIPE|MEMORY}:使用的连接协议。

--replace,-r –replace和--ignore:控制替换或复制唯一键值已有记录的输入记录的处理。如果指定--replace,新行替换有相同的唯一键值的已有行;如果指定--ignore,复制已有的唯一键值的输入行被跳过。如果不指定这两个选项,当发现一个复制键值时会出现一个错误,并且忽视文本文件的剩余部分。

--silent,-s:沉默模式。只有出现错误时才输出。

--socket=path,-S path:当连接localhost时使用的套接字文件(为默认主机)。

--user=user_name,-u user_name:当连接服务器时MySQL使用的用户名。

--verbose,-v:冗长模式,打印出程序操作的详细信息。

--xml,-X:产生XML输出。

3.mysql命令恢复数据


使用mysqldump命令将数据库中的数据备份成一个文本文件。需要恢复时,可以使用mysql命令来恢复备份的数据。

mysql命令可以执行备份文件中的CREATE语句INSERT语句。通过CREATE语句来创建数据库和表。通过INSERT语句来插入备份的数据。

基本语法:

mysql -u root -p [dbname] < backup.sql

其中,dbname参数表示数据库名称。该参数是可选参数,可以指定数据库名,也可以不指定。指定数据库名时,表示还原该数据库下的表。此时需要确保MySQL服务器中已经创建了该名的数据库。不指定数据库名时,表示还原文件中所有的数据库。此时sql文件中包含有CREATE DATABASE语句,不需要MySQL服务器中已存在这些数据库。

3.1 单库备份中恢复单库

使用root用户,将之前练习中备份的atguigu.sql文件中的备份导入数据库中,命令如下:

如果备份文件中包含了创建数据库的语句,则恢复的时候不需要指定数据库名称,如下所示

mysql -uroot -p < atguigudb3.sql

否则需要指定数据库名称,如下所示

mysql -uroot -p atguigudb3 < atguigudb3.sql #建议使用这种方式,去进行数据的恢复。这种方式,强制让恢复数据的操作者,要了解数据的来源,和恢复的去向。而不是随便执行以下恢复指令。

3.2 全量备份恢复

如果我们现在有昨天的全量备份,现在想整个恢复,即可以这样操作:

mysql -u root -p < all.sql

执行完后,MySQL数据库中就已经恢复了all.sql文件中的所有数据库。

补充:

如果使用--all-databases参数备份了所有的数据库,那么恢复时不需要指定数据库。对应的sql文件包含有CREATE DATABASE语句,可通过该语句创建数据库。创建数据库后,可以执行sql文件中的USE语句选择数据库,再创建表并插入记录。

3.3 从全量备份中恢复单库

可能有这样的需求,比如说我们只想恢复某一个库,但是我们有的是整个实例的备份,这个时候我们可以从全量备份中分离出单个库的备份。

举例:

sed -n '/^-- Current Database: `atguigudb3`/,/^-- Current Database: `/p' all_database.sql > atguigudb3_1.sql
#分离完成后我们再导入atguigudb3_1.sql即可恢复单个库

这条 sed 命令用于从一个名为 all_database.sql 的SQL备份文件中抽取特定部分的内容,并将其写入到一个新的文件 atguigu.sql 中。下面是对这条命令的详细解释:

  • sed: 是一个流编辑器,用于对输入流进行编辑和转换。
  • -n: 这个选项告诉 sed 默认不输出任何行,只有当使用 pP 命令时才会输出。
  • /^-- Current Database: atguigu/: 这是一个正则表达式,用来匹配以 -- Current Database: 开始并以 atguigu 结束的行。这通常是在 SQL 文件中表示数据库名称的注释行。
  • ,/^-- Current Database: /: 这是一个范围定义,从上一个匹配的行开始,直到遇到下一个以 -- Current Database: 开始的行为止。这意味着它将包括两个注释行之间的所有内容。
  • p: 这个命令告诉 sed 输出与模式匹配的行以及它们之间的所有行。

综合起来,这条命令的作用是从 all_database.sql 文件中找到第一个 -- Current Database: atguigu`` 的注释行,然后一直读取直到遇到下一个 -- Current Database: 的注释行(无论这个数据库是什么),并将这两行之间的所有内容输出到 atguigu.sql 文件中。

上述内容来自,通义千问2.5。

3.4 从单库备份中恢复单表

这个需求还是比较常见的。比如说我们知道哪个表误操作了,那么就可以用单表恢复的方式来恢复。

举例:我们有atguigudb3整库的备份,但是由于student1表误操作,需要单独恢复出这张表。

cat atguigu.sql | sed -e '/./{H;$!d;}' -e 'x;/CREATE TABLE `student1`/!d;q' > student1_structure.sql
cat atguigu.sql | grep --ignore-case 'insert into `student1`' > student1_data.sql
#用shell语法分离出创建表的语句及插入数据的语句后 再依次导出即可完成恢复
[root@LinuxCentOS7-132 mysql_backup]# cat student1_structure.sql 

DROP TABLE IF EXISTS `student1`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!50503 SET character_set_client = utf8mb4 */;
CREATE TABLE `student1` (
  `id` int NOT NULL,
  `name` varchar(20) DEFAULT NULL,
  `class` varchar(10) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;
/*!40101 SET character_set_client = @saved_cs_client */;
mysql> use atguigudb3
Database changed
#从执行结果,也看出,备份文件中的mysql自动添加的注释,在满足条件的情况下,也会被执行,五个Query OK代表5条语句执行成功。
mysql> source /mysql_backup/student1_structure.sql 
Query OK, 0 rows affected, 1 warning (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected, 1 warning (0.01 sec)

Query OK, 0 rows affected (0.00 sec)

mysql> source /mysql_backup/student1_data.sql
Query OK, 5 rows affected (0.01 sec)
Records: 5  Duplicates: 0  Warnings: 0

4.物理备份:直接复制数据库实例的数据文件所在目录

直接将MySQL中的数据库文件复制出来。这种方法最简单,速度也最快。MySQL的数据库目录位置不一定相同:

使用下面命令查看数据库目录

mysql> show variables like 'datadir%';
+---------------+-----------------+
| Variable_name | Value           |
+---------------+-----------------+
| datadir       | /var/lib/mysql/ |
+---------------+-----------------+
1 row in set (0.01 sec)

但是为了保证备份的一致性。需要保证:

  • 方式1:备份前,将服务器停止。
  • 方式2:∶备份前,对相关表执行FLUSH TABLES WITH READ LOCK操作。这样当复制数据库目录中的文件时,允许其他客户继续查询表。同时,FLUSH TABLES语句来确保开始备份前将所有激活的索引页写入硬盘。

这种方式方便、快速,但不是最好的备份方法,因为实际情况可能不允许停止MySQL服务器或锁住表,而且这种方法对InnoDB存储引擎的表不适用。对于MyISAM存储引擎的表,这样备份和还原很方便,但是还原时最好是相同版本的MySQL数据库,否则可能会存在文件类型不同的情况。

注意,物理备份完毕后,执行UNLOCK TABLES来结算其他客户对表的修改行为。

说明:

在MySQL版本号中,第一个数字表示主版本号,主版本号相同的MySQL数据库文件格式相同。

此外,还可以考虑使用相关工具实现备份。比如,MySQLhotcopy工具。MySQLhotcopy是一个Perl脚本,它使用LOCK TABLES、FLUSH TABLES和cp或scp来快速备份数据库。它是备份数据库或单个表最快的途径,但它只能运行在数据库目录所在的机器上,并且只能备份MylSAM类型的表。多用于mysql5.5之前。

5.物理恢复:直接复制到数据库目录


步骤:

①演示删除备份的数据库中指定表的数据。

②将备份的数据库数据拷贝到数据目录下,并重启MySQL服务器。

③查询相关表的数据是否恢复。需要使用到chown操作。

要求:

  • 必须确保备份数据的数据库和待恢复的数据库服务器的主版本号相同。
    • 因为只有MySQL数据库主版本号相同时,才能保证这两个MySQL数据库文件类型是相同的。
  • 这种方式对MyISAM类型的表比较有效,对于InnoDB类型的表则不可用。
    • 因为InnoDB表的表空间不能直接复制。
  • 在Linux操作系统下,复制到数据库目录后,一定要将数据库的用户和组变成mysql,命令如下:
chown -R mysql.mysql /var/lib/mysql/dbname

其中,两个mysql分别表示组和用户;“-R”参数可以改变文件夹下的所有子文件的用户和组;“dbname”参数表示数据库目录。

提示:
Linux操作系统下的权限设置非常严格。通常情况下,MySQL数据库只有root用户和mysql用户组下的mysql用户才可以访问,因此将数据库目录复制到指定文件夹后,一定要使用chown命令将文件夹的用户组变为mysql,将用户变为mysql。

6.表的导出和导入


6.1 表的导出

1.使用SELECT...INTO OUTFILE导出文本文件

在MySQL中,可以使用SELECT...INTO OUTFILE语句将表的内容导出成一个文本文件。

举例:使用SELECT...INTO OUTFILE将atguigudb3数据库中account表中记录导出到文本文件。

①选择数据库atguigudb3,并查询account表,执行结果如下所示

mysql> use atguigudb3;

mysql> select * from student1;
+----+---------+--------+
| id | name    | class  |
+----+---------+--------+
|  1 | 张三1   | 一班   |
|  3 | 李四    | 一班   |
|  8 | 王五    | 二班   |
| 15 | 赵六    | 二班   |
| 20 | 钱七1   | 三班   |
+----+---------+--------+
5 rows in set (0.00 sec)

②mysql默认对导出文件目录有权限设置,也就是说使用命令行进行导出的时候,需要指定目录进行操作。

查询secure_file_priv值:

mysql> show global variables like '%secure%';
+--------------------------+-----------------------+
| Variable_name            | Value                 |
+--------------------------+-----------------------+
| require_secure_transport | OFF                   |
| secure_file_priv         | /var/lib/mysql-files/ |
+--------------------------+-----------------------+
2 rows in set (0.00 sec)

参数secure_file_priv的可选值和作用分别是:

  • 如果设置为empty,表示不限制文件生成的位置,这是不安全的设置;
  • 如果设置为一个表示路径的字符串,就要求生成的文件只能放在这个指定的目录,或者它的子目录;
  • 如果设置为NULL,就表示禁止在这个MySQL实例上执行select ... into outfile操作。

③上面结果显示,secure_file_priv变量的值为/var/lib/mysql-files/,导出目录为该目录,sql语句如下。

SELECT * FROM student1 INTO OUTFILE "/var/lib/mysql-files/student1.txt"

④查看student1.txt文件

[root@LinuxCentOS7-132 mysql-files]# cat student1.txt 
1	张三1	一班
3	李四	一班
8	王五	二班
15	赵六	二班
20	钱七1	三班
2.使用mysqldump命令导出文本文件

举例1:使用mysqldump命令将将atguigudb3数据库中student1表中的记录导出到文本文件:

mysqldump -uroot -p -T "/var/lib/mysql-files/" atguigudb3 student1 #生成目录必须和secure_file_priv保持一致

命令执行完后,在指定目录下,生成了student1.sql和student.txt文件

打开student1.sql文件,其内容包含创建student1表的sql语句

-- MySQL dump 10.13  Distrib 8.0.25, for Linux (x86_64)
--
-- Host: localhost    Database: atguigudb3
-- ------------------------------------------------------
-- Server version       8.0.25

/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;
/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;
/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;
/*!50503 SET NAMES utf8mb4 */;
/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;
/*!40103 SET TIME_ZONE='+00:00' */;
/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='' */;
/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;

--
-- Table structure for table `student1`
--

DROP TABLE IF EXISTS `student1`;
/*!40101 SET @saved_cs_client     = @@character_set_client */;
/*!50503 SET character_set_client = utf8mb4 */;
CREATE TABLE `student1` (
  `id` int NOT NULL,
  `name` varchar(20) DEFAULT NULL,
  `class` varchar(10) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb3;
/*!40101 SET character_set_client = @saved_cs_client */;

/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;
/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;
/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;
/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;
/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;
/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;

-- Dump completed on 2024-07-11 17:46:10
[root@LinuxCentOS7-132 mysql-files]# cat student1.txt 
1	张三1	一班
3	李四	一班
8	王五	二班
15	赵六	二班
20	钱七1	三班

举例2:使用mysqldump将atguigudb3数据库中的teacher表导出到文本文件,使用FIELDS选项,要求字段之间使用逗号“,”间隔,所有字符类型字段值用双引号括起来:

mysqldump -uroot -p -T "/var/lib/mysql-files/" atguigudb3 teacher --fields-terminated-by=',' --fields-optionally-enclosed-by='\"'

sql文件就是teacher表的创建语句

[root@LinuxCentOS7-132 mysql-files]# vim teacher.txt 
1,"zhangsan",\N #代表null
2,"lisi",\N
3.使用mysql命令导出文件

举例1:使用mysql语句导出atguigudb3数据中student1表中的记录到文本文件:

mysql -uroot -p --execute="SELECT * FROM student1;" atguigudb3> "/var/lib/mysql-files/student3.txt"
[root@LinuxCentOS7-132 mysql-files]# cat student3.txt 
id	name	class
1	张三1	一班
3	李四	一班
8	王五	二班
15	赵六	二班
20	钱七1	三班

举例2:将atguigudb3数据库student1表中的记录导出到文本文件,使用--vertical参数将该条件记录分为多行显示:

mysql -uroot -p --vertical --execute="SELECT * FROM student1;" atguigudb3> "/var/lib/mysql-files/student4.txt"
[root@LinuxCentOS7-132 mysql-files]# cat student4.txt 
*************************** 1. row ***************************
   id: 1
 name: 张三1
class: 一班
*************************** 2. row ***************************
   id: 3
 name: 李四
class: 一班
*************************** 3. row ***************************
   id: 8
 name: 王五
class: 二班
*************************** 4. row ***************************
   id: 15
 name: 赵六
class: 二班
*************************** 5. row ***************************
   id: 20
 name: 钱七1
class: 三班

举例3:将atguigudb3数据库student1表中的记录导出到xml文件,使用--xml参数,具体语句如下。

mysql -uroot -p --xml --execute="SELECT * FROM student1;" atguigudb3> "/var/lib/mysql-files/student5.txt"
[root@LinuxCentOS7-132 mysql-files]# cat student5.xml 
<?xml version="1.0"?>

<resultset statement="SELECT * FROM student1" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
  <row>
	<field name="id">1</field>
	<field name="name">张三1</field>
	<field name="class">一班</field>
  </row>

  <row>
	<field name="id">3</field>
	<field name="name">李四</field>
	<field name="class">一班</field>
  </row>

  <row>
	<field name="id">8</field>
	<field name="name">王五</field>
	<field name="class">二班</field>
  </row>

  <row>
	<field name="id">15</field>
	<field name="name">赵六</field>
	<field name="class">二班</field>
  </row>

  <row>
	<field name="id">20</field>
	<field name="name">钱七1</field>
	<field name="class">三班</field>
  </row>
</resultset>

说明:如果要将表数据导出到html文件中,可以使用 --html 选项。然后可以使用浏览器打开。

6.2 表的导出

1.使用LOAD DATA INFILE方式导入文本文件

举例1:

导出文件

SELECT * FROM student1 INTO OUTFILE "/var/lib/mysql-files/student1.txt"

删除表中数据

delete from student1;

从文本文件student1.txt中恢复数据:

LOAD DATA INFILE '/var/lib/mysql-files/student1.txt' INTO TABLE atguigudb3.student1;

查看数据

mysql> select * from student1;
+----+---------+--------+
| id | name    | class  |
+----+---------+--------+
|  1 | 张三1   | 一班   |
|  3 | 李四    | 一班   |
|  8 | 王五    | 二班   |
| 15 | 赵六    | 二班   |
| 20 | 钱七1   | 三班   |
+----+---------+--------+
5 rows in set (0.00 sec)

举例2: 选择数据库atguigu,使用SELECT…INTO OUTFILE将atguigudb3数据库student1表中的记录导出到文本文件,使用FIELDS选项和LINES选项,要求字段之间使用逗号","间隔,所有字段值用双引号括起来:

不建议使用这种方式,在导入导出是需要多加参数,容易出错。

SELECT * FROM atguigudb3.student1 INTO OUTFILE '/var/lib/mysql-files/student_1.txt' FIELDS TERMINATED BY ',' ENCLOSED BY '\"';

删除表中数据

delete from student1;

从文本文件student1.txt中恢复数据:

LOAD DATA INFILE '/var/lib/mysql-files/student_1.txt' INTO TABLE atguigudb3.student1 FIELDS TERMINATED BY ',' ENCLOSED BY '\"';

查看数据

mysql> select * from student1;
+----+---------+--------+
| id | name    | class  |
+----+---------+--------+
|  1 | 张三1   | 一班   |
|  3 | 李四    | 一班   |
|  8 | 王五    | 二班   |
| 15 | 赵六    | 二班   |
| 20 | 钱七1   | 三班   |
+----+---------+--------+
5 rows in set (0.00 sec)
2.使用mysqlimport方式导入文本文件

导出文件

SELECT * FROM student1 INTO OUTFILE "/var/lib/mysql-files/student1.txt"

删除表中数据

delete from student1;

从文本文件student1.txt中恢复数据:

mysqlimport -uroot -p atguigudb3 '/var/lib/mysql-files/student1.txt'

查看数据

mysql> select * from student1;
+----+---------+--------+
| id | name    | class  |
+----+---------+--------+
|  1 | 张三1   | 一班   |
|  3 | 李四    | 一班   |
|  8 | 王五    | 二班   |
| 15 | 赵六    | 二班   |
| 20 | 钱七1   | 三班   |
+----+---------+--------+
5 rows in set (0.00 sec)

7.数据库迁移


7.1 概述

数据迁移(data migration)是指选择、准备、提取和转换数据,并将数据从一个计算机存储系统永久地传输到另一个计算机存储系统的过程。此外,验证迁移数据的完整性退役原来旧的数据存储,也被认为是整个数据迁移过程的一部分。数据库迁移的原因是多样的,包括服务器或存储设备更换、维护或升级,应用程序迁移,网站集成,灾难恢复和数据中心迁移。根据不同的需求可能要采取不同的迁移方案,但总体来讲,MySQL 数据迁移方案大致可以分为物理迁移逻辑迁移两类。通常以尽可能自动化的方式执行,从而将人力资源从繁琐的任务中解放出来。

7.2 迁移方案

  • 物理迁移

物理迁移适用于大数据量下的整体迁移。使用物理迁移方案的优点是比较快速,但需要停机迁移并且要求 MySQL 版本及配置必须和原服务器相同,也可能引起未知问题。物理迁移包括拷贝数据文件和使用 XtraBackup 备份工具两种。不同服务器之间可以采用物理迁移,我们可以在新的服务器上安装好同版本的数据库软件,创建好相同目录,建议配置文件也要和原数据库相同,然后从原数据库方拷贝来数据文件及日志文件,配置好文件组权限,之后在新服务器这边使用 mysqld 命令启动数据库。

  • 逻辑迁移

逻辑迁移适用范围更广,无论是部分迁移还是全量迁移,都可以使用逻辑迁移。逻辑迁移中使用最多的就是通过 mysqldump 等备份工具。

7.3 迁移注意点

1. 相同版本的数据库之间迁移注意点

指的是在主版本号相同的MySQL数据库之间进行数据库移动。

方式1: 因为迁移前后MySQL数据库的主版本号相同,所以可以通过复制数据库目录来实现数据库迁移,但是物理迁移方式只适用于MyISAM引擎的表。对于InnoDB表,不能用直接复制文件的方式备份数据库。

方式2: 最常见和最安全的方式是使用mysqldump命令导出数据,然后在目标数据库服务器中使用MySQL命令导入。

举例:

#host1的机器中备份所有数据库,并将数据库迁移到名为host2的机器上
mysqldump –h host1 –uroot –p –-all-databases | mysql –h host2 –uroot –p

在上述语句中,“|”符号表示管道,其作用是将mysqldump备份的文件给mysql命令;“--all-databases”表示要迁移所有的数据库。通过这种方式可以直接实现迁移。

2. 不同版本的数据库之间迁移注意点

例如,原来很多服务器使用5.7版本的MySQL数据库,在8.0版本推出来以后,改进了5.7版本的很多缺陷,因此需要把数据库升级到8.0版本

旧版本与新版本的MySQL可能使用不同的默认字符集,例如有的旧版本中使用latin1作为默认字符集,而最新版本的MySQL默认字符集为utf8mb4。如果数据库中有中文数据,那么迁移过程中需要对默认字符集进行修改,不然可能无法正常显示数据。

高版本的MySQL数据库通常都会兼容低版本,因此可以从低版本的MySQL数据库迁移到高版本的MySQL数据库。

3. 不同数据库之间迁移注意点

不同数据库之间迁移是指从其他类型的数据库迁移到MySQL数据库,或者从MySQL数据库迁移到其他类型的数据库。这种迁移没有普适的解决方法。

迁移之前,需要了解不同数据库的架构,比较它们之间的差异。不同数据库中定义相同类型的数据的关键字可能会不同。例如,MySQL中日期字段分为DATE和TIME两种,而ORACLE日期字段只有DATE;SQL Server数据库中有ntext、Image等数据类型,MySQL数据库没有这些数据类型;MySQL支持的ENUM和SET类型,这些SQL Server数据库不支持。

另外,数据库厂商并没有完全按照SQL标准来设计数据库系统,导致不同的数据库系统的SQL语句有差别。例如,微软的SQL Server软件使用的是T-SQL语句,T-SQL中包含了非标准的SQL语句,不能和MySQL的SQL语句兼容。

不同类型数据库之间的差异造成了互相迁移的困难,这些差异其实是商业公司故意造成的技术壁垒。但是不同类型的数据库之间的迁移并不是完全不可能。例如,可以使用MyODBC实现MySQL和SQL Server之间的迁移。MySQL官方提供的工具MySQL Migration Toolkit也可以在不同数据之间进行数据迁移。MySQL迁移到Oracle时,需要使用mysqldump命令导出sql文件,然后,手动更改sql文件中的CREATE语句。

7.4 迁移小结

8.删库了不敢跑,能干点啥?


传统的高可用架构是不能预防误删数据的,因为主库的一个drop table命令,会通过binlog传给所有从库和级联从库,进而导致整个集群的实例都会执行这个命令。

为了找到解决误删数据的更高效的方法,我们需要先对和MySQL相关的误删数据,做下分类:

1.使用delete语句误删数据行;

2.使用drop table或者truncate table语句误删数据表;

3.使用drop database语句误删数据库;

4.使用rm命令误删整个MySQL实例。

8.1delete:误删行

处理措施1:数据恢复

使用Flashback工具恢复数据

原理:修改binlog内容,拿回原库重放。如果误删数据涉及到了多个事务的话,需要将事务的顺序调过来再执行。

使用前提: binlog_format=row和binlog_row_image=FULL。

处理措施2:预防

  • 代码上线前,必须SQL审查
  • 建议可以打开安全模式,把sql_safe_updates参数设置为on。强制要求加where条件且where后需要是索引字段,否则必须使用limit。否则会报错。

8.2 truncate/drop:误删库/表

背景:

delete全表是很慢的,需要生成回滚日志、写redo、写binlog。所以,从性能角度考虑,优先考虑使用truncatetable或者drop table命令。但是,在阿里巴巴开发手册中不推荐这种删除数据的方式,仁者见仁,智者见智吧。

使用delete命令删除的数据,你还可以用Flashback来恢复。而使用truncate /drop table和drop database命令删除的数据,就没办法通过Flashback来恢复了。因为,即使我们配置了binlog_format=row,执行这三个命令时,记录的binlog还是statement格式。binlog里面就只有一个truncate/drop语句,这些信息是恢复不出数据的。

方案:

这种情况下,要想恢复数据,就需要使用全量备份,加 增量日志 的方式了。

方案前提:有定期的全量备份,并且实时备份binlog。

在这两个条件都具备的情况下,假如有人中午12点误删了一个库,恢复数据的流程如下:

1.取最近一次全量备份,假设这个库是一天一备,上次备份是当天凌晨2点

2.用备份恢复出一个临时库;(注意,这里选择临时库,而不是直接操作主库)

3.从日志备份里面,取出凌晨2点之后的日志;

4.把这些日志,剔除误删除数据的语句外,全部应用到临时库。

5.最会恢复到主库。

8.3 预防使用truncate/drop误删库/表

上面我们说了使用truncate /drop语句误删库/表的恢复方案,在生产环境中可以通过下面建议的方案来尽量的避免类似的误操作。

①权限分离

  • 限制帐户权限,核心的数据库,一般都不能随便分配写权限,想要获取写权限需要审批。比如只给业务开发人员DML权限,不给truncate/drop权限。即使是DBA团队成员,日常也都规定只使用只读账号,必要的时候才使用有更新权限的账号。
  • 不同的账号,不同的数据之间要进行权限分离,避免一个账号可以删除所有库。

②制定操作规范

比如在删除数据表之前,必须先对表做改名操作(比如加_to_be_deleted)。然后,观察一段时间,确保对业务无影响以后再删除这张表。

③设置延迟复制备库

简单的说延迟复制就是设置一个固定的延迟时间,比如1个小时,让从库落后主库一个小时。出现误删除操作1小时内,到这个备库上执行stop slave,再通过之前介绍的方法,跳过误操作命令,就可以恢复出需要的数据。这里通过CHANGE MASTER TO MASTER_DELAY = N命令,可以指定这个备库持续保持跟主库有N秒的延迟。比如把N设置为3600,即代表1个小时。

此外,延迟复制还可以用来解决以下问题:

1.用来做延迟测试,比如做好的数据库读写分离,把从库作为读库,那么想知道当数据产生延迟的时候到底会发生什么,就可以使用这个特性模拟延迟。

2.用于老数据的查询等需求,比如你经常需要查看某天前一个表或者字段的数值,你可能需要把备份恢复后进行查看,如果有延迟从库,比如延迟一周,那么就可以解决这样类似的需求。

8.4 rm:误删MySQL实例

对于一个有高可用机制的MySQL集群来说,不用担心rm删除数据了。只是删掉了其中某一个节点的数据的话,HA系统就会开始工作,选出一个新的主库,从而保证整个集群的正常工作。我们要做的就是在这个节点上把数据恢复回来,再接入整个集群。

9.附录

mysqlshow 客户端对象查找工具,用来很快地查找存在哪些数据库、数据库中的表、表中的列或者索引。

mysqlshow [options] [db_name [table_name [col_name]]]

--count #显示数据库及表的统计信息(数据库,表 均可以不指定)

-i #显示指定数据库或者指定表的状态信息

#查询每个数据库的表的数量及表中记录的数量
mysqlshow -uroot -p --count
#查询某个数据库表的字段数,及行数
mysqlshow -uroot -p atguigu --count

关于宋红康老师的百科全书级的MySQL课程的笔记,这里就是最后一章了,很开心,能够学完。这里给出视频地址,笔记不明白,或不好理解的强烈推荐看原视频

只是为了记录自己的学习历程,且本人水平有限,不对之处,请指正。

热门相关:九龙神鼎   宠妻入骨:神秘老公有点坏   隐婚101天:唐少宠妻成瘾   国民校草求抱抱   呆萌配腹黑:倒追男神1000次