加载中...

屌炸天实战 MySQL 系列教程（四）【秒杀七年经验 LowB工程师】 主从复制、备份恢复方案生产环境实战

第一篇：屌炸天实战 MySQL 系列教程（一） 生产标准线上环境安装配置案例及棘手问题解决

第二篇：屌炸天实战 MySQL 系列教程（二） 史上最屌、你不知道的数据库操作

第三篇：屌炸天实战 MySQL 系列教程（三）你不知道的 视图、触发器、存储过程、函数、事务、语句

第四篇：屌炸天实战 MySQL 系列教程（四） 主从复制、读写分离、模拟宕机、备份恢复方案生产环境实战

 

去年公司有一个七年PHP开发经验的工程师，想要跳槽。

去国内某知名互联网公司面试后，被虐惨了，非要我给他讲讲什么是主从复制。

那好吧，读这篇文章的人好帅啊！

元芳，你怎么看？使劲在下面评论吧。

你给我点赞，我教你实战！

 

本章内容：

  • 主从复制
  • 简介原理
  • 备份主库及恢复从库，配置从库生效
  • 读写分离
  • 如果主宕机了，怎么办？
  • 双主的情况
  • MySQL 备份及恢复方案
  • 备份单个及多个数据库
  • mysqldump 的常用参数
  • 如何增量恢复呢？
  • 增量恢复的必要条件
  • 生产环境 mysqldump 备份命令
  • 恢复喽

 

一、MySQL主从复制

1、简介

主从复制是生产环境的必须品了，如果你不会，那真是LowB，不过你幸运，看到了此文，直接上手干吧，爆发小宇宙。

我们为什么要用主从复制？

主从复制目的：

可以做数据库的实时备份，保证数据的完整性；

可做读写分离，主服务器只管写，从服务器只管读，这样可以提升整体性能。

原理图：

从上图可以看出，同步是靠log文件同步读写完成的。

2、更改配置文件

两天机器都操作，确保 server-id 要不同，通常主ID要小于从ID。一定注意。

# 3306和3307分别代表2台机器

  1. # 打开log-bin,并使server-id不一样
  2.  
  3. #vim /data/3306/my.cnf
  4. log-bin = /data/3306/mysql-bin
  5. server-id = 1
  6. #vim /data/3307/my.cnf
  7. log-bin = /data/3307/mysql-bin
  8. server-id = 3
  9.  
  10. #检查
  11. 1、
  12. [root@bogon ~]# egrep "log-bin|server-id" /data/3306/my.cnf 
  13. log-bin = /data/3306/mysql-bin
  14. server-id = 1
  15. [root@bogon ~]# egrep "log-bin|server-id" /data/3307/my.cnf  
  16. log-bin = /data/3307/mysql-bin
  17. server-id = 3
  18. 2、
  19. [root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock -e "show variables like 'log_bin';"
  20. Enter password: 
  21. +-----------------------+--------+
  22. | Variable_name | Value |
  23. +-----------------------+--------+
  24. | log_bin       | ON  |    # ON 为开始开启成功
  25. +-----------------------+--------+

3、建立用于从库复制的账号rep

通常会创建一个用于主从复制的专用账户，不要忘记授权。

  1. # 主库授权，允许从库来连接我取日志
  2. [root@localhost ~]# mysql -uroot -p -S /data/3306/mysql.sock 
  3. Enter password:
  5. # 允许从库192.168.200网段连接，账号rep，密码nick。
  6. mysql> grant replication slave on *.* to 'rep'@'192.168.200.%' identified by 'nick';
  7. Query OK, 0 rows affected (0.00 sec)
  8. mysql> flush privileges;
  9. Query OK, 0 rows affected (0.00 sec)
  11. # 检查创建的rep账号：
  12. mysql> select user,host from mysql.user;
  13. +--------+-----------------------------+
  14. | user | host              |
  15. +--------+------------------------------+
  16. | root | 127.0.0.1          |
  17. | rep  | 192.168.200.%     |
  18. | root | localhost           |
  19. | root | localhost.localdomain |
  20. +--------+------------------------------+
  21. 7    rows in set (0.00 sec)

4、备份主库，及恢复到从库

把主库现有数据备份下来，再恢复到从库，此时两个主机的数据一致。

如果事先有数据的话，这不不能忘。

  1. 1)    在主库上加锁，使只有只读权限。
  2. mysql> flush table with read lock;
  3. Query OK, 0 rows affected (0.00 sec)
  4. #5.1、5.5锁表命令略有不同。
  5. # 5.1锁表：flush tables with read lock;
  6. # 5.5锁表：flush table with read lock;
  7.  
  8. 2)    记住就是这个点备份的。
  9. mysql> show master status;
  10. +---------------------------+-------------+-------------------+--------------------------+
  11. | File             | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  12. +----------------------------+------------+--------------------+-------------------------+
  13. | mysql-bin.000013  |   410 |             |               |
  14. +----------------------------+------------+--------------------+-------------------------+
  15. 1 row in set (0.00 sec)
  17. 3)    克隆窗口，备份数据。
  18. [root@bogon ~]# mysqldump -uroot -p -S /data/3306/mysql.sock -A -B --events --master-data=2|gzip >/opt/rep.sql.gz
  19. Enter password:
  20. 参数：    -A：备份所有的
  21. #看rep.sql.gz参数
  22. vim /opt/rep.sql.gz
  23. -- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000013', MASTER_LOG_POS=410;
  25. 4)    查看master status；数值是否正常
  26. mysql> show master status;
  27. +--------------------------+------------+--------------------+-------------------------+
  28. | File            | Position | Binlog_Do_DB | Binlog_Ignore_DB |
  29. +--------------------------+------------+--------------------+--------------------------+
  30. | mysql-bin.000013 |    410 |            |                |
  31. +--------------------------+------------+--------------------+--------------------------+
  32. 1 row in set (0.00 sec)
  34. 5)    解锁库
  35. mysql> unlock tables;
  36. Query OK, 0 rows affected (0.00 sec)
  38. 6)    恢复到从库
  39. [root@bogon ~]# gunzip < /opt/rep.sql.gz | mysql -uroot -p -S /data/3307/mysql.sock
  40. Enter password:

5、配置从库及生效

更改从库和主库的连接参数，配置生效。检查就成功了！

  1. 1)    进入从库。
  2. [root@bogon ~]# mysql -uroot -p -S /data/3307/mysql.sock 
  3. Enter password:
  5. 2)    更改从属服务器用于与主服务器进行连接和通讯的参数。
  6. mysql> CHANGE MASTER TO
  7.       MASTER_HOST='192.168.200.98',
  8.       MASTER_PORT=3306,
  9.       MASTER_USER='rep',
  10.       MASTER_PASSWORD='nick',
  11.       MASTER_LOG_FILE='mysql-bin.000013',
  12.       MASTER_LOG_POS=410;
  13. Query OK, 0 rows affected (0.01 sec)
  15. 3)    查看更改的参数。
  16. [root@localhost ~]# cd /data/3307/data/
  17. [root@localhost data]# cat master.info 
  18. 18
  19. mysql-bin.000013
  20. 410
  21. 192.168.200.98
  22. REP
  23. nick
  24. 3306
  25. 60
  26. 0
  29. 0
  30. 1800.000
  32. 0
  34. 4)    生效！
  35. mysql> start slave;
  36. Query OK, 0 rows affected (0.01 sec)
  38. 5)    检查下列参数，符合则正常！
  39. mysql> show slave status\G
  40. Relay_Master_Log_File: mysql-bin.000013
  41.              Slave_IO_Running: Yes        #取logo。
  42.             Slave_SQL_Running: Yes        #读relay-bin、logo,写数据。
  43. Seconds_Behind_Master: 0        #落后主库的秒数。
  44.  
  45. 6)    查看relay-bin.logo。
  46. [root@localhost 3307]# cd /data/3307
  47. [root@localhost 3307]# ll
  48. 总用量 48
  49. drwxr-xr-x. 9 mysql mysql  4096 10月 29 18:52 data
  50. -rw-r--r--. 1 mysql mysql  1900 10月 29 11:45 my.cnf
  51. -rwx------. 1 root  root   1307 10月 20 17:06 mysql
  52. -rw-rw----. 1 mysql mysql     6 10月 29 11:00 mysqld.pid
  53. -rw-r-----. 1 mysql mysql 15090 10月 29 18:49 mysql_nick3307.err
  54. srwxrwxrwx. 1 mysql mysql     0 10月 29 11:00 mysql.sock
  55. -rw-rw----. 1 mysql mysql   150 10月 29 18:49 relay-bin.000001
  56. -rw-rw----. 1 mysql mysql   340 10月 29 18:52 relay-bin.000002
  57. -rw-rw----. 1 mysql mysql    56 10月 29 18:49 relay-bin.index
  58. -rw-rw----. 1 mysql mysql    53 10月 29 18:52 relay-log.info
  60. 7)    查看relay-log.info。
  61. [root@localhost 3307]# cat relay-log.info 
  62. /data/3307/relay-bin.000002
  63. 340
  64. mysql-bin.000013
  65. 497
  66.  
  67. 8)    查看master.info。
  68. [root@localhost 3307]# cat data/master.info 
  69. 18
  70. mysql-bin.000013
  71. 497
  72. 192.168.200.98
  73. rep
  74. nick
  75. 3306
  76. 60
  77. 0
  80. 0
  81. 1800.000
  83. 0

 6、读写分离

读写分离在生产环境比比皆是，也是必备技能。

忽略MySQL主从复制授权表同步，读写分离

  1. [root@bogon 3306]# vim my.cnf
  2. #添加以下四行
  3. replicate-ignore-db = mysql
  4. binlog-ignore-db = mysql
  5. binlog-ignore-db = performance_schema
  6. binlog-ignore-db = information_schema
  8. server-id = 1
  1. 1)    通过read-only参数防止数据写入从库的方法。
  2. #修改配置文件。
  3. vim /data/3307/my.cnf
  4. [mysqld]
  5. read-only
  6. #对用户授权事不能指定有super或all privileges权限。不然没效果。
  7. #创建账户suoning，并刷新权限。
  8. mysql> grant select,insert,update,delete on *.* to 'suoning'@'localhost' identified by '123';
  9. Query OK, 0 rows affected (0.00 sec)
  10. mysql> flush privileges;
  11. Query OK, 0 rows affected (0.00 sec)
  12. #用创建账户登录，并创建库
  13. [root@bogon 3307]# mysql -usuoning -p123 -S /data/3307/mysql.sock
  14. mysql> create user kangkangkang@'192.%' identified by 'old123';
  15. ERROR 1290 (HY000): The MySQL server is running with the --read-only option so it cannot execute this statement
  17. 2)    主从同步故障
  18. A.    Last_SQL_Errno: 1007
  19. stop slave;
  20. set global sql_slave_skip_counter = 1;
  21. start slave;
  22. B.    忽略
  23. skip-name-resolve        #忽略名字解析
  24. slave-skip-errors = 1032,1062,1007    #忽略故障编号
  26. server-id = 3
  27.  
  28. 3)    从库开启bin-log
  29. vim my.cnf
  30. log-bin = /data/3307/mysql-bin
  31. log-slave-updates           #表示从库记录bin-log
  32. expire_logs_days = 7        #保留7天bin-log。

7、主宕机

我们来模拟一下，如果主机宕机了，那我们该如何让从快速替换，让损失降到最小？当然了，双机热备也是一个不错的选择，那下节会给大家讲解。

一主多从的环境下，如果主宕机了，选一台从做主，继续和其它从同步。

  1. A.    查看每个从库的master.info，看谁的更靠前，最新，更大，丢的数据最少。
  2. [root@localhost 3307]# cat /data/3307/data/master.info 
  3. mysql-bin.000015
  4. 326
  6. B.    确保所有relay log全部更新完毕。
  7. 在每个从库上执行stop slave io_thread;show processlist;
  8. 知道看到Has read all relay log;表示从库更新都执行完毕。
  10. C.    登陆mysql -uroot -p -S /data/3307/mysql.sock
  11. stop slave;
  12. reset master;
  13. quit
  15. D.    进入到数据库目录，删除master.info relay-log.info
  16. cd /data/3307/data/
  17. rm -f master.info relay-log.info
  19. E.    3307提升为主库
  20. vim /data/3307/my.cnf
  21. 开启log-bin = /data/3307/mysql-bin
  22. 如存在log-slave-updates，read-only等一定要注释。
  23. /data/3307/mysql restart
  25. F.    其它从库操作
  26. stop slave;
  27. change master to master_host ='192.168.200.98';
  28. start slave;
  29. show slave status\G

8、双主

曾经在某知名外企，8万员工，做过 4主8从 的架构，以下演示双主，情况都类似。

使用主主前提：表的主键自增。

双主情况下，ID会是这样情况，通过程序指定ID写库M1：1,3,5，M2：2,4,6。

  1. [root@localhost 3307]# vim my.cnf
  2. [mysqld]
  3. auto_increment_increment        = 2
  4. auto_increment_offset           = 2
  5. [root@localhost 3307]# ./mysql restart
  7. [root@localhost 3306]# vim my.cnf
  8. [mysqld]
  9. auto_increment_increment        = 2
  10. auto_increment_offset           = 1
  11. log-bin = /data/3306/mysql-bin
  12. log-slave-updates
  13. [root@localhost 3306]# ./mysql restart
  15. [root@localhost 3306]# mysqldump -uroot -pnick -S /data/3307/mysql.sock -A -B --master-data=1 -x --events > /opt/3307bak.sql
  16. [root@localhost 3306]# mysql -uroot -pnick -S /data/3306/mysql.sock < /opt/3307bak.sql
  18. mysql> CHANGE MASTER TO
  19.       MASTER_HOST='192.168.200.98',
  20.       MASTER_PORT=3307,
  21.       MASTER_USER='rep',
  22.       MASTER_PASSWORD='nick';
  23. mysql> start slave;
  24. Query OK, 0 rows affected (0.00 sec)
  25. mysql> show slave status \G

 

二、MySQL备份及恢复

做为一个数据库管理员，最不可少的自然是数据库的各种备份及各种恢复，这通常是DBA日常必备。

那就来实战日常工作吧！

1、备份单个数据库

最基础的备份单个数据库

  1. 1>    语法：mysqldump –u 用户名 –p 数据库名> 备份的数据库名
  3. 2>    备份nick_defailt数据库，查看内容。
  4. [root@localhost ~]# mysqldump -uroot -p -B nick_defailt >/opt/mysql_nick_defailt.bak
  5. Enter password: 
  6. [root@localhost ~]# egrep -v "#|\*|--|^$" /opt/mysql_nick_defailt.bak 
  7. DROP TABLE IF EXISTS `oldsuo`;
  8. CREATE TABLE `oldsuo` (
  9.   `id` int(4) NOT NULL,
  10.   `name` char(20) NOT NULL,
  11.   `age` tinyint(2) NOT NULL DEFAULT '0',
  12.   `dept` varchar(16) DEFAULT NULL
  13. ) ENGINE=MyISAM DEFAULT CHARSET=latin1;
  14. LOCK TABLES `oldsuo` WRITE;
  15. INSERT INTO `oldsuo` VALUES (2,'ç´¢å®',0,NULL),(3,'索尼',0,NULL),(4,'底底',0,NULL);
  16. UNLOCK TABLES;
  17. DROP TABLE IF EXISTS `student`;
  18. CREATE TABLE `student` (
  19.   `qq` varchar(15) DEFAULT NULL,
  20.   `id` int(4) NOT NULL AUTO_INCREMENT,
  21.   `name` char(20) NOT NULL,
  22.   `suo` int(4) DEFAULT NULL,
  23.   `age` tinyint(2) NOT NULL DEFAULT '0',
  24.   `dept` varchar(16) DEFAULT NULL,
  25.   `sex` char(4) DEFAULT NULL,
  26.   PRIMARY KEY (`id`),
  27.   KEY `index_name` (`name`)
  28. ) ENGINE=MyISAM AUTO_INCREMENT=8 DEFAULT CHARSET=latin1;
  29. LOCK TABLES `student` WRITE;
  30. INSERT INTO `student` VALUES (NULL,2,'oldsuo',NULL,0,NULL,NULL),(NULL,3,'kangknag',NULL,0,NULL,NULL),(NULL,4,'kangkang',NULL,0,NULL,NULL),(NULL,5,'oldsuo',NULL,0,NULL,NULL),(NULL,6,'kangknag',NULL,0,NULL,NULL),(NULL,7,'kangkang',NULL,0,NULL,NULL);
  31. UNLOCK TABLES;
  33. 3>    启用压缩备份数据库
  34. [root@localhost~]#mysqldump -uroot -p -B nick_defailt|gzip>/opt/mysql_nick_defailt.bak.gz
  35. Enter password: 
  36. [root@localhost ~]# ll /opt/
  37. 总用量 28
  38. -rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sq2
  39. -rw-r--r--. 1 root root 2109 10月 24 16:36 data_bak.sql
  40. -rw-r--r--. 1 root root 1002 10月 27 11:55 mysql_nick_defailt.bak
  41. -rw-r--r--. 1 root root 1002 10月 27 11:56 mysql_nick_defailt.bak.gz
  42. -rw-r--r--. 1 root root 3201 10月 27 11:46 mysql_nick_defailt_B.bak
  43. drwxr-xr-x. 2 root root 4096 11月 22 2013 rh
  44. -rw-r--r--. 1 root root 1396 10月 24 16:11 student_bak.sql
  46. 4>    恢复nick_defailt数据库
  47. [root@localhost ~]# mysql -uroot -p nick_defailt </opt/mysql_nick_defailt.bak 
  48. Enter password:
  49. #加-B恢复方法
  50. [root@localhost ~]#  mysql -uroot -p  </opt/mysql_nick_defailt_B.bak               
  51. Enter password:
  53. 5>    总结
  54. 1、    备份用-B参数。增加use db,和create database的信息。
  55. 2、    用gzip对备份的数据压缩。

2、备份多个数据库

备份多个数据库的情况呢？

  1. #多个数据库名中间加空格
  2. [root@localhost ~]# mysqldump -uroot -p -B nick_defailt oldsuo oldsuo_1|gzip>/opt/mul.sql.gz
  3. Enter password:

3、备份单个及多个表

那如果备份单个和多个表，怎么办？

  1. 1>    语法：mysqldump -u 用户名 -p 数据库名 表名 > 备份的文件名
  2. [root@localhost ~]# mysqldump -uroot -p nick_defailt student >/opt/mysql_nick_defailt_student.bak
  3. Enter password:
  5. 2>    语法：mysqldump -u 用户名 -p 数据库名 表名1  表名2  > 备份的文件名
  6. [root@localhost ~]# mysqldump -uroot -p  nick_defailt student oldsuo >/opt/mysql_nick_defailt.bak        
  7. Enter password:

4、mysqldump 的参数

mysqldump 的关键参数，每个DBA都记烂了

  1. 1、    -B指定多个库，增加建库语句和use语句。
  2. 2、    --compact去掉注释，适合调试输出，生产不用。
  3. 3、    -A 备份所有库。
  4. 4、    -F刷新binlog日志。
  5. 5、    --master-data 增加binlog日志文件名及对应的位置点。
  6. 6、    -x，--lock-all-tables 
  7. 7、    -l,--locktables
  8. 8、    -d 只备份表结构
  9. 9、    -t 只备份数据
  10. 10、   --single-transaction 适合innodb事务数据库备份。

5、增量恢复

重要的来了，生产环境一般是增量备份与恢复；

所谓增量，就是在原数据的基础上继续添加数据，不必每次都重新添加，省时省力。

A：增量恢复必备条件：

  1. 1.    开启MySQL数据库log-bin参数记录binlog日志。
  2. [root@localhost 3306]# grep log-bin /data/3306/my.cnf 
  3. log-bin = /data/3306/mysql-bin
  4. 2.    存在数据库全备。

B：生产环境 mysqldump备份命令：

  1. # 进行数据库全备，（生产环境还通过定时任务每日凌晨执行）
  2. mysqldump -uroot -pnick -S /data/3306/mysql.sock --default-character-set=gbk --single-transaction -F -B nick |gzip >/server/backup/mysql_$(date +%F).sql.gz
  3. # innodb引擎备份
  4. mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F --single-transaction -A -B |gzip >$DATA_FILE
  5. # myisam引擎备份
  6. mysqldump -u$MYUSER -p$MYPASS -S $MYSOCK -F -A -B --lock-all-tables |gzip >$DATA_FILE

C：恢复：

  1. # 通过防火墙禁止web等应用向主库写数据或者锁表。让主库暂时停止更新，然后再进行恢复。
  2. # 误操作删除nick库！
  3.  
  4. 1.    检查全备及binlog日志
  5. [root@localhost 3306]# cd /server/backup/
  6. [root@localhost backup]# gzip -d mysql_2015-10-31.sql.gz 
  7. [root@localhost backup]# vim mysql_2015-10-31.sql
  8. [root@localhost backup]# grep -i "change" mysql_2015-10-31.sql
  9.  
  10. 2.    立即刷新并备份出binlog
  11. [root@localhost 3306]# mysqladmin -uroot -pnick -S /data/3306/mysql.sock flush-logs
  12. [root@localhost 3306]# cp /data/3306/mysql-bin.000030 /server/backup/
  13. #误操作log-bin,倒数第二
  14. [root@localhost backup]# mysqlbinlog -d nick mysql-bin.000030 >bin.sql    #导出为.sql格式。
  15. [root@localhost backup]# vim bin.sql
  16. 找到语句drop database nick删除！！！（误操作语句）
  18. 3.    恢复
  19. [root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock <mysql_2015-10-31.sql        #恢复之前的数据库全备
  20. [root@localhost backup]# mysql -uroot -pnick -S /data/3306/mysql.sock nick < bin.sql
  21. #恢复删除误操作语言的bin-log。
  22.  
  23. # 搞定！！！

 

第 1-1 条, 共 1 条.
2019-08-12 16:59:49
牛批回复