MySQL MGR集群原理及实践

by

一、MGR简介

MGR全称MySQL Group Replication（Mysql组复制），是MySQL官方于2016年12月推出的一个全新的高可用与高扩展的解决方案。MGR提供了高可用、高扩展、高可靠的MySQL集群服务。在MGR出现之前，用户常见的MySQL高可用方式，无论怎么变化架构，本质就是Master-Slave架构。MySQL 5.7版本开始支持无损半同步复制（lossless semi-syncreplication），从而进一步提示数据复制的强一致性。

MySQL Group Replication（MGR）是MySQL官方在5.7.17版本引进的一个数据库高可用与高扩展的解决方案，以插件形式提供。MGR基于分布式paxos协议，实现组复制，保证数据一致性。内置故障检测和自动选主功能，只要不是集群中的大多数节点都宕机，就可以继续正常工作。提供单主模式与多主模式，多主模式支持多点写入。

二、MGR原理

组复制是一种可用于实现容错系统的技术。复制组是一个通过消息传递相互交互的Server集群。复制组由多个Server成员组成，如下图的Master1、Master2、Master3，所有成员独立完成各自的事务。

当客户端发起一个更新事务时，该事务先在本地执行，执行完成之后就要发起对事务的提交操作。在还没有真正提交之前，需要将产生的复制写集广播出去，复制到其它成员。如果冲突检测成功，组内决定该事务可以提交，其它成员可以应用，否则就回滚。

最终，所有组内成员以相同的顺序接收同一组事务。因此组内成员以相同的顺序应用相同的修改，保证组内数据强一致性。

三、MGR特点

高一致性。基于原生复制及paxos协议的组复制技术，并以插件的方式提供，提供一致数据安全保证；

高容错性。只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优先原则进行处理，并且内置了自动化脑裂防护机制；

高扩展性。节点的新增和移除都是自动的，新节点加入后，会自动从其他节点上同步状态，直到新节点和其他节点保持一致，如果某节点被移除了，其他节点自动更新组信息，自动维护新的组信息；

高灵活性。有单主模式和多主模式，单主模式下，会自动选主，所有更新操作都在主上进行；多主模式下，所有server都可以同时处理更新操作。

四、使用限制

（1） 仅支持innodb引擎

​为什么需要使用innodb引擎呢？在MySQL Group Replication中，事务以乐观形式执行，但是在提交时检查冲突，如果存在冲突，则会在某些实例上回滚事务，保持各个实例的数据一致性，那么，这就需要使用到事务存储引擎，同事Innodb提供一些额外的功能，可以更好的管理和处理冲突，所以建议 业务使用表格使用inndb存储引擎，类似于系统表格mysql.user使用MyISAM引擎的表格，因为极少修改及添加，极少出现冲突情况。

（2）主键

​每个需要复制的表格都必须定义一个显式主键，注意跟隐式主键区分（使用Innodb引擎的表格，如果没有指定主键，默认选择第一个非空的唯一索引作为主键，如果没有，则自动创建一个6个字节的rowid隐式主键）。这个主键能在冲突发生时启动极其重要的作用，同时，能够有效提高relay log的执行效率。

（3）隔离级别

​官网建议使用READ COMMITTED级别，除非应用程序依赖于REPLEATABLE

READ，RC模式下没有GAP LOCK，比较好支持Innodb本身的冲突检测机制何组复制的内部分布式检测机制一起协同工作。不支持SERIALIZABLE隔离级别。

（4）外键

​不建议使用级联外键，如果旧库本身有外键，业务上无法去除并且使用的是多主模式，那么，请配置group_replication_enforce_update_everywhere_check ，强制检查每个组成员的级联检查，避免多主模式下执行级联操作造成的检测不到的冲突。

五、参数规范

因前期创建实例大多采取默认配置 导致开发，测试，生产等环境间数据库参数不同 对程序运行有一定的影响。 以后创建实例将会参数规范化 对已有的实例后续也会慢慢修正。

下面简单解释下几个改动的参数

sql_mode 去除了ONLY_FULL_GROUP_BY, STRICT_TRANS_TABLES,NO_ZERO_IN_DATE, NO_ZERO_DATE等限制 采取了较为宽松的模式

lower_case_table_names 统一设置为1 即不区分大小写 有些实例还没更改 大家建表建库的时候不要大写

character-set-server 统一设置为utf8 不要用latin1字符集

wait_timeout和interactive_timeout参数控制空闲连接的时长 当连接空闲时间超过此参数则会被断开 以后会统一设置为1800s即30分钟

transaction_isolation 事务隔离级别 MySQL官方默认是可重复读（repeatable-read）目前单实例及主从架构的mysql采用了此级别，MGR集群将采取读已提交（read-committed）级别。Oracle默认是读已提交 。

六、两地三中心应用

随着互联网业务快速发展，多IDC的业务支撑能力和要求也逐步提升，行业内的“两地三中心”方案较为流行。其中两地是指同城、异地；三中心是指生产中心、同城容灾中心、异地容灾中心。

两地三中心方案中，基于设定的短期目标可以明确同城双活和异地容灾的方案组合。设计重点为同城双活，即在同城的数据中心之间，一般通过高速光纤相连，在网络带宽有保障的前提下，网络延迟一般在可接受范围内，两个机房之间可以认为在同一个局域网内。

在设计上可以和应用层结合起来，有两种部署模式：分为应用层双活和数据库双活，应用层双活和数据库单活。

（1）MGR集群多活架构

基于MGR的多活特性，数据的写入可以在多个节点之间进行复制，实现数据强一致性需求，并且在节点间通信出现延迟的情况下，会自动实现服务降级。对于此类方案，我们可以采用同机房多写，同城异机房只读的方案。

（2）双主模式的多活

两个节点均可以写入数据，可以实现跨机房的数据复制，延迟较低，在业务层需要做隔离，在故障发生时能够快速切换到同机房的Slave节点。此方案对于两个IDC机房的场景中较为实用，但是机房多活的场景不适合。

（3）业务交叉的双活方案

此种方案是双活技术的变通实现，即存在两类业务A和B,数据存储在database级别（schema层级），分别在不通的IDC节点完成数据写入，比如业务A在IDC1完成写入，业务B在IDC2完成写入，两个节点之间存在跨机房的复制节点，在出现问题时，能够通过域名的方式切换到指定的IDC节点。此种方案对于业务的依赖性较高，不适合机房多活的场景。

作者：架构设计思维

Link: https://www.jianshu.com/p/b9831f15e10c

mysql utf8mb4与emoji表情

by

MYSQL 5.5 之前， UTF8 编码只支持1-3个字节，只支持BMP这部分的unicode编码区， BMP是从哪到哪，到http://en.wikipedia.org/wiki/Mapping_of_Unicode_characters这里看，基本就是0000～FFFF这一区。 从MYSQL5.5开始，可支持4个字节UTF编码utf8mb4，一个字符最多能有4字节，所以能支持更多的字符集。

utf8mb4 is a superset of utf8

utf8mb4兼容utf8，且比utf8能表示更多的字符。

至于什么时候用，看你的做什么项目了。。

在做移动应用时，会遇到ios用户会在文本的区域输入emoji表情，如果不做一定处理，就会导致插入数据库异常。

Emoji表情符号兼容方案

一 什么是Emoji

emoji就是表情符号；词义来自日语（えもじ，e-moji，moji在日语中的含义是字符）
表情符号现已普遍应用于手机短信和网络聊天软件。
emoji表情符号，在外国的手机短信里面已经是很流行使用的一种表情。
手机上如何使用emoji：
1.iphone、ipad系统：安装emoji free，再设置-通用-键盘-国际键盘-添加新的键盘，然后把emoji添加在里面即可在发短信和一些输入文本的文本框中输入表情。
IOS 5用户可直接从通用中添加emoji 键盘，无需再安装emoji free
2.android系统：安装“GO输入法国际版”后，在输入法里面点选安装emoji插件可以使用。另外“百度输入法”也自带emoji表情
3.Windows Phone : 安装此 Emoji Keys，在其中输入之后复制粘贴到需要输入表情的地方即可

<此段摘自百度百科 http://baike.baidu.com/view/2631589.htm>

二 Emoji表情符号问题
1 问题：
IOS版本之间发送的Emoji表情符号不兼容，只看到方块
不同IOS版本在数据库存数据时，有时会发生系统错误
2 现象：
IOS 4 输入Emoji表情符，在IOS5.01 显示正常，在IOS5.1中（大陆版）显现为方块， 但IOS5.01/5.1输入的表情符号，显示正      常
IOS5.01/5.1 输入表情符，在IOS5.01/5.1中显示正常，但在IOS4.X显示为方块
输入Emoji入帖子正文， 可正常存储。 但用户昵称在IOS4.X 输入Emoji，系统正常， 而IOS5.01/5.1则提示系统错误。
3 本质:
iOS 5 and OS X 10.7 (Lion) use the Unicode 6.0 standard ‘unified’ code points for emoji.
iOS 5 Emoji  采用Unicode 6 标准来统一code points

iOS 4 on SoftBank iPhones used a set of unofficial code points in the Unicode Private Use Area, and so aren’t      compatible with any other systems
iOS 4 采用SoftBank Unicode， 一种非官方的, 采用私有Unicode 区域。
4 举例:
one emoji symbol “tiger”, it is “\U0001f42f” in iOS5, but “\ue050” in earlier iOS version
虎脸Emoji符号在iOS5 为Unicode：\U0001f42f；而在IOS4.x 为：\ue050 (SoftBank 编码)
另外： 按理讲， 从iOS5 应该兼容以前版本的emoji, 但现在出现5.01版本完美兼容（无论大陆版，美版，还是港版）， 而5.1     大陆版出现了不兼容现象（腾讯微信也出现了同样的问题）。
三 问题分析
1 系统存储错误问题（如昵称，帖子内容）
原因：
由于IOS5.X 采用新的Unicode， 其UTF8 编码大多为4个字节， 而由于昵称/帖子内容column并没设成utf8mb4，因此存储会    发生错误。
解决方法：
将昵称/帖子内容设成utf8mb4
2 不同iOS 之间Emoji 不兼容的问题。
原因：
iOS 5 到4 不兼容的问题，很简单，unicode6 和softbank编码的不同
iOS 4 到 5，按理说应该兼容，也就是说，iOS应该自动判断如果是softbank编码，自动转成unicode6。但现在看来， iOS5.1（大陆版）好像只支持unicode6, 而不支持softbank.
解决方法：
客户端发送emoji-encoding: Softbank或unicode6, 由服务端分别给出相应的编码表。
四 解决方案
1 数据存储(MySQL varchar  数据类型对UTF8 支持问题)
MYSQL 5.5 之前， UTF8 编码只支持1-3个字节， 从MYSQL5.5开始，可支持4个字节UTF编码，但要特殊标记。例如我们的帖子内容项，我们加上了这个支持。服务端mysql统一存储为ios5.x也就是Unicode编码。
对应alter语句:

[sql]  view plain copy

  1. ALTER TABLE topic MODIFY COLUMN content varchar(500) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘内容’;

2 编码转换:
iphone手机方案
客户端输入内容时候，统一存储为unicode编码(这里需要从softbank编码转换为unicode编码)。客户端请求内容的时候，需要根据不同的客户端给出不同的编码,ios4采用softbank编码做替换,ios5采用unicode编码直接支持。
android或wp其他手机方案:
如果没有emoji表情库，将无法输入。针对输入问题,将统一采用unicode编码存储。客户端请求内容的时候，将统一用softbank编码，客户端需要把emoji表情符号内置到客户端，做对应的编码和img替换。
web解决方案:
参考android或wp其他手机方案
五 部分代码
1 sql代码

[sql]  view plain copy

  1. CREATE TABLE `ios_emoji` (
  2.   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT ‘自增ID’,
  3.   `unicode` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘Unicode编码’,
  4.   `utf8` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘UTF8编码’,
  5.   `utf16` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘UTF16编码’,
  6.   `sbunicode` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘SBUnicode编码’,
  7.   `filename` varchar(100) CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci DEFAULT NULL COMMENT ‘文件名’,
  8.   `filebyte` longblob COMMENT ‘文件内容字节’,
  9.   PRIMARY KEY (`id`)
  10. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT=’ios表情编码表’;

2 java代码

[java]  view plain copy

  1. import java.io.UnsupportedEncodingException;
  2. import org.apache.commons.lang.StringUtils;
  5. public class IOSEmojiUtil {
  7.     public static String[] ios5emoji ;
  8.     public static String[] ios4emoji ;
  9.     public static String[] androidnullemoji ;
  10.     public static String[] adsbuniemoji;
  12.     public static void initios5emoji(String[] i5emj,String[] i4emj,String[] adnullemoji,String[] adsbemoji){
  13.         ios5emoji = i5emj;
  14.         ios4emoji = i4emj;
  15.         androidnullemoji = adnullemoji;
  16.         adsbuniemoji = adsbemoji;
  17.     }
  19.     //在ios上将ios5转换为ios4编码
  20.     public static String transToIOS4emoji(String src) {
  21.         return StringUtils.replaceEach(src, ios5emoji, ios4emoji);
  22.     }
  23.     //在ios上将ios4转换为ios5编码
  24.     public static String transToIOS5emoji(String src) {
  25.         return StringUtils.replaceEach(src, ios4emoji, ios5emoji);
  26.     }
  27.     //在android上将ios5的表情符替换为空
  28.     public static String transToAndroidemojiNull(String src) {
  29.         return StringUtils.replaceEach(src, ios5emoji, androidnullemoji);
  30.     }
  32.     //在android上将ios5的表情符替换为SBUNICODE
  33.     public static String transToAndroidemojiSB(String src) {
  34.         return StringUtils.replaceEach(src, ios5emoji, adsbuniemoji);
  35.     }
  37.     //在android上将SBUNICODE的表情符替换为ios5
  38.     public static String transSBToIOS5emoji(String src) {
  39.         return StringUtils.replaceEach(src, adsbuniemoji, ios5emoji);
  40.     }
  42.     //eg. param: 0xF0 0x9F 0x8F 0x80
  43.     public static String hexstr2String(String hexstr) throws UnsupportedEncodingException{
  44.         byte[] b = hexstr2bytes(hexstr);
  45.         return new String(b, “UTF-8”);
  46.     }
  48.     //eg. param: E018
  49.     public static String sbunicode2utfString(String sbhexstr) throws UnsupportedEncodingException{
  50.         byte[] b = sbunicode2utfbytes(sbhexstr);
  51.         return new String(b, “UTF-8”);
  52.     }
  54.     //eg. param: 0xF0 0x9F 0x8F 0x80
  55.     public static byte[] hexstr2bytes(String hexstr){
  56.         String[] hexstrs = hexstr.split(” “);
  57.         byte[] b = new byte[hexstrs.length];
  59.         for(int i=0;i<hexstrs.length;i++){
  60.             b[i] = hexStringToByte(hexstrs[i].substring(2))[0];
  61.         }
  62.         return b;
  63.     }
  65.     //eg. param: E018
  66.     public static byte[] sbunicode2utfbytes(String sbhexstr) throws UnsupportedEncodingException{
  67.         int inthex = Integer.parseInt(sbhexstr, 16);
  68.         char[] schar = {(char)inthex};
  69.         byte[] b = (new String(schar)).getBytes(“UTF-8”);
  70.         return b;
  71.     }
  73.     public static byte[] hexStringToByte(String hex) {
  74.         int len = (hex.length() / 2);
  75.         byte[] result = new byte[len];
  76.         char[] achar = hex.toCharArray();
  77.         for (int i = 0; i < len; i++) {
  78.             int pos = i * 2;
  79.             result[i] = (byte) (toByte(achar[pos]) << 4 | toByte(achar[pos + 1]));
  80.         }
  81.         return result;
  82.     }
  85.     private static byte toByte(char c) {
  86.         byte b = (byte) “0123456789ABCDEF”.indexOf(c);
  87.         return b;
  88.     }
  90.     public static void main(String[] args) throws UnsupportedEncodingException {
  91.         // TODO Auto-generated method stub
  92.         byte[] b1 = {-30,-102,-67}; //ios5 //0xE2 0x9A 0xBD
  93.         byte[] b2 = {-18,-128,-104}; //ios4 //”E018″
  95.         //————————————-
  97.         byte[] b3 = {-16,-97,-113,-128};    //0xF0 0x9F 0x8F 0x80
  98.         byte[] b4 = {-18,-112,-86};         //E42A
  101.         ios5emoji = new String[]{new String(b1,”utf-8″),new String(b3,”utf-8″)};
  102.         ios4emoji = new String[]{new String(b2,”utf-8″),new String(b4,”utf-8″)};
  105.         //测试字符串
  106.         byte[] testbytes = {105,111,115,-30,-102,-67,32,36,-18,-128,-104,32,36,-16,-97,-113,-128,32,36,-18,-112,-86};
  107.         String tmpstr = new String(testbytes,”utf-8″);
  108.         System.out.println(tmpstr);
  111.         //转成ios4的表情
  112.         String ios4str = transToIOS5emoji(tmpstr);
  113.         byte[] tmp = ios4str.getBytes();
  114.         //System.out.print(new String(tmp,”utf-8″));
  115.         for(byte b:tmp){
  116.             System.out.print(b);
  117.             System.out.print(” “);
  118.         }
  119.     }
  121. }

六 参考资料
1 Emoji 全编码表：(我参考的这个)
http://punchdrunker.github.com/iOSEmoji/table_html/flower.html
2 Emoji全编码表
http://code.iamcal.com/php/emoji/

3 iOS5/4 Emoji  兼容性：
http://stackoverflow.com/questions/7856775/how-to-convert-the-old-emoji-encoding-to-the-latest-encoding-in-ios5
4 MySQL emoji问题
http://dropblood.com/archives/ios-mysql-emoji
5 Emoji 中文对应表
http://www.iapps.im/wp-content/uploads/2012/02/emoji-pinyin.png?r=010

七 下载资源 

emoji图片和编码表 http://download.csdn.net/detail/qdkfriend/4309051

包括emoji文件表,emoji数据编码表(Unicode编码,UTF8编码,UTF16编码,SBUnicode编码)

mysql支持utf8mb4升级方案

[http://mathiasbynens.be/notes/mysql-utf8mb4#utf8-to-utf8mb4](

How to support full Unicode in MySQL databases

)

link: http://my.oschina.net/wingyiu/blog/153357

Mysql支持emoji 表情符号 升级编码为UTF8MB4

by

为了应对无线互联网的机遇和挑战、避免 emoji 表情符号带来的问题、涉及无线相关的 MySQL 数据库建议都提前采用 utf8mb4 字符集。注意Mysql5.5.3以上的版本才支持。 本文描述如何让Mysql5.5.31在原来采用UTF8字符集的情况下，升级编码为UTF8MB4。

1.修改/etc/my.cnf 文件
[client]
default-character-set = utf8mb4

[mysqld]
character-set-server=utf8mb4
collation-server=utf8mb4_unicode_ci

[mysql]
default-character-set = utf8mb4

2.重启Mysql服务
/etc/init.d/mysqld stop
/etc/init.d/mysqld start

3.升级Mysql 驱动jar包

如果经过上述步骤，应用无法连接数据的话，请检查当前使用的mysql-connector-java.jar 的版本，建议升级到mysql-connector-java-5.1.21.jar。

link: http://blog.itpub.net/28624388/viewspace-1064046/