반응형
 [출처] character-set utf8mb4 사용시 replication slave 구성 주의사항 (MySQL Power Group) |작성자 jm732

안녕하세요 ~
오늘 처음 글을 올리네요 .. ^^ 
앞으로 가능한한 용기내어(?) 혼자 정리하고있는 것들을 올려볼까 합니다..^^


mysql 5.5 부터 사용 가능해진 utf8mb4 를 character-set 으로 사용하는 slave DB 를 구성할 때 주의사항으로 
알아두면 좋을만한 내용이라 공유드립니다. ( 이미 아시는분이 계실수도 있겠지만 ^^ ; )

 utf8mb4 : 5.5.3 버전부터 사용 가능해진 character-set 으로, 3 바이트까지 저장가능한 utf8 character-set 의 
               superset 인 utf8mb4 는 4 바이트 까지 저장이 가능한 character set 입니다.
               자세한 내용은 여기를 참고하세요 : https://dev.mysql.com/doc/refman/5.5/en/charset-unicode-utf8mb4.html


Master DB ( utf8 ) ---- replication ---> Slave DB ( utf8mb4 )   

위와 같은 구성으로
utf8 을 사용하는 Master DB에  utf8mb4 를 사용하는 Slave DB 를 구성할 때, 
replication 을 연결하면 ( start slave; )  다른 character-set 으로 연결되어, 에러가 발생하게 됩니다. 

하여 Slave DB 의 replication 시작 시 아래 variable 을 설정해야합니다.

+------------------------+---------------+
| Variable_name          | Value         |
+------------------------+---------------+
| slave_type_conversions | ALL_NON_LOSSY |
+------------------------+---------------+


[ slave_type_conversions ]

: slave 서버에서 사용되는 형식 변환 모드를 제어하는 변수
  
Mode
Effect
ALL_LOSSY
정보의 손실이 허용되는 타입 변환.
INT 컬럼이 TINYINT (a lossy conversion) 로 변환될 경우를 허용한다.
TINYINT 컬럼을 INT 컬럼으로 변환 (non-lossy)는 허용하지 않는다.
ALL_NON_LOSSY
Source 의 값을 변경하거나, truncate 할 필요가 없다.
소스 타입보다 타켓이 넓은 범위를 가지는 변환을 허용한다.
손실 변환이 허용되는지 여부에 관계가 없다.
INT 타입을 TINYINT 로 변환, 혹은 CHAR(25) 타입을 VARCHAR(20) 타입으로 변환할 경우 데이터 손실 발생으로 슬레이브 오류와 함께 중지된다.
ALL_LOSSY, ALL_NON_LOSSY
모든 지원되는 유형 변환은 손실 전환 여부에 관계없이 허용됨.
[empty]
속성 승격, 또는 강등이 허용되지 않는다.
소스와 타겟 테이블의 모든 열이 같은 유형이어야 한다. 기본값임

해당 값을 변환 할 경우, slave restart 가 필요

utf8 보다 utf8mb4 character-set 이 저장공간이 더 크기때문에 (4 bytes)
ALL_NON_LOSSY 로 설정하더라도 데이터 손실은 없습니다. 
replication 연결 시, 데이터 손실 여부를 반드시 잘 확인하고 설정되어야 합니다.

utf8, utf8mb4 간에 가능한 시나리오이고, 완전히 다른 형식의 캐릭터셋은 사용하지 않는 것이 좋겠습니다.

테스트 시나리오는 아래와 같습니다.

-- =============================================================
--  ( Master DB )
-- =============================================================

1) Meta Dump
신규 구성될 Slave DB 의 Character-set 을 utf8mb4 로 설정하기 위해
Master DB에서 mysqldump 를 사용하여 Meta 정보와 data 를 각각 받는다. 
( dump restore시 문자열 치환해도 상관없음 - 여기서는 정확한 확인을 위해 meta 정보, row data 를 따로 받음)

// mysql database 를 제외하고 적용하기 위해, database 단위로 dump 받음

$./mysqldump --databases  xxx kkk sysbench --opt --default-character-set=utf8mb4 [...] --no-data -uroot > /backup/pre_metadata.sql


2) 문자열 치환 
Character-set : utf8 -> utf8mb4   /  Collation : utf8_bin -> utf8mb4_bin 으로 문자열 치환

cat pre_metadata.sql  | sed 's/CHARSET=utf8 COLLATE=utf8_bin/CHARSET=utf8mb4 COLLATE=utf8mb4_bin/g'  | sed 's/COLLATE utf8_bin/COLLATE utf8mb4_bin/g'  | sed 's/CHARACTER SET utf8/CHARACTER SET utf8mb4/g' > /backup/metadata.sql

3) only data dump

$ ./mysqldump --databases  xxx kkk sysbench --opt --default-character-set=utf8mb4 [...] --master-data=2 --single-transaction --no-create-db --no-create-info -uroot > /backup/onlydata.sql

// dump 후 시점정보 확인
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=4892;

-- Master DB의 table character-set
+--------------+--------------+--------+--------------------+-----------------+------------+
| table_schema | table_name   | engine | character_set_name | table_collation | table_type |
+--------------+--------------+--------+--------------------+-----------------+------------+
| kkk          | kktest       | InnoDB | utf8               | utf8_bin        | BASE TABLE |
| sysbench     | kktest       | InnoDB | utf8               | utf8_bin        | BASE TABLE |
| sysbench     | sbtest       | InnoDB | utf8               | utf8_bin        | BASE TABLE |
| xxx          | ttt1         | InnoDB | utf8               | utf8_bin        | BASE TABLE |
+--------------+--------------+--------+--------------------+-----------------+------------+


-- =============================================================
--  ( Slave DB )
-- =============================================================

// Slave DB는 MySQL 설치 및 startup 까지 되어있는 것으로 가정한다.

1) Meta dump restore

mysql>source metadata.sql 

2) only data dump restore

mysql>source onlydata.sql

-- Slave DB의 table character-set
+--------------+--------------+--------+--------------------+-----------------+------------+
| table_schema | table_name   | engine | character_set_name | table_collation | table_type |
+--------------+--------------+--------+--------------------+-----------------+------------+
| kkk          | kktest       | InnoDB | utf8mb4            | utf8mb4_bin     | BASE TABLE |
| sysbench     | kktest       | InnoDB | utf8mb4            | utf8mb4_bin     | BASE TABLE |
| sysbench     | sbtest       | InnoDB | utf8mb4            | utf8mb4_bin     | BASE TABLE |
| xxx          | ttt1         | InnoDB | utf8mb4            | utf8mb4_bin     | BASE TABLE |
+--------------+--------------+--------+--------------------+-----------------+------------+

3) replication 연결

mysql> CHANGE MASTER TO
MASTER_HOST='10.10.10.10',
MASTER_USER='replication',
MASTER_PASSWORD='xxxxxx',
MASTER_PORT=3306,
MASTER_LOG_FILE='mysql-bin.000001',
MASTER_LOG_POS=4892 ;

mysql> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.10.10
                  Master_User: replication
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000002
          Read_Master_Log_Pos: 998873
               Relay_Log_File: dbmysql2-relay-bin.000004
                Relay_Log_Pos: 283
        Relay_Master_Log_File: mysql-bin.000002
             Slave_IO_Running: Yes
            Slave_SQL_Running: No
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 1677
                   Last_Error: Column 1 of table 'xxx.ttt1' cannot be converted from type 'varchar(1536)' to type 'varchar(512)'
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 120
              Relay_Log_Space: 999384
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: NULL
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 1677
               Last_SQL_Error: Column 1 of table 'xxx.ttt1' cannot be converted from type 'varchar(1536)' to type 'varchar(512)'
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 136
                  Master_UUID: 700b3176-6155-11e3-bd8e-00a0dxxxxxxx
             Master_Info_File: /data/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State:
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp: 140210 19:47:55
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
1 row in set (0.00 sec)



mysql> stop slave ;
Query OK, 0 rows affected (0.03 sec)

mysql> set global slave_type_conversions=ALL_NON_LOSSY;
Query OK, 0 rows affected (0.02 sec)

mysql> show variables like '%slave_type%';
+------------------------+---------------+
| Variable_name          | Value         |
+------------------------+---------------+
| slave_type_conversions | ALL_NON_LOSSY |
+------------------------+---------------+
1 row in set (0.00 sec)

mysql> start slave ;
Query OK, 0 rows affected (0.02 sec)

mysql> show slave status \G
*************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: 10.10.10.10
                  Master_User: replication
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000002
          Read_Master_Log_Pos: 998873
               Relay_Log_File: db-mysql2-relay-bin.000005
                Relay_Log_Pos: 283
        Relay_Master_Log_File: mysql-bin.000002
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 998873
              Relay_Log_Space: 999384
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 136
                  Master_UUID: 700b3176-6155-11e3-bd8e-00a0dxxxxxxx
             Master_Info_File: /data/mysql/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for the slave I/O thread to update it
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
1 row in set (0.00 sec)


반응형
저작자표시

'연구개발 > MYSQL' 카테고리의 다른 글

Mysql MMM error 처리  (0) 2014.08.28
Mysql MMM 의 설치  (0) 2014.08.28
MySQL 날짜 함수 정리  (0) 2014.08.12
xtrabackup  (0) 2014.08.08
Percona Xtrabackup 으로 백업/복원하기 (전체,디비별,테이블별)  (0) 2014.08.08

+ Recent posts

티스토리툴바