前語(yǔ)

介紹一款開(kāi)源的數(shù)據(jù)庫(kù)同步軟件，因?yàn)槿粘５木€上環(huán)境與測(cè)驗(yàn)環(huán)境經(jīng)常出現(xiàn)頻頻的數(shù)據(jù)同步問(wèn)題。有時(shí)分需求指定的數(shù)據(jù)庫(kù)，指定的數(shù)據(jù)表乃至指定的表字段進(jìn)行同步，這時(shí)分就需求一款優(yōu)異的中間件來(lái)幫忙完成這件工作。在查閱幾款中間件，例如 Tapdata cloud（收費(fèi)，免費(fèi)沒(méi)有可視化界面）、DataX（僅支撐全量）、Canal（還需額外寫(xiě)代碼？），最終敲定 DBSyncer，上手十分簡(jiǎn)略。

一、介紹

DBSyncer 是一款開(kāi)源的數(shù)據(jù)同步中間件，供給Mysql、Oracle、SqlServer、Elasticsearch(ES)、SQL(Mysql/Oracle/SqlServer)等同步場(chǎng)景。支撐上傳插件自定義同步轉(zhuǎn)換業(yè)務(wù)，供給監(jiān)控全量和增量數(shù)據(jù)統(tǒng)計(jì)圖、應(yīng)用功用預(yù)警等。

特點(diǎn)

• 組合驅(qū)動(dòng)，自定義庫(kù)同步到庫(kù)組合，聯(lián)系型數(shù)據(jù)庫(kù)與非聯(lián)系型之間組合，任意調(diào)配表同步映射聯(lián)系

• 實(shí)時(shí)監(jiān)控，驅(qū)動(dòng)全量或增量實(shí)時(shí)同步運(yùn)轉(zhuǎn)狀況、成果、同步日志和體系日志

• 開(kāi)發(fā)插件，自定義轉(zhuǎn)化同步邏輯

• 開(kāi)源地址：gitee.com/ghi/dbsynce…

• 作者博客：my.oschina.net/dbsyncer

二、入門(mén)

2.1 環(huán)境安裝

按需求準(zhǔn)備好 java 環(huán)境后。

1、下載軟件

dbsyncer-1.2.2-RC_1201.zip

2、解壓文件 unzip

3、進(jìn)入 bin 目錄發(fā)動(dòng)安裝目錄

4、開(kāi)發(fā) centos 的18686 端口

5、登錄 ip:18686 平臺(tái)，輸入 admin/admin

2.2 同步 Mysql 數(shù)據(jù)庫(kù)

2.2.1 增加連接和驅(qū)動(dòng)

將 10.240.30.85 下的 test_db 庫(kù) 同步到 10.240.30.93 下的test_db 庫(kù)。

檢查數(shù)據(jù)庫(kù)是否開(kāi)啟 binlog日志（原理仍是binlog日志）

> show binary logs;

• 增加連接

• 增加驅(qū)動(dòng)

• 增量同步

• 點(diǎn)擊發(fā)動(dòng)

2.2.2 無(wú)法發(fā)動(dòng)問(wèn)題

發(fā)現(xiàn)在進(jìn)行增量同步、日志同步方法的時(shí)分會(huì)主動(dòng)斷開(kāi)，檢查日志錯(cuò)誤信息如下：

com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server;
consider upgrading MySQL client

從頭創(chuàng)立用戶：

create user 'dev_xl'@'%' identified by 'Dev@xl2021';
alter user 'dev_xl'@'%' IDENTIFIED with mysql_native_password by 'Dev@xl2021';
grant all privileges on *.* to 'dev_xl'@'%';
FLUSH PRIVILEGES;

然后運(yùn)用這個(gè)賬戶進(jìn)行裝備數(shù)據(jù)源。

2.2.3 更新表問(wèn)題

在做同步的時(shí)分，如果增加完驅(qū)動(dòng)后，在進(jìn)行新增表，這時(shí)發(fā)現(xiàn)數(shù)據(jù)源表查不出來(lái)，可以進(jìn)入驅(qū)動(dòng)裝備頁(yè)面，從頭保存，然后回去看數(shù)據(jù)源表是否更新即可。

比如我新增一個(gè) test 表后，點(diǎn)擊這個(gè)數(shù)據(jù)源發(fā)現(xiàn)查不出。

進(jìn)入修正連接后保存即可。

2.3 測(cè)驗(yàn)運(yùn)用

在源頭表進(jìn)行新增、刪去、修正測(cè)驗(yàn)發(fā)現(xiàn)都能達(dá)到效果。

但對(duì)表 DDL 的操作時(shí)，發(fā)現(xiàn)未能進(jìn)行結(jié)構(gòu)同步。

但全體上運(yùn)用是十分簡(jiǎn)略的，功用也很強(qiáng)大。