下載網站:www.SyncNavigator.CN
客服QQ1793040
----------------------------------------------------------
關於HKROnline SyncNavigator 注冊機價格的問題
HKROnline SyncNavigator 8.4.1 非破解版 注冊機 授權激活教程
最近一直在研究數據庫同步的問題，在網上查了很多資料，也請教了很多人，找到了一種通過快照復制的方法。研究了一番后發現之前就是用的這個方法，效果不是很好，果斷放棄。經過了一番尋覓和他人指點，最后從一位熱心網友那里得知一款很好用的軟件—— SyncNavigator。
好東西就要拿出來跟大家分享，所以今天向大家介紹一下這款軟件，及其一些使用方法。下面先看看它有什么強大的功能吧！
SyncNavigator的基本功能：
自動同步數據/定時同步數據
無論是實時同步/24小時不間斷同步，還是根據計划任務(每小時/每日/每周/等)定時自動同步都能完全勝任。
完整支持 Microsoft SQL Server
完整支持 Microsoft SQL Server 2000 2005 2008 數據庫類型。並能在不同數據庫版本之間相互同步數據。
支持 MySQL 4.1 以上版本
支持 MySQL 4.1 5.0 5.1 5.4 5.5。並能在不同數據庫版本之間相互同步數據。
無人值守和故障自動恢復
當數據庫故障或網絡故障以后，無需人工干預(或操作)自動恢復同步並確保數據完全准確，可靠。
同構數據庫同步/異構數據庫同步
SQL Server to SQL Server, MySQL to MySQL, SQL Server to MySQL 等都能輕松實現。
斷點續傳和增量同步
當同步完成(或中斷)后，再次同步時能繼續上一次的位置增量同步，避免每次都需要從頭開始的問題。
相信很多的用戶在遷移上雲上最頭疼的是數據庫備份和還原了吧。對於有些年頭企業的數據可能很大，用數據庫自帶的dump工具備份導出又導入，在傳輸上耗時又費力。Bespin Global資深交付工程師張小婭將為您介紹一種離線數據同步工具DATAX，實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各種同構/異構數據源之間高效的數據同步功能。
教程System Requirements
- Linux
- JDK(1.8以上，推薦1.8)
- Python(推薦Python2.6.X)
- Apache Maven 3.x (Compile DataX)
工具部署
- 直接下載datax工具包
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
下載后解壓至本地某個目錄，進入bin目錄，即可運行同步作業
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
- 配置示例
可以通過命令查看配置模板： python datax.py -r {YOUR_READER} -w {YOUR_WRITER}
- 重要參數配置說明
| splitPk | MysqlReader進行數據抽取時，如果指定splitPk，表示用戶希望使用splitPk代表的字段進行數據分片，DataX因此會啟動並發任務進行數據同步，這樣可以大大提供數據同步的效能。 | 否 | 空 |
| Where | 篩選條件，MysqlReader根據指定的column、table、where條件拼接SQL，並根據這個SQL進行數據抽取。 | 否 | 空 |
| Querysql | 在有些業務場景下，where這一配置項不足以描述所篩選的條件，用戶可以通過該配置型來自定義篩選SQL | 否 | 無 |
| Batchsize | 一次性批量提交的記錄數大小，該值可以極大減少DataX與Mysql的網絡交互次數，並提升整體吞吐量。但是該值設置過大可能會造成DataX運行進程OOM情況。 | 否 | 1024 |
| Channel | 傳輸啟動的通道數，通道數和batchsize對性能影響較大 | 否 | 無 |
功能最佳實戰
這里以同構數據庫MySQL遷移為例向大家介紹遷移中JSON文件的具體配置。
*由於本文章內容過多遷移成功后的輸出日志本文章中不體現
1
IDC 數據庫上雲最佳實戰
- 自建Mysql服務遷移至阿里雲RDS-Mysql
{
“job”: {
“setting”: {
“speed”: {
“channel”: 5
}
},
“content”: [{
“reader”: {
“name”: “mysqlreader”,
“parameter”: {
“username”: “root”,
“password”: “xxxxx”,
“column”: [
“*”
],
“connection”: [{
“table”: [
“member”
],
“jdbcUrl”: [
“jdbc:mysql://192.168.4.188:3306/bespin?useUnicode=true&characterEncoding=gbk”
]
}]
}
},
“writer”: {
“name”: “mysqlwriter”,
“parameter”: {
“username”: “member”,
“password”: “xxxxxxxx”,
“column”: [
“*”
],
“connection”: [{
“jdbcUrl”: “jdbc:mysql://rm-2zedc22cukg7v0hvifo.mysql.rds.aliyuncs.com:3306/mysqltest?useUnicode=true&charact
erEncoding=gbk”,
“table”: [
“member”
]
}]
}
}
}]
}
}
*遷移上騰訊雲，類似，只需要把writer中的jdbcUrl中的地址替換成功騰訊雲數據庫CDB的地址就可以，
如jdbc:mysql://bj-cdb-16u291gu.sql.tencentcdb.com:63061/member?useUnicode=true&characterEncoding=gbk*
2
雲雲之間數據庫遷移最佳實戰
- 騰訊雲CDB-mysql數據庫遷移至阿里雲RDS-Mysql數據庫
{
“job”: {
“setting”: {
“speed”: {
“channel”: 5
}
},
“content”: [{
“reader”: {
“name”: “mysqlreader”,
“parameter”: {
“username”: “member”,
“password”: “xxxxx”,
“column”: [
“*”
],
“connection”: [{
“table”: [
“member”
],
“jdbcUrl”: [
“jdbc:mysql://bj-cdb-16u291gu.sql.tencentcdb.com:63061/member?useUnicode=true&characterEncoding=gbk”
]
}]
}
},
“writer”: {
“name”: “mysqlwriter”,
“parameter”: {
“username”: “member”,
“password”: “xxxxxxx”,
“column”: [
“*”
],
“connection”: [{
“jdbcUrl”: “jdbc:mysql://rm-2zedc22cukg7v0hvifo.mysql.rds.aliyuncs.com:3306/mysqltest?useUnicode=true&charact
erEncoding=gbk”,
“table”: [
“member”
]
}]
}
}
}]
}
}
*阿里雲RDS-mysql數據庫遷移至騰訊雲CDB-mysql數據庫類型，只需要將jdbcurl地址修改正確就可以*
3
同一張表分多進程同步
一張表數據量較大時，可以啟動多個datax進程進行傳輸，通過表里的列進行數據分批，比如日期或者自增列的鍵值，json寫法如下：
{
“job”: {
“setting”: {
“speed”: {
“channel”: 4
}
},
“content”: [{
“reader”: {
“name”: “mysqlreader”,
“parameter”: {
“username”: “root”,
“password”: “xxxx”,
“connection”: [{
“jdbcUrl”: [
“jdbc:mysql://10.10.10.1:3306/bespin?useUnicode=true&characterEncoding=gbk”
],
“querySql”: [
“SELECT id,name from table1 WHERE id>499999”
]
}]
}
},
“writer”: {
“name”: “mysqlwriter”,
“parameter”: {
“writeMode”: “insert”,
“username”: “root”,
“password”: “xxxxx”,
“column”: [
“*”
],
“connection”: [{
“jdbcUrl”: “jdbc:mysql://10.10.0.2:3306/bespin?useUnicode=true&characterEncoding=gbk”,
“table”: [
“table1”
]
}]
}
}
}]
}
}
結束語DataX的性能和穩定性均經過眾多項目的驗證，可以作為一款值得依賴的雲端/線下數據遷移工具；同時，DataX支持眾多的數據源，經過良好規划，可以實現異構數據之間的互通，降低數據遷移成本、提高遷移便捷性；另外，DataX還可作為一款ETL工具，也為數據進出大數據平台提供傳輸通道。當然，工具是為人所用，豐富的經驗積累才能充分發揮出工具的強大功能，歡迎大家和 Bespin 交付團隊共同探討雲端應用為企業帶來的價值實現。