大眾點評cat監控平台搭建

參考官方文檔：https://github.com/dianping/cat/wiki/readme_server

1.數據庫相關

（1）創建數據庫cat，並執行以下sql創建相關表：

CREATE TABLE `dailyreport` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) NOT NULL COMMENT '報表名稱, transaction, problem...',
  `ip` varchar(50) NOT NULL COMMENT '報表來自於哪台cat-consumer機器',
  `domain` varchar(50) NOT NULL COMMENT '報表處理的Domain信息',
  `period` datetime NOT NULL  COMMENT '報表時間段',
  `type` tinyint(4) NOT NULL COMMENT '報表數據格式, 1/xml, 2/json, 默認1',
  `creation_date` datetime NOT NULL COMMENT '報表創建時間',
  PRIMARY KEY (`id`),
  UNIQUE KEY `period` (`period`,`domain`,`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='天報表';

CREATE TABLE `weeklyreport` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) NOT NULL COMMENT '報表名稱, transaction, problem...',
  `ip` varchar(50) NOT NULL COMMENT '報表來自於哪台cat-consumer機器',
  `domain` varchar(50) NOT NULL COMMENT '報表處理的Domain信息',
  `period` datetime NOT NULL  COMMENT '報表時間段',
  `type` tinyint(4) NOT NULL COMMENT '報表數據格式, 1/xml, 2/json, 默認1',
  `creation_date` datetime NOT NULL COMMENT '報表創建時間',
  PRIMARY KEY (`id`),
  UNIQUE KEY `period` (`period`,`domain`,`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='周報表';

CREATE TABLE `monthreport` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) NOT NULL COMMENT '報表名稱, transaction, problem...',
  `ip` varchar(50) NOT NULL COMMENT '報表來自於哪台cat-consumer機器',
  `domain` varchar(50) NOT NULL COMMENT '報表處理的Domain信息',
  `period` datetime NOT NULL  COMMENT '報表時間段',
  `type` tinyint(4) NOT NULL COMMENT '報表數據格式, 1/xml, 2/json, 默認1',
  `creation_date` datetime NOT NULL COMMENT '報表創建時間',
  PRIMARY KEY (`id`),
  UNIQUE KEY `period` (`period`,`domain`,`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='月報表';

CREATE TABLE `hostinfo` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `ip` varchar(50) NOT NULL COMMENT '部署機器IP',
  `domain` varchar(200) NOT NULL COMMENT '部署機器對應的項目名',
  `hostname` varchar(200) DEFAULT NULL COMMENT '機器域名',
  `creation_date` datetime NOT NULL,
  `last_modified_date` datetime NOT NULL,
  PRIMARY KEY (`id`),
  UNIQUE KEY `ip_index` (`ip`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='IP和項目名的對應關系';

CREATE TABLE `hourlyreport` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `type` tinyint(4) NOT NULL COMMENT '報表類型, 1/xml, 9/binary 默認1',
  `name` varchar(20) NOT NULL COMMENT '報表名稱',
  `ip` varchar(50) DEFAULT NULL COMMENT '報表來自於哪台機器',
  `domain` varchar(50) NOT NULL  COMMENT '報表項目',
  `period` datetime NOT NULL COMMENT '報表時間段',
  `creation_date` datetime NOT NULL COMMENT '報表創建時間',
  PRIMARY KEY (`id`),
  KEY `IX_Domain_Name_Period` (`domain`,`name`,`period`),
  KEY `IX_Name_Period` (`name`,`period`),
  KEY `IX_Period` (`period`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='用於存放實時報表信息，處理之后的結果';

CREATE TABLE `hourly_report_content` (
  `report_id` int(11) NOT NULL COMMENT '報表ID',
  `content` longblob NOT NULL COMMENT '二進制報表內容',
  `period` datetime NOT NULL  COMMENT '報表時間段',
  `creation_date` datetime NOT NULL COMMENT '創建時間',
  PRIMARY KEY (`report_id`),
  KEY `IX_Period` (`period`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='小時報表二進制內容';

CREATE TABLE `daily_report_content` (
  `report_id` int(11) NOT NULL COMMENT '報表ID',
  `content` longblob NOT NULL COMMENT '二進制報表內容',
  `period` datetime  COMMENT '報表時間段',
  `creation_date` datetime NOT NULL COMMENT '創建時間',
  PRIMARY KEY (`report_id`),
  KEY `IX_Period` (`period`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='天報表二進制內容';

CREATE TABLE `weekly_report_content` (
  `report_id` int(11) NOT NULL COMMENT '報表ID',
  `content` longblob NOT NULL COMMENT '二進制報表內容',
  `period` datetime  COMMENT '報表時間段',
  `creation_date` datetime NOT NULL COMMENT '創建時間',
  PRIMARY KEY (`report_id`),
  KEY `IX_Period` (`period`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='周報表二進制內容';

CREATE TABLE `monthly_report_content` (
  `report_id` int(11) NOT NULL COMMENT '報表ID',
  `content` longblob NOT NULL COMMENT '二進制報表內容',
  `period` datetime  COMMENT '報表時間段',
  `creation_date` datetime NOT NULL COMMENT '創建時間',
  PRIMARY KEY (`report_id`),
  KEY `IX_Period` (`period`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='月報表二進制內容';

CREATE TABLE `businessReport` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `type` tinyint(4) NOT NULL COMMENT '報表類型 報表數據格式, 1/Binary, 2/xml , 3/json',
  `name` varchar(20) NOT NULL COMMENT '報表名稱',
  `ip` varchar(50) NOT NULL COMMENT '報表來自於哪台機器',
  `productLine` varchar(50) NOT NULL COMMENT '指標來源於哪個產品組',
  `period` datetime NOT NULL COMMENT '報表時間段',
  `content` longblob COMMENT '用於存放報表的具體內容',
  `creation_date` datetime NOT NULL COMMENT '報表創建時間',
  PRIMARY KEY (`id`),
  KEY `IX_Period_productLine_name` (`period`,`productLine`,`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=COMPRESSED COMMENT='用於存放業務監控實時報表信息，處理之后的結果';

CREATE TABLE `task` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `producer`      varchar(20) NOT NULL COMMENT '任務創建者ip',
  `consumer`      varchar(20) NULL COMMENT '任務執行者ip',
  `failure_count` tinyint(4) NOT NULL COMMENT '任務失敗次數',
  `report_name`   varchar(20) NOT NULL COMMENT '報表名稱, transaction, problem...',
  `report_domain` varchar(50) NOT NULL COMMENT '報表處理的Domain信息',  
  `report_period` datetime NOT NULL  COMMENT '報表時間',
  `status`        tinyint(4) NOT NULL COMMENT '執行狀態: 1/todo, 2/doing, 3/done 4/failed',  
  `task_type`     tinyint(4) NOT NULL DEFAULT '1' COMMENT '0表示小時任務，1表示天任務',
  `creation_date` datetime NOT NULL  COMMENT '任務創建時間',
  `start_date`    datetime NULL  COMMENT '開始時間, 這次執行開始時間',
  `end_date`      datetime NULL  COMMENT '結束時間, 這次執行結束時間',
  PRIMARY KEY (`id`),
  UNIQUE KEY `task_period_domain_name_type` (`report_period`,`report_domain`,`report_name`,`task_type`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='后台任務';

CREATE TABLE `project` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `domain` varchar(200) NOT NULL COMMENT '項目名稱',
  `cmdb_domain` varchar(200) DEFAULT  NULL COMMENT 'cmdb項目名稱',
  `level` int(5) DEFAULT NULL COMMENT '項目級別',  
  `bu` varchar(50) DEFAULT NULL COMMENT 'CMDB事業部',
  `cmdb_productline` varchar(50) DEFAULT NULL COMMENT 'CMDB產品線',
  `owner` varchar(50)  DEFAULT NULL COMMENT '項目負責人',
  `email` longtext  DEFAULT NULL COMMENT '項目組郵件',
  `phone` longtext  DEFAULT NULL COMMENT '聯系電話',
  `creation_date` datetime DEFAULT NULL COMMENT '創建時間',
  `modify_date` datetime DEFAULT NULL COMMENT '修改時間',
  PRIMARY KEY (`id`),
  UNIQUE KEY `domain` (`domain`)
)ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='項目基本信息';

CREATE TABLE `topologyGraph` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `ip` varchar(50) NOT NULL COMMENT '報表來自於哪台cat-client機器ip',
  `period` datetime NOT NULL  COMMENT '報表時間段,精確到分鍾',
  `type` tinyint(4) NOT NULL COMMENT '報表數據格式, 1/xml, 2/json, 3/binary',
  `content` longblob COMMENT '用於存放報表的具體內容',
  `creation_date` datetime NOT NULL COMMENT '報表創建時間',
  PRIMARY KEY (`id`),
  KEY `period` (`period`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用於存儲歷史的拓撲圖曲線';

CREATE TABLE `config` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(50) NOT NULL COMMENT '配置名稱',
  `content` longtext COMMENT '配置的具體內容',
  `creation_date` datetime NOT NULL COMMENT '配置創建時間',
  `modify_date` datetime NOT NULL COMMENT '配置修改時間',
  PRIMARY KEY (`id`),
  UNIQUE KEY `name` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用於存儲系統的全局配置信息';

CREATE TABLE `baseline` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `report_name` varchar(100) DEFAULT NULL,
  `index_key` varchar(100) DEFAULT NULL,
  `report_period` datetime DEFAULT NULL,
  `data` blob,
  `creation_date` datetime DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `period_name_key` (`report_period`,`report_name`,`index_key`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `alteration` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增長ID',
  `type` varchar(64) NOT NULL COMMENT '分類',
  `title` varchar(128) NOT NULL COMMENT '變更標題',
  `domain` varchar(128) NOT NULL COMMENT '變更項目',
  `hostname` varchar(128) NOT NULL COMMENT '變更機器名',
  `ip` varchar(128) DEFAULT NULL COMMENT '變更機器IP',
  `date` datetime NOT NULL COMMENT '變更時間',
  `user` varchar(45) NOT NULL COMMENT '變更用戶',
  `alt_group` varchar(45) DEFAULT NULL COMMENT '變更組別',
  `content` longtext NOT NULL COMMENT '變更內容',
  `url` varchar(200) DEFAULT NULL COMMENT '變更鏈接',
  `status` tinyint(4) DEFAULT '0' COMMENT '變更狀態',
  `creation_date` datetime NOT NULL COMMENT '數據庫創建時間',
  PRIMARY KEY (`id`),
  KEY `ind_date_domain_host` (`date`,`domain`,`hostname`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='變更表';

CREATE TABLE `alert` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增長ID',
  `domain` varchar(128) NOT NULL COMMENT '告警項目',
  `alert_time` datetime NOT NULL COMMENT '告警時間',
  `category` varchar(64) NOT NULL COMMENT '告警分類:network/business/system/exception -alert',
  `type` varchar(64) NOT NULL COMMENT '告警類型:error/warning',
  `content` longtext NOT NULL COMMENT '告警內容',
  `metric` varchar(128) NOT NULL COMMENT '告警指標',
  `creation_date` datetime NOT NULL COMMENT '數據插入時間',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='存儲告警信息';

CREATE TABLE `alert_summary` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增長ID',
  `domain` varchar(128) NOT NULL COMMENT '告警項目',
  `alert_time` datetime NOT NULL COMMENT '告警時間',
  `content` longtext NOT NULL COMMENT '統一告警內容',
  `creation_date` datetime NOT NULL COMMENT '數據插入時間',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='統一告警信息';

CREATE TABLE `operation` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增長ID',
  `user` varchar(128) NOT NULL COMMENT '用戶名',
  `module` varchar(128) NOT NULL COMMENT '模塊',
  `operation` varchar(128) NOT NULL COMMENT '操作',
  `time` datetime NOT NULL COMMENT '修改時間',
  `content` longtext NOT NULL COMMENT '修改內容',
  `creation_date` datetime NOT NULL COMMENT '數據插入時間',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用戶操作日志';

CREATE TABLE `overload` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增長ID',
  `report_id` int(11) NOT NULL COMMENT '報告id',
  `report_type` tinyint(4) NOT NULL COMMENT '報告類型 1:hourly 2:daily 3:weekly 4:monthly',
  `report_size` double NOT NULL COMMENT '報告大小 單位MB',
  `period` datetime NOT NULL COMMENT '報表時間',
  `creation_date` datetime NOT NULL COMMENT '創建時間',
  PRIMARY KEY (`id`),
  KEY `period` (`period`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='過大容量表';

CREATE TABLE `config_modification` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增長ID',
  `user_name` varchar(64) NOT NULL COMMENT '用戶名',
  `account_name` varchar(64) NOT NULL COMMENT '賬戶名',
  `action_name` varchar(64) NOT NULL COMMENT 'action名',
  `argument` longtext COMMENT '參數內容',
  `date` datetime NOT NULL COMMENT '修改時間',
  `creation_date` datetime NOT NULL COMMENT '創建時間',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='配置修改記錄表';

CREATE TABLE `user_define_rule` (
  `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增長ID',
  `content` text NOT NULL COMMENT '用戶定義規則',
  `creation_date` datetime NOT NULL COMMENT '創建時間',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用戶定義規則表';

CREATE TABLE `business_config` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(20) NOT NULL DEFAULT '' COMMENT '配置名稱',
  `domain` varchar(50) NOT NULL DEFAULT '' COMMENT '項目',
  `content` longtext COMMENT '配置內容',
  `updatetime` datetime NOT NULL,
  PRIMARY KEY (`id`),
  KEY `updatetime` (`updatetime`),
  KEY `name_domain` (`name`,`domain`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE `metric_screen` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `name` varchar(50) NOT NULL COMMENT '配置名稱',
  `graph_name` varchar(50) NOT NULL DEFAULT '' COMMENT 'Graph名稱',
  `view` varchar(50) NOT NULL DEFAULT '' COMMENT '視角',
  `endPoints` longtext NOT NULL,
  `measurements` longtext NOT NULL COMMENT '配置的指標',
  `content` longtext NOT NULL COMMENT '配置的具體內容',
  `creation_date` datetime NOT NULL COMMENT '配置創建時間',
  `updatetime` datetime NOT NULL COMMENT '配置修改時間',
  PRIMARY KEY (`id`),
  UNIQUE KEY `name_graph` (`name`,`graph_name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系統監控的screen配置';

CREATE TABLE `metric_graph` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `graph_id` int(11) NOT NULL COMMENT '大盤ID',
      `name` varchar(50) NOT NULL COMMENT '配置ID',
      `content` longtext COMMENT '配置的具體內容',
      `creation_date` datetime NOT NULL COMMENT '配置創建時間',
      `updatetime` datetime NOT NULL COMMENT '配置修改時間',
      PRIMARY KEY (`id`),
      UNIQUE `name` (`name`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系統監控的graph配置';

CREATE TABLE `server_alarm_rule` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `category` varchar(50) NOT NULL COMMENT '監控分類',
      `endPoint` varchar(200) NOT NULL COMMENT '監控對象ID',
      `measurement` varchar(200) NOT NULL COMMENT '監控指標',
      `tags` varchar(200) NOT NULL DEFAULT '' COMMENT '監控指標標簽',
      `content` longtext NOT NULL COMMENT '配置的具體內容',
      `type` varchar(20) NOT NULL DEFAULT '' COMMENT '數據聚合方式',
      `creator` varchar(100) DEFAULT '' COMMENT '創建人',
      `creation_date` datetime NOT NULL COMMENT '配置創建時間',
      `updatetime` datetime NOT NULL COMMENT '配置修改時間',
      PRIMARY KEY (`id`),
      KEY `updatetime` (`updatetime`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='系統告警的配置';

（2）一套獨立的CAT集群只需要一個數據庫；

（3）數據庫編碼使用utf8mb4，否則可能造成中文亂碼等問題；

2.服務端部署

（1）下載Tomcat服務器，如：https://tomcat.apache.org/download-80.cgi

（2）下載cat.war包，由於依賴問題，個人建議直接下載官網打好包的cat-home-3.0.0.war，然后重命名為cat.war，下載地址：http://unidal.org/nexus/service/local/repositories/releases/content/com/dianping/cat/cat-home/3.0.0/cat-home-3.0.0.war

（3）將cat.war放到解壓后的Tomcat的webapps目錄下

3.服務端配置

（1）創建相關目錄並賦權限，並在/data/appdatas/cat目錄下新建client.xml,server.xml,datasources.xml配置文件

　　mkdir -p /data/{appdatas,applogs}/cat

　　chmod -R 777 /data

（2）datasources.xml

<?xml version="1.0" encoding="utf-8"?>

<data-sources>
        <data-source id="cat">
                <maximum-pool-size>3</maximum-pool-size>
                <connection-timeout>1s</connection-timeout>
                <idle-timeout>10m</idle-timeout>
                <statement-cache-size>1000</statement-cache-size>
                <properties>
                        <driver>com.mysql.jdbc.Driver</driver>
                        <url><![CDATA[jdbc:mysql://192.168.0.1:3306/cat]]></url>  <!-- 請替換為真實數據庫URL及Port  -->
                        <user>test</user>
                        <password>test</password>
                        <connectionProperties><![CDATA[useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&socketTimeout=120000]]></connectionProperties>
                </properties>
        </data-source>
</data-sources>

 

（3）server.xml

<?xml version="1.0" encoding="utf-8"?>
  <!-- Configuration for development environment-->
  <config local-mode="false" hdfs-machine="false" job-machine="true" alert-machine="true">
        <storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7">
        </storage>
        <console default-domain="Cat" show-cat-domain="true">
         <!--將172.16.90.114修改為部署CAT的內網IP,請不要寫127.0.0.1和外網IP -->
             <remote-servers>10.223.123.221:8080</remote-servers>        
        </console>
   </config>

（4）client.xml

<?xml version="1.0" encoding="utf-8"?>
<config mode="client" xmlns:xsi="http://www.w3.org/2001/XMLSchema" xsi:noNamespaceSchemaLocation="config.xsd">
<servers>
<!-- ip：部署CAT應用的服務器IP
     port：CAT服務端接收客戶端數據的端口（不允許更改）
http-port：CAT應用部署到的容器的端口（tomcat的端口）
<servers>
    <server ip="192.168.126.101" port="2280" http-port="8080" />
    <server ip="192.168.126.102" port="2280" http-port="8080" />
    <server ip="192.168.126.103" port="2280" http-port="8080" />
</servers>
-->

<server ip="10.223.123.221" port="2280" http-port="8080" />
</servers>
</config>

4.重算客戶端路由

（1）啟動Tomcat，訪問http://10.223.123.221:8080/cat/s/config?op=routerConfigUpdate

 

 

<?xml version="1.0" encoding="utf-8"?>
<router-config backup-server="部署CAT的服務器內網ip" backup-server-port="2280">
   <default-server id="部署CAT的服務器內網ip" weight="1.0" port="2280" enable="true"/>
   <network-policy id="default" title="默認" block="false" server-group="default_group">
   </network-policy>
</router-config>

點擊提交按鈕，然后點擊重算路由按鈕，就緒后重啟Tomcat即可（測試不重啟Tomcat也能生效）

訪問http://10.223.123.221:8080/cat/r，如果顯示下圖則表示服務端部署成功

 如果顯示“有問題的CAT服務器[ip]”,請核查一下配置文件以及客戶端路由中，都修改為內網ip。

5.客戶端springboot集成

（1）在項目的同一個盤符下創建client.xml配置文件和日志目錄，文件結構與服務端一致即可，ip改為cat服務端對應的IP，內容如下：

<?xml version="1.0" encoding="utf-8"?>
<config mode="client" xmlns:xsi="http://www.w3.org/2001/XMLSchema" xsi:noNamespaceSchemaLocation="config.xsd">
<servers>
<!-- ip：部署CAT應用的服務器IP
     port：CAT服務端接收客戶端數據的端口（不允許更改）
http-port：CAT應用部署到的容器的端口（tomcat的端口）
<servers>
    <server ip="192.168.126.101" port="2280" http-port="8080" />
    <server ip="192.168.126.102" port="2280" http-port="8080" />
    <server ip="192.168.126.103" port="2280" http-port="8080" />
</servers>
-->

<server ip="10.223.123.221" port="2280" http-port="8080" />
</servers>
</config>

（2）下載cat-client依賴包，安裝到本地maven倉庫：

　　先打開該網址：https://mvnrepository.com/artifact/com.dianping.cat/cat-client/3.0.0===》http://unidal.org/nexus/content/repositories/releases/然后即可下載需要的jar包

 

 

　　本人在測試過程中，發現maven依賴的方式下載不下來，固直接下載jar包下來安裝到本地倉庫：http://unidal.org/nexus/content/repositories/releases/com/dianping/cat/cat-client/3.0.0/cat-client-3.0.0.jar

需要下載如下圖cat-client-3.0.0.jar，cat-core-3.0.0.jar按理說可以不要，我做測試的時候安裝了，應該沒有影響：

 

 執行命令安裝：mvn install:install-file -Dfile=cat-client-3.0.0.jar -DgroupId=com.dianping.cat -DartifactId=cat-client -Dversion=3.0.0 -Dpackaging=jar

 

 這樣就能在springboot項目中進行依賴了。

（3）項目配置和埋點

 

public List<UrlModel> fetchUrls(int limitCount, Set<Long> taskIds) {
        Transaction t = Cat.newTransaction("DistributedSpiderApiImpl", "fetchUrls");
        Event event = Cat.newEvent("fetchUrlsEvent", "fetchUrlsQPS");
        List<UrlModel> urlModelList = null;
        try {
            urlModelList = businessCode(limitCount, taskIds);
            event.setSuccessStatus();
            t.setStatus(Transaction.SUCCESS);
        } catch (Exception e) {
            event.setStatus("False");
            t.setStatus(e);
            Cat.logError(e);
        } finally {
            event.complete();
            t.complete();
        }
        return urlModelList;
    }

看看效果：

 

 

 

 

 6.集群搭建

（1）配置文件都改為集群的配置，共用一個mysql，datasources.xml文件每個集群機器都要放一份；

（2）server.xml配置

<?xml version="1.0" encoding="utf-8"?>
<!-- Configuration for development environment-->
<config local-mode="false" hdfs-machine="false" job-machine="true" alert-machine="true">
    <storage  local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="7" local-logivew-storage-time="7"></storage>
    <console default-domain="Cat" show-cat-domain="true">
        <remote-servers>10.126.0.119:8080,10.126.0.120:8080,10.126.0.130:8080</remote-servers>
    </console>
</config>

（3）client.xml

<?xml version="1.0" encoding="utf-8"?>
<config mode="client"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema" xsi:noNamespaceSchemaLocation="config.xsd">
    <!-- ip：部署CAT應用的服務器IP
               port：CAT服務端接收客戶端數據的端口（不允許更改）
http-port：CAT應用部署到的容器的端口（tomcat的端口）-->
    <servers>
        <server ip="10.126.0.119" port="2280" http-port="8080" />
        <server ip="10.126.0.120" port="2280" http-port="8080" />
        <server ip="10.126.0.130" port="2280" http-port="8080" />
    </servers>
</config>

（4）客戶端路由配置

<?xml version="1.0" encoding="utf-8"?>
<router-config backup-server="10.126.0.119" backup-server-port="2280">
    <default-server id="10.126.0.119" weight="1.0" port="2280" enable="false"/>
    <default-server id="10.126.0.120" weight="1.0" port="2280" enable="true"/>
    <default-server id="10.126.0.130" weight="1.0" port="2280" enable="true"/>
    <network-policy id="default" title="default" block="false" server-group="default_group"></network-policy>
    <server-group id="default_group" title="default-group">
        <group-server id="10.126.0.120"/>
        <group-server id="10.126.0.130"/>
    </server-group>
</router-config>

（5）服務端配置，主要是配置remote-servers : 定義HTTP服務列表，（遠程監聽端同步更新服務端信息即取此值）http://10.126.0.130:8080/cat/s/config?op=serverConfigUpdate

 

 

<?xml version="1.0" encoding="utf-8"?>
<server-config>
    <server id="default">
        <properties>
            <property name="local-mode" value="false"/>
            <property name="job-machine" value="false"/>
            <property name="send-machine" value="false"/>
            <property name="alarm-machine" value="false"/>
            <property name="hdfs-enabled" value="false"/>
            <property name="remote-servers" value="10.126.0.119:8080,10.126.0.120:8080,10.126.0.130:8080"/>
        </properties>
        <storage local-base-dir="/data/appdatas/cat/bucket/" max-hdfs-storage-time="15" local-report-storage-time="2" local-logivew-storage-time="1" har-mode="true" upload-thread="5">
            <hdfs id="dump" max-size="128M" server-uri="hdfs://127.0.0.1/" base-dir="/user/cat/dump"/>
            <harfs id="dump" max-size="128M" server-uri="har://127.0.0.1/" base-dir="/user/cat/dump"/>
            <properties>
                <property name="hadoop.security.authentication" value="false"/>
                <property name="dfs.namenode.kerberos.principal" value="hadoop/[e-mail]"/>
                <property name="dfs.cat.kerberos.principal" value="[e-mail]"/>
                <property name="dfs.cat.keytab.file" value="/data/appdatas/cat/cat.keytab"/>
                <property name="java.security.krb5.realm" value="value1"/>
                <property name="java.security.krb5.kdc" value="value2"/>
            </properties>
        </storage>
        <consumer>
            <long-config default-url-threshold="1000" default-sql-threshold="100" default-service-threshold="50">
                <domain name="cat" url-threshold="500" sql-threshold="500"/>
                <domain name="OpenPlatformWeb" url-threshold="100" sql-threshold="500"/>
            </long-config>
        </consumer>
    </server>
    <server id="10.126.0.119">
        <properties>
            <property name="job-machine" value="true"/>
            <property name="send-machine" value="true"/>
            <property name="alarm-machine" value="true"/>
        </properties>
    </server>
</server-config>

集群效果圖如下：