【APM】Pinpoint 監控告警（三）

　　本例介紹Pinpoint告警的相關內容，Pinpoint參考【APM】Pinpoint 安裝部署（一）

　　Pinpoint Web會定期檢查應用程序的狀態，並在滿足某些預配置條件（規則）的情況下觸發警報。

　　這些條件（默認情況下）由Web模塊中的后台批處理過程每3分鍾檢查一次（默認情況下），使用的是最后5分鍾的數據。一旦滿足條件，批處理過程就會向注冊到用戶組的用戶發送短信/電子郵件。

　　本例Pinpoint版本是：1.8.5，下載地址：https://github.com/naver/pinpoint/releases/tag/1.8.5

　　參考git文檔：https://naver.github.io/pinpoint/alarm.html

　　參考博客：https://skyao.gitbooks.io/learning-pinpoint/content/alarm/code_implementation.html

Pinpoint告警原理

　　1、下載源碼，通過源碼解析：

　　　　Pinpoint中有一個匹處理類，BatchConfiguration.java，此類會進行批任務處理

@Configuration
@Conditional(BatchConfiguration.Condition.class)
@ImportResource("classpath:/batch/applicationContext-batch-schedule.xml")
public class BatchConfiguration{
    static class Condition implements ConfigurationCondition {
        @Override
        public boolean matches(ConditionContext context, AnnotatedTypeMetadata metadata) {
            ......
            Resource resource = context.getResourceLoader().getResource("classpath:/batch.properties")
            ......
            final String enable = properties.getProperty("batch.enable");
            ......
        }
    }
}

　　　　Condition中會讀取配置文件batch.properties中的配置項batch.enable，默認是false。因此如果要開啟批處理功能，必須設置batch.enable=true。

　　2、在Pinpoint中，在批處理任務配置文件（applicationContext-batch-schedule.xml）中，文件路徑為：pinpoint/web/src/main/resources/batch/applicationContext-batch-schedule.xml，可以找到定義的任務

<task:scheduled-tasks scheduler="scheduler">
    <task:scheduled ref="batchJobLauncher" method="alarmJob" cron="0 0/3 * * * *" />
    <task:scheduled ref="batchJobLauncher" method="agentCountJob" cron="0 0 2 * * *" />
    <task:scheduled ref="batchJobLauncher" method="flinkCheckJob" cron="0 0/10 * * * *" />
</task:scheduled-tasks>

<task:scheduler id="scheduler" pool-size="1"/>

　　　　配置文件中，定義了執行告警Job的時間。定義了一個線程池大小為1的調度器scheduler

　　3、在Pinpoint中，在告警任務配置文件（applicationContext-alarmJob.xml）中，文件路徑為：pinpoint/web/src/main/resources/batch/applicationContext-alarmJob.xml，

　　　　reader:讀取數據 => 通過用戶配置的規則提供Checker，即異常校驗器。

　　　　processor:處理數據 => 用Checker進行校驗，標記異常狀態。

　　　　writer:回寫數據 => 判斷Checker是否有異常情況，有則報警。

<batch:job id="alarmJob">
<batch:step id="alarmPartitionStep">
    <batch:partition step="alarmStep" partitioner="alarmPartitioner">
        <batch:handler task-executor="alarmPoolTaskExecutorForPartition" />
    </batch:partition>
</batch:step>
<batch:listeners>
    <batch:listener ref="jobFailListener"/>
</batch:listeners>
</batch:job>

<batch:step id="alarmStep">
<batch:tasklet>
    <batch:chunk reader="reader" processor="processor" writer="writer" commit-interval="1"/>
</batch:tasklet>
</batch:step>

<bean id="alarmPartitioner" class="com.navercorp.pinpoint.web.alarm.AlarmPartitioner"/>
<bean id="reader" class="com.navercorp.pinpoint.web.alarm.AlarmReader" scope="step"/>
<bean id="processor" class="com.navercorp.pinpoint.web.alarm.AlarmProcessor" scope="step"/>
<bean id="writer" class="com.navercorp.pinpoint.web.alarm.AlarmWriter" scope="step"/>

<task:executor id="alarmPoolTaskExecutorForPartition" pool-size="1" />

　　4、在回寫數據類中AlarmWriter.java中發現，是通過注入AlarmMessageSender來發送消息

public class AlarmWriter implements ItemWriter<AlarmChecker> {

    @Autowired(required = false)
    private AlarmMessageSender alarmMessageSender = new EmptyMessageSender();

    @Autowired
    private AlarmService alarmService;

    ......

    // 發送消息
    private void sendAlarmMessage(CheckerResult beforeCheckerResult, AlarmChecker checker) {
        if (isTurnToSendAlarm(beforeCheckerResult)) {
            if (checker.isSMSSend()) {
                alarmMessageSender.sendSms(checker, beforeCheckerResult.getSequenceCount() + 1);
            }
            if (checker.isEmailSend()) {
                alarmMessageSender.sendEmail(checker, beforeCheckerResult.getSequenceCount() + 1);
            }
        }

    }

    ......
}

 　　5、在AlarmMessageSender初始化的值是EmptyMessageSender，通過查看EmptyMessageSender發現此類只是一個空的實現，所有這里只要我們自己實現AlarmMessageSender就能發送告警消息

public class EmptyMessageSender implements AlarmMessageSender {

    @Override
    public void sendSms(AlarmChecker checker, int sequenceCount) {
    }

    @Override
    public void sendEmail(AlarmChecker checker, int sequenceCount) {
    }

}

Pinpoint告警開發

　　1、下載源碼，導入Idea中。

　　2、由於查看pom文件，發現源碼編譯構建需要用到Maven3.5，JDK1.8，Java6，Java7，Java8，Java9，在開發環境中安裝好對應的Maven版本，以及配置好JDK版本

　　　　

　　　　下面是pom.xml文件中的內容，需要Maven 3.5，Maven不是3.5可以進行修改

<requireMavenVersion>
    <version>3.5</version>
</requireMavenVersion>
<requireJavaVersion>
    <version>1.8</version>
</requireJavaVersion>
<requireEnvironmentVariable>
    <variableName>JAVA_HOME</variableName>
</requireEnvironmentVariable>
<requireEnvironmentVariable>
    <variableName>JAVA_6_HOME</variableName>
</requireEnvironmentVariable>
<requireEnvironmentVariable>
    <variableName>JAVA_7_HOME</variableName>
</requireEnvironmentVariable>
<requireEnvironmentVariable>
    <variableName>JAVA_8_HOME</variableName>
</requireEnvironmentVariable>
<requireEnvironmentVariable>
    <variableName>JAVA_9_HOME</variableName>
</requireEnvironmentVariable>

　　3、查看依賴，下載依賴jar包（部分依賴可以用相似版本替代），且對pinpoint/pom.xml文件進行修改，是項目能運行打包。

　　　　a、修改spotbugs-exclude.xml，位子，此內容有2個地方要替換

<!--<excludeFilterFile>${maven.multiModuleProjectDirectory}/spotbugs-exclude.xml</excludeFilterFile>-->
<!-- 改為 -->
<excludeFilterFile>${basedir}/spotbugs-exclude.xml</excludeFilterFile>

　　　　b、插件注釋掉

<!--<plugin>-->
    <!--<groupId>org.apache.maven.plugins</groupId>-->
    <!--<artifactId>maven-jxr-plugin</artifactId>-->
    <!--<version>2.5</version>-->
    <!--<inherited>false</inherited>-->
    <!--<configuration>-->
        <!--<aggregate>true</aggregate>-->
        <!--<inputEncoding>${encoding}</inputEncoding>-->
        <!--<outputEncoding>${encoding}</outputEncoding>-->
        <!--<windowTitle>Pinpoint ${project.version} Cross Reference</windowTitle>-->
        <!--<docTitle>Pinpoint ${project.version} Cross Reference</docTitle>-->
    <!--</configuration>-->
<!--</plugin>-->

　　　　c、下載不下來直接注釋掉

<!-- 注釋 -->
<!--<profile>-->
    <!--<id>klocwork</id>-->
    <!--<build>-->
        <!--<plugins>-->
            <!--<plugin>-->
                <!--<groupId>com.klocwork.ps</groupId>-->
                <!--<artifactId>kwmaven</artifactId>-->
                <!--<version>2.1.1</version>-->
                <!--<configuration>-->
                    <!--<buildspec_filename>${KWINJECT_OUT_PATH}</buildspec_filename>-->
                <!--</configuration>-->
                <!--<executions>-->
                    <!--<execution>-->
                        <!--<phase>validate</phase>-->
                        <!--<goals>-->
                            <!--<goal>run</goal>-->
                        <!--</goals>-->
                    <!--</execution>-->
                <!--</executions>-->
            <!--</plugin>-->

        <!--</plugins>-->
    <!--</build>-->
<!--</profile>-->

　　　　d、修改bootsrap-java9.pom文件

<!-- <jdk.version>9</jdk.version> -->
<!-- 修改為 -->
<jdk.version>1.9</jdk.version>

　　4、實現和配置告警發消息類

　　　　為了使用告警功能，必須通過實現 com.navercorp.pinpoint.web.alarm.AlarmMessageSender並注冊為spring managed bean 來實現自己的邏輯以便發送短信和郵件。當告警被觸發時， AlarmMessageSender#sendEmail, 和 AlarmMessageSender#sendSms 方法將被調用。

　　　　AlarmMessageSenderImple.java 如下：

public class AlarmMessageSenderImple implements AlarmMessageSender {

    private final Logger logger = LoggerFactory.getLogger(this.getClass());

    @Autowired
    UserGroupService userGroupService;

    @Override
    public void sendSms(AlarmChecker checker, int sequenceCount) {

        List<String> receivers = userGroupService.selectPhoneNumberOfMember(checker.getuserGroupId());
        logger.info(" =============准備發送消息=============== " + receivers.size());

        if (receivers.size() == 0) {
            return;
        }
        List<String> smsList = checker.getSmsMessage();
        for (String message : smsList) {
            logger.info("send SMS : {}", message);
            // TODO Implement logic for sending SMS
            for (String receiver : receivers) {
                logger.info("send email receiver : {}", receiver);
            }
        }
    }

    @Override
    public void sendEmail(AlarmChecker checker, int sequenceCount) {

        List<String> receivers = userGroupService.selectEmailOfMember(checker.getuserGroupId());
        logger.info(" ==============准備發送郵件=============== " + receivers.size());

        if (receivers.size() == 0) {
            return;
        }

        String message = checker.getEmailMessage();
        logger.info("send email : {}", message);

        // TODO Implement logic for sending email
        for (String receiver : receivers) {
            logger.info("send email receiver : {}", receiver);
        }
    }
}

　　　　發郵件方法，可以參考：【Mail】JavaMail介紹及發送郵件（一）

　　　　發短信需要對接第三方運營商。

　　　　注冊AlarmMessageSenderImple，在applicationContext-batch.xml文件中注冊

<bean id="alarmMessageSenderImple" class="com.navercorp.pinpoint.web.alarm.AlarmMessageSenderImple"/>

　　　　還在可以發郵件信息做成可配置形式，在batch.properties文件中提供smtp服務器信息和發送者的地址。在AlarmMessageSenderImple中進行使用

pinpoint.url= #pinpoint-web server url
alarm.mail.server.url= #smtp server address
alarm.mail.server.port= #smtp server port
alarm.mail.server.username= #username for smtp server authentication
alarm.mail.server.password= #password for smtp server authentication
alarm.mail.sender.address= #sender's email address

ex)
pinpoint.url=http://pinpoint.com
alarm.mail.server.url=stmp.server.com
alarm.mail.server.port=587
alarm.mail.server.username=pinpoint
alarm.mail.server.password=pinpoint
alarm.mail.sender.address=[e-mail]

　　　　在AlarmMessageSenderImple時，注入相關參數

@Value("#{batchProps['alarm.mail.server.url'] ?: ''}")
String host;
@Value("#{batchProps['alarm.mail.server.port'] ?: 587}")
String port;
@Value("#{batchProps['alarm.mail.server.username'] ?: ''}")
String username;
@Value("#{batchProps['alarm.mail.server.password'] ?: ''}")
String password;
@Value("#{batchProps['alarm.mail.sender.address'] ?: ''}")
String mailfrom;

　　5、修改配置文件batch.properties

　　　　在batch.properties中將batch.enable標志設置為true，開啟批處理功能

batch.enable=true

　　　　batch.server.ip當有多個精確的Web服務器時，可以進行配置以防止並發批處理操作。僅當服務器的IP地址與中設置的值相同時，才執行批處理batch.server.ip。（將此設置為127.0.0.1將在所有Web服務器中啟動批處理）

batch.server.ip=X.X.X.X

　　6、配置mysql，需要用到MYSQL來存儲用戶信息以告警規則等，設置MYSQL服務器並在jdbc.properties文件中配置連接信息。

　　　　在resources/sql中有2個文件，CreateTableStatement-mysql.sql和SpringBatchJobRepositorySchema-mysql.sql，用來創建表。

jdbc.driverClassName=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:13306/pinpoint?characterEncoding=UTF-8
jdbc.username=admin
jdbc.password=admin

　　7、其他

　　　　a、可以在單獨的過程中啟動警報批處理 -只需使用Pinpoint-web模塊內的applicationContext-alarmJob.xml文件啟動彈簧批處理作業即可。

　　　　b、可以通過修改applicationContext-batch-schedule.xml文件中的cron表達式來更改批處理執行時間

<task:scheduled-tasks scheduler="scheduler">
    <task:scheduled ref="batchJobLauncher" method="alarmJob" cron="0 0/3 * * * *" />
</task:scheduled-tasks>

　　　　c、改善警報批處理性能的方法 -警報批處理設計為可同時運行。如果您有許多注冊了警報的應用程序，則可以通過pool-size在applicationContext-batch.xml文件中進行修改來增加執行程序的線程池的大小。

<task:executor id="poolTaskExecutorForPartition" pool-size="1" />

　　8、修改配置文件信息，配置Hbase及Zookeeper，參考：【APM】Pinpoint 安裝部署（一），然后使用Maven打包項目，打包后，將pinpoint-web-1.8.5.war，放入tomcat中運行

Pinpoint告警使用

　　1、打開pinpoint網頁，打開pinpoint配置

　　　　

　　2、新增用戶信息

　　　　

　　3、新增用戶組

　　　　

　　4、添加用戶到用戶組

　　　　

　　5、設置告警規則，測試可以使用TOTAL COUNT / 請求總數量超過多少就報警

　　　　

　　6、頁面上發起請求，超過請求次數

　　7、通過后台查看日志，或者是郵箱，可以發現告警已經實現

　　　　

告警規則

• SLOW COUNT / 慢請求數

  當應用發出的慢請求數量超過配置閾值時觸發。

• SLOW RATE / 慢請求比例

  當應用發出的慢請求百分比超過配置閾值時觸發。

• ERROR COUNT / 請求失敗數

  當應用發出的失敗請求數量超過配置閾值時觸發。

• ERROR RATE / 請求失敗率

  當應用發出的失敗請求百分比超過配置閾值時觸發。

• TOTAL COUNT / 總數量

  當應用發出的所有請求數量超過配置閾值時觸發。

  以上規則中，請求是當前應用發送出去的，當前應用是請求的發起者。 以下規則中，請求是發送給當前應用的，當前應用是請求的接收者。

• SLOW COUNT TO CALLEE / 被調用的慢請求數量

  當發送給應用的慢請求數量超過配置閾值時觸發。

• SLOW RATE TO CALLEE / 被調用的慢請求比例

  當發送給應用的慢請求百分比超過配置閾值時觸發。

• ERROR COUNT TO CALLEE / 被調用的請求錯誤數

  當發送給應用的請求失敗數量超過配置閾值時觸發。

• ERROR RATE TO CALLEE / 被調用的請求錯誤率

  當發送給應用的請求失敗百分比超過配置閾值時觸發。

• TOTAL COUNT TO CALLEE / 被調用的總數量

  當發送給應用的所有請求數量超過配置閾值時觸發。

  下面兩條規則和請求無關，只涉及到應用的狀態

• HEAP USAGE RATE / 堆內存使用率

  當應用的堆內存使用率超過配置閾值時觸發。

• JVM CPU USAGE RATE / JVM CPU使用率

  當應用的CPU使用率超過配置閾值時觸發。