Greenplum 日志管理
日志路径
-
$GPADMIN_HOME 是操作系统用户gpadmin的家目录路径。
-
$MASTER_DATA_DIRECTORY是Greenplum数据库master主机的数据目录。
-
$GPDATA_DIR是Greenplum数据库segment主机的数据目录。
-
host表示segment主机的主机名。
-
segprefix是segment前缀。
-
N是segment实例数量。
-
date是YYYYMMDD格式的日期。
日志参数
Greenplum的日志参数基本沿用了postgres的日志参数，主要包括以下三个部分：
-
何处写日志
-
log_destination
日志位置可以输出到stderr, csvlog, syslog
-
logging_collector
使用日志收集器，其是一个收集发送到stderr日志的后台进程，收集日志后该进程会将日志重定向到日志文件
-
log_directory
日志路径，需要logging_collector开启
-
log_filename
日志名字/模式，需要logging_collector开启，采用strftime模式设置
-
log_file_mode
日志文件权限，需要logging_collector开启，采用八进制，默认0600，代表服务拥有者拥有读写权限,
-
log_rotation_age
日志切换间隔，需要logging_collector开启，确认单个日志文件的时间长度，单位分钟，默认是24小时
-
log_rotation_size
日志切换大小，需要logging_collector开启，确认单个日志文件的最大大小，单位kb，默认10M
-
log_truncate_on_rotation
使能同名日志的truncate/overwrite, 需要logging_collector开启，注意：truncate只会基于时间的日志切换，由文件大小或者数据库重启导致的日志切换不会触发日志truncate
设置七日日志轮转：log_filename: server_log.%a
log_rotation_age:1440
log_truncate_on_rotation: on
-
-
何时写日志
-
log_min_messages
控制写入日志等级，有效值有
DEBUG5, DEBUG4, DEBUG3, DEBUG2, DEBUG1, INFO, NOTICE, WARNING, ERROR, LOG, FATAL, and PANIC，默认值为warning，注意其和客户端等级client_min_messages略有区别
-
log_min_error_statement
控制触发服务器日志记录的sql statement，等级和log_min_message相同，但是默认值为ERROR，即当sql statement造成了error或以上级别的错误后，该sql将被记录
-
log_min_duration_statement
当一条statement持续时间超过该参数后，此条statement将被记录，可用于控制慢查询日志的记录，默认单位微秒
-
log_min_duration_sample
和log_min_duration_statement差不多，但是一个采样子集，主要用在traffic过高的情况下
-
log_statement_sample_rate
顾名思义，采样率，范围0-1，默认为1
-
log_transaction_sample_rate
以事务为视角的采样率，它对于事务采样帮助比较大
-
-
记录什么日志
-
application_name
连接数据库的应用名
-
debug_print_parse
-
debug_print_rewritten
-
debug_print_plan
使能不同的调试输入，parse输出解析树，重写输出以及执行计划，这些消息位于LOG层
-
debug_pretty_print
故名思意，增加缩进，打印的更好看
-
log_checkpoints
记录checkpoint点，同时包含写入的缓冲数据以及写入时间等
-
log_connections
记录每一次对服务器的尝试连接
-
log_disconnections
记录连接断开时间和持续时间
-
log_duration
记录每一个完成的statement的持续时间
-
log_error_verbosity
日志的详细等级，VERBOSE甚至会打印源代码文件名，函数名和行号
-
log_hostname
记录客户端主机的主机名
-
log_line_prefix
日志行前缀
-
log_lock_waits
当一个session等待超过deadlock-time后，将会产生一条锁等待日志，这个参数对于诊断锁等待造成的性能问题很有用
-
log_parameter_max_length
确定非错误statement的绑定参数的可打印长度
-
log_parameter_max_length_on_error
确定错误statement的绑定参数的可打印长度
-
log_statement
控制记录哪种类型的SQL，ddl记录所有数据定义语句，mod记录所有ddl+dml
-
log_replication_commands
记录每一个replication命令
-
log_temp_files
记录临时文件名和尺寸，只记录大小大于该参数的临时文件
-
log_timezone
设置服务器日志记录的时区
-
日志视图
gp_toolkit是greenplum的一个管理schema，我们可以使用其中的几个视图查看数据库日志，gp_toolkit不在默认的搜索路径中，需要手动添加。
-
gp_log_command_timings
该视图使用外部表读取master主机上的日志文件以报告sql命令的执行时间，该视图需要超级用户权限，有一点不方便的是，它不能查看具体是哪一条sql语句。
-
gp_log_database
该视图使用外部表读取主机日志（master,segments,mirrors）并列出和当前数据库相关的日志条目，该视图需要超级用户权限，需要查询segment日志可以使用该视图
- gp_log_master_concise
该视图是master日志文件的子集，信息比较简明：
-
gp_log_system
该视图是最全面的一个日志视图，包括整个系统的所有日志条目，日志条目通过session id和logsession的组合主键进行唯一区分，列和gp_log_database差不多，区别是gp_log_database显示当前连接库的日志，而gp_log_system显示所有库的日志信息
日志清理
默认情况下pg_clog文件夹下日志会逐渐增加，日志参数log_truncate_on_rotation
只适用于基于时间的日志切换，在没有日志归档的情况，如果在基于时间切换日志模式下，某时间段内日志膨胀，则可能导致磁盘耗尽，因此需要使用日志归档或者启用linux定时任务。
-
设置log_rotation_age=1d，log_rotation_size=100M（大小可根据磁盘百分比适配）
-
不启用log_truncate_on_rotation，而设置root用户的crontab配置文件：
echo '* * * * * /root/gp_log_clean.sh' >> /var/spool/cron/root 开启定时清理任务
gp_log_clean.sh：
#!/bin/sh
logDir=/data/master/gpseg-1/pg_log
declare -i fileNumber=$(ls ${logDir}/*csv | wc -l)
echo "fileNumber = $fileNumber"
if [ ${fileNumber} -gt 7 ]; then
echo "now do log clean"
echo $(ls -t ${logDir}/*csv | tail -n 1)
rm -f $(ls -t ${logDir}/*csv | tail -n 1)
fi