让宝塔邮局服务实现“自愈”与“主动告警”#

1
#!/bin/bash
2
# ==============================================================================
3
# 邮件服务健康检查与自愈脚本 v1.0
4
#
5
# 功能:
6
# 1. 周期性（由cron定义）检查服务状态。
7
# 2. 如果服务失败，执行完整的“告警-修复-验证-报告”流程。
8
# 3. 【v1.0 核心】只要服务未恢复，每个cron周期都会重复完整的修复尝试，
9
#    实现“持久重试”，直到服务恢复为止。
10
# ==============================================================================
11

12
# --- 在这里配置你的 Telegram 信息 ---
13
BOT_TOKEN="在这里填入你的Bot_Token"
14
CHAT_ID="在这里填入你的Chat_ID"
15
# --- 配置结束 ---
16

17
# --- 高级配置 ---
18
# 日志文件
19
LOG_FILE="/var/log/mail_watchdog.log"
20
# 锁文件
21
LOCK_FILE="/var/run/mail_watchdog.pid"
22
# 状态文件
23
STATE_FILE="/tmp/mail_service_is_down.state"
24
# 冷却时间（秒）。【重要】设置为略小于你的cron周期。
25
# 例如，cron是20分钟(1200秒)一次，这里设置为19分钟(1140秒)。
26
# 这确保了每个cron周期都能触发一次新的尝试。
27
COOLDOWN_PERIOD=1140
28
# 连接测试超时（秒）
29
CONNECT_TIMEOUT=10
30
# 重启后等待多长时间（秒）再进行最终验证。2分钟 = 120秒
31
RESTART_WAIT_PERIOD=120
32
# --- 配置结束 ---
33

34
# 定义要测试的端口和服务
35
HOST="127.0.0.1"
36
PORT="465"
37

38

39
# 记录日志的函数
40
log_message() {
41
    echo "$(date '+%Y-%m-%d %H:%M:%S') - $1" | tee -a "$LOG_FILE"
42
}
43

44
# 发送Telegram通知的函数
45
send_telegram_notification() {
46
    local message_type=$1 # "PROBLEM", "RECOVERY", or "ESCALATION"
47
    local MESSAGE=""
48

49
    if [ "$message_type" == "PROBLEM" ]; then
50
        MESSAGE="🚨 **邮件服务告警** 🚨
51

52
**主机:** $(hostname)
53
**时间:** $(date '+%Y-%m-%d %H:%M:%S')
54

55
**事件:** 检测到 SMTP 服务 (端口 ${PORT}) 无响应。
56
**操作:** 正在尝试自动重启服务，请稍候...
57
"
58
    elif [ "$message_type" == "RECOVERY" ]; then
59
        MESSAGE="✅ **邮件服务恢复** ✅
60

61
**主机:** $(hostname)
62
**时间:** $(date '+%Y-%m-%d %H:%M:%S')
63

64
**事件:** SMTP 服务 (端口 ${PORT}) 已恢复正常。
65
"
66
    elif [ "$message_type" == "ESCALATION" ]; then
67
        MESSAGE="🔥 **告警升级：自动修复失败** 🔥
68

69
**主机:** $(hostname)
70
**时间:** $(date '+%Y-%m-%d %H:%M:%S')
71

72
**事件:** 自动重启邮件服务后，SMTP (端口 ${PORT}) **仍然无响应**。
73
**后续:** 将在下一个周期 (${COOLDOWN_PERIOD}秒后) 再次尝试修复。
74
"
75
    fi
76

77
    curl --connect-timeout 15 -s -X POST "https://api.telegram.org/bot${BOT_TOKEN}/sendMessage" \
78
         -d chat_id="${CHAT_ID}" \
79
         -d text="${MESSAGE}" \
80
         -d parse_mode="Markdown" > /dev/null
81
}
82

83
# 封装连接测试为一个函数
84
check_smtp_connection() {
85
    echo "QUIT" | timeout ${CONNECT_TIMEOUT}s openssl s_client -connect ${HOST}:${PORT} -brief -ign_eof > /dev/null 2>&1
86
    return $?
87
}
88

89

90
# --- 脚本主逻辑 ---
91

92
# 1. 锁机制
93
if [ -e "$LOCK_FILE" ] && kill -0 "$(cat "$LOCK_FILE")" 2>/dev/null; then
94
    log_message "另一个实例正在运行。退出。"
95
    exit 1
96
fi
97
echo $$ > "$LOCK_FILE"
98
trap 'rm -f "$LOCK_FILE"' EXIT
99

100

101
# 2. 执行首次连接检查
102
check_smtp_connection
103
CONNECT_STATUS=$?
104

105
if [ ${CONNECT_STATUS} -ne 0 ]; then
106
    # 如果首次检查失败
107

108
    # 3. 检查冷却期，这可以防止脚本被意外地在短时间内（小于cron周期）频繁触发
109
    if [ -e "$STATE_FILE" ]; then
110
        LAST_FAILURE_TIME=$(stat -c %Y "$STATE_FILE")
111
        CURRENT_TIME=$(date +%s)
112
        if [ $((CURRENT_TIME - LAST_FAILURE_TIME)) -lt ${COOLDOWN_PERIOD} ]; then
113
            log_message "SMTP on port ${PORT} is DOWN, but within the retry interval. Waiting for the next scheduled cron run."
114
            exit 0
115
        fi
116
    fi
117

118
    # 4. 【持久重试核心流程】
119
    log_message "SMTP on port ${PORT} is DOWN. Initiating automated recovery protocol..."
120
    touch "$STATE_FILE" # 更新故障时间戳，启动一个新的20分钟周期
121

122
    # a. 发送初始告警
123
    log_message "Sending PROBLEM notification..."
124
    send_telegram_notification "PROBLEM"
125

126
    # b. 按顺序重启服务
127
    log_message "Restarting Postfix..."
128
    /bin/systemctl restart postfix
129
    /bin/sleep 3
130
    log_message "Restarting Opendkim..."
131
    /bin/systemctl restart opendkim
132
    /bin/sleep 3
133
    log_message "Restarting Dovecot..."
134
    /bin/systemctl restart dovecot
135

136
    # c. 等待服务完全启动
137
    log_message "Service restart sequence completed. Waiting ${RESTART_WAIT_PERIOD}s for services to fully initialize..."
138
    sleep ${RESTART_WAIT_PERIOD}
139

140
    # d. 执行最终验证检查
141
    log_message "Performing post-restart validation check..."
142
    check_smtp_connection
143
    if [ $? -eq 0 ]; then
144
        # e. 如果恢复成功
145
        log_message "SUCCESS: Service has recovered after restart."
146
        send_telegram_notification "RECOVERY"
147
        rm -f "$STATE_FILE" # 清除故障状态，停止重试循环
148
    else
149
        # f. 如果仍然失败
150
        log_message "CRITICAL: Service FAILED to recover after restart. Will retry on the next cycle."
151
        send_telegram_notification "ESCALATION"
152
        # 保留STATE_FILE，但它的时间戳已被更新。下一个cron周期将再次触发此流程。
153
    fi
154

155
else
156
    # 如果首次检查成功
157
    if [ -e "$STATE_FILE" ]; then
158
        # 如果状态文件存在，说明这是从一次或多次失败尝试中恢复过来的
159
        log_message "SMTP on port ${PORT} is UP. Service has RECOVERED since last check."
160
        send_telegram_notification "RECOVERY"
161
        rm -f "$STATE_FILE"
162
    else
163
        # 服务一直正常，静默处理
164
        :
165
    fi
166
fi
167

168
exit 0