18. GitLab 日常维护:监控指标、日志分析、性能优化

「GitLab」系列已发布: 00. GitLab 不只是代码托管:一套 DevOps 平台的 6 大核心能力 | 01. GitLab 怎么装最省心?Omnibus/Docker/K8s 三种姿势 | 02. 装完 GitLab 先配啥?管理员视角的初始化设置清单 | 03. GitLab 角色搞不清?Member/Maintainer/Owner 权限全解 | 04. 从零建好第一个 GitLab 项目:权限、变量、CI 配置入门 | 05. GitLab MR 代码审查:Code Review 最佳实践 | 06. CI/CD 到底是什么?GitLab 流水线架构从概念到实战 | 07. Runner 装不好?GitLab Runner 单机/分布式/高可用全攻略 | 08. .gitlab-ci.yml 怎么写?从 Hello World 到生产配置 | 09. 从 0 到 1:Go + React 项目的 GitLab CI/CD 实战部署 | 10. 构建太慢?GitLab 缓存与工件管理:加速构建省时间 | 11. 测试/预发/生产怎么管?GitLab 多环境部署与金丝雀发布 | 12. 安全左移:GitLab SAST/DAST 自动化扫描,漏洞提前拦截 | 13. 镜像仓库不用 Harbor?GitLab Container Registry 一站式管理 | 14. 私有包怎么存?GitLab Package Registry:Maven/PyPI/NPM 全覆盖 | 15. GitLab 挂了怎么办?高可用架构 + 备份恢复业务不中断 | 16. 自动化触发:GitLab Webhooks + API 打通你的工具链 | 17. 文档自动发布:GitLab Pages 代码改文档同步更新 | 18. GitLab 日常维护:监控指标、日志分析、性能优化(本文) | 19. GitLab 企业级管理:权限/审计/合规从入门到精通

GitLab 跑久了也会臃肿卡顿。关键监控指标、日志排查思路、性能优化手段——一份生产级运维指南,让平台长期健康。

前置条件

已完成 GitLab 安装部署(第 01 篇)和高可用配置(第 15 篇)。面向自托管 GitLab 实例运维人员。

一、内置监控

1.1 Grafana

Omnibus 内置 Grafana,管理员账户直接登录:https://gitlab.example.com/-/grafana。

内置仪表盘:GitLab Omnibus Dashboard、NGINX 指标、PostgreSQL 性能、Redis 状态、Puma 工作进程。

1.1.1 启用 Prometheus 导出器


# /etc/gitlab/gitlab.rb
prometheus_monitoring['enable'] = true
grafana['enable'] = true
grafana['admin_password'] = 'secure-password'
node_exporter['enable'] = true
redis_exporter['enable'] = true
postgres_exporter['enable'] = true
gitlab_exporter['enable'] = true
puma_exporter['enable'] = true
sidekiq_exporter['enable'] = true
gitaly['prometheus_listen_addr'] = "0.0.0.0:9236"
registry['debug_addr'] = "0.0.0.0:5001"

1.1.2 关键指标

指标 说明 健康范围
gitlab_sql_duration_seconds 数据库查询耗时 < 100ms
gitlab_transaction_queue_duration_seconds 事务排队时间 < 1s
gitlab_ruby_gc_duration_seconds Ruby GC 耗时 越低越好
sidekiq_jobs_* Sidekiq 作业 队列深度 < 100
puma_active_connections Puma 活跃连接 视规模
gitaly_requests_duration_seconds Gitaly 请求 < 200ms

1.2 健康检查

健康检查是运维的"报警器"——它不解决问题,但能在用户投诉之前告诉你哪里要出事。GitLab 自带几个 HTTP 端点,直接挂在实例上,K8s 的 liveness/readiness 探针、负载均衡器的探活、甚至你手敲 curl 都能用。下面按"先保活、再查病"的顺序过一遍。

1.2.1 内置端点


# 存活检查
curl -s -o /dev/null -w "%{http_code}" https://gitlab.example.com/-/health

# 完整检查(含 DB/Redis/Gitaly)
curl -s https://gitlab.example.com/-/readiness | jq .

# {"db_check":{"status":"ok"},"redis_check":{"status":"ok"},...}


# K8s 探针
curl -s -o /dev/null -w "%{http_code}" https://gitlab.example.com/-/liveness>    # liveness
curl -s -o /dev/null -w "%{http_code}" https://gitlab.example.com/-/readiness>   # readiness

1.2.2 综合检查脚本

#!/bin/bash

# /usr/local/bin/gitlab-health-check.sh


GITLAB_URL="https://gitlab.example.com"
TOKEN="$GITLAB_ADMIN_TOKEN"
ALERT_WEBHOOK="https://hooks.slack.com/xxx"

HTTP_CODE=$(curl -s -o /dev/null -w "%{http_code}" "$GITLAB_URL/-/health")
if [ "$HTTP_CODE" != "200" ]; then
    echo "GitLab 返回 $HTTP_CODE"
    exit 1
fi

QUEUE_SIZE=$(curl -s --header "PRIVATE-TOKEN: $TOKEN" \
    "$GITLAB_URL/api/v4/sidekiq/queue_metrics" | \
    jq '.queues | to_entries | map(.value.backlog) | add')
if [ "$QUEUE_SIZE" -gt 1000 ]; then
    curl -s -X POST "$ALERT_WEBHOOK" \
        -H "Content-Type: application/json" \
        -d "{\"text\": \"Sidekiq 队列积压:$QUEUE_SIZE\"}"
fi

DISK_USAGE=$(df -h /var/opt/gitlab | awk 'NR==2 {print $5}' | tr -d '%')
if [ "$DISK_USAGE" -gt 85 ]; then
    curl -s -X POST "$ALERT_WEBHOOK" \
        -H "Content-Type: application/json" \
        -d "{\"text\": \"磁盘使用率:$DISK_USAGE%\"}"
fi

echo "健康检查通过"

二、监控体系架构

graph TB subgraph GitLab["GitLab 实例"] A[Puma] B[Sidekiq] C[PostgreSQL] D[Redis] E[Gitaly] F[NGINX] end subgraph Exporters["Prometheus Exporters"] G[Puma Exporter
9187] H[Sidekiq Exporter
9188] I[Postgres Exporter
9187] J[Redis Exporter
9121] K[Gitaly Exporter
9236] end subgraph Monitoring["监控栈"] L[Prometheus
指标收集] M[Grafana
可视化] N[Alertmanager
告警] end A --> G B --> H C --> I D --> J E --> K F --> L G & H & I & J & K --> L L --> M L --> N M --> O[管理员] N --> P[告警通知]

三、日志管理

3.1 日志位置

/var/log/gitlab/
├── gitlab-rails/       # Rails(production.log / production_json.log / api_json.log)
├── gitlab-shell/       # Git SSH
├── gitaly/             # Gitaly
├── nginx/              # NGINX
├── postgresql/         # PostgreSQL
├── redis/              # Redis
├── sidekiq/            # Sidekiq
├── puma/               # Puma
└── gitlab-workhorse/   # Workhorse

3.2 结构化日志查询


# 启用 JSON 日志
gitlab_rails['log_json_format'] = true

# 慢请求(> 1s)
jq 'select(.duration_s > 1.0)' /var/log/gitlab/gitlab-rails/production_json.log

# API 调用排行
jq -r '.route' /var/log/gitlab/gitlab-rails/api_json.log | sort | uniq -c | sort -rn | head -20

# 500 错误
jq 'select(.status == 500)' /var/log/gitlab/gitlab-rails/production_json.log

# 请求来源 TOP 20
jq -r '.remote_ip' /var/log/gitlab/nginx/gitlab_access.log | sort | uniq -c | sort -rn | head -20

3.3 日志轮转

nginx['logrotate_frequency'] = 'daily'
nginx['logrotate_size'] = '100M'
nginx['logrotate_keep'] = 30
gitlab_rails['logging_logrotate_frequency'] = 'daily'
gitlab_rails['logging_logrotate_size'] = '200M'
gitlab_rails['logging_logrotate_keep'] = 30

3.4 对接外部日志系统


# Filebeat 配置


# /etc/filebeat/filebeat.yml


filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/log/gitlab/gitlab-rails/production_json.log
    json.keys_under_root: true
    json.add_error_key: true

  - type: log
    enabled: true
    paths:
      - /var/log/gitlab/nginx/gitlab_access.log

output.elasticsearch:
  hosts: ["http://elasticsearch.internal:9200"]
  index: "gitlab-logs-%{+yyyy.MM.dd}"

四、性能调优

4.1 Puma

puma['worker_processes'] = 4             # CPU 核数 × 1.5
puma['min_threads'] = 4
puma['max_threads'] = 16
puma['per_worker_max_memory_mb'] = 1024  # 超限自动重启 Worker

4.2 Sidekiq

sidekiq['max_concurrency'] = 20
sidekiq['min_concurrency'] = 5
sidekiq['queue_groups'] = [
    'elastic_commit_indexer',            # 最高优先
    'pipeline_processing,project_export'
]

4.3 PostgreSQL

postgresql['shared_buffers'] = '1GB'         # 总内存 25%
postgresql['effective_cache_size'] = '3GB'   # 总内存 75%
postgresql['work_mem'] = '16MB'
postgresql['maintenance_work_mem'] = '128MB'
postgresql['max_connections'] = 200

慢查询分析:

-- 连接 PostgreSQL
sudo gitlab-psql

-- 慢查询 TOP 10
SELECT query, calls, mean_time
FROM pg_stat_statements
ORDER BY mean_time DESC LIMIT 10;

-- 未使用的索引
FROM pg_stat_user_indexes
WHERE idx_scan = 0
ORDER BY pg_relation_size(indexrelid) DESC;

五、运维巡检

5.1 每日

#!/bin/bash
echo "=== GitLab 每日巡检 ==="
echo "--- 服务状态 ---"
sudo gitlab-ctl status | grep -v 'run: ok'
echo "--- 磁盘 ---"
df -h /var/opt/gitlab
df -h /var/log/gitlab
echo "--- 最新备份 ---"
ls -lt /var/opt/gitlab/backups/*_gitlab_backup.tar 2>/dev/null | head -1
echo "--- 错误日志(1h)---"
sudo grep -c "ERROR\|FATAL" /var/log/gitlab/gitlab-rails/production.log
echo "--- 系统资源 ---"
top -bn1 | head -5
free -h

5.2 每周

  • 检查清理未使用的 Docker 镜像(Registry GC)
  • 审查用户权限变更
  • 检查 Pipeline 耗时趋势
  • 验证备份可恢复性

六、文章引用

📌 本文首发于微信公众号 【运维知识点滴】——专注运维实战干货,微信搜索“运维知识点滴”或扫下方二维码关注,更新不迷路。

微信公众号【运维知识点滴】 微信小程序【A5单据合并&大试卷拆分转A4打印】
运维实战干货 · 关注追更 Word 转 PDF · 试卷/发票打印神器 · 免费
运维实战干货 · 关注追更 Word 转 PDF · 试卷/发票打印神器 · 免费

💡 小程序【A5单据合并&大试卷拆分转A4打印】是干嘛的? 一个 Word 转 PDF 的打印神器,专治“文档版式和打印机对不上”:

  • A3 试卷打不出来? 学校发的电子版试卷多是 A3,家用打印机只吃 A4——上传 Word 一键转换:可缩到一页 A4(页数不变),也可对半拆成两张 A4(1:1 原大、字更清晰),两种模式自选;
  • 版式不乱:真实渲染引擎原样转换、绝不重排内容,转出的 PDF 和原 Word 排版一致,公式/表格/图片不跑版;
  • 两张 A5 单据拼一张 A4:出租车票、火车票等报销凭证拼版后,一次打印、整齐粘贴;
  • 隐私省心:无需注册,转换结果留存 5 天、最多下载 5 次即自动删除,不留任何历史记录;
  • 微信扫码即用,免费、免安装,支持 doc / docx(≤50MB)。

上一篇:17. 文档自动发布:GitLab Pages 代码改文档同步更新 | 下一篇:19. GitLab 企业级管理:权限/审计/合规从入门到精通