18. GitLab 日常维护:监控指标、日志分析、性能优化
「GitLab」系列已发布: 00. GitLab 不只是代码托管:一套 DevOps 平台的 6 大核心能力 | 01. GitLab 怎么装最省心?Omnibus/Docker/K8s 三种姿势 | 02. 装完 GitLab 先配啥?管理员视角的初始化设置清单 | 03. GitLab 角色搞不清?Member/Maintainer/Owner 权限全解 | 04. 从零建好第一个 GitLab 项目:权限、变量、CI 配置入门 | 05. GitLab MR 代码审查:Code Review 最佳实践 | 06. CI/CD 到底是什么?GitLab 流水线架构从概念到实战 | 07. Runner 装不好?GitLab Runner 单机/分布式/高可用全攻略 | 08. .gitlab-ci.yml 怎么写?从 Hello World 到生产配置 | 09. 从 0 到 1:Go + React 项目的 GitLab CI/CD 实战部署 | 10. 构建太慢?GitLab 缓存与工件管理:加速构建省时间 | 11. 测试/预发/生产怎么管?GitLab 多环境部署与金丝雀发布 | 12. 安全左移:GitLab SAST/DAST 自动化扫描,漏洞提前拦截 | 13. 镜像仓库不用 Harbor?GitLab Container Registry 一站式管理 | 14. 私有包怎么存?GitLab Package Registry:Maven/PyPI/NPM 全覆盖 | 15. GitLab 挂了怎么办?高可用架构 + 备份恢复业务不中断 | 16. 自动化触发:GitLab Webhooks + API 打通你的工具链 | 17. 文档自动发布:GitLab Pages 代码改文档同步更新 | 18. GitLab 日常维护:监控指标、日志分析、性能优化(本文) | 19. GitLab 企业级管理:权限/审计/合规从入门到精通
GitLab 跑久了也会臃肿卡顿。关键监控指标、日志排查思路、性能优化手段——一份生产级运维指南,让平台长期健康。
前置条件
已完成 GitLab 安装部署(第 01 篇)和高可用配置(第 15 篇)。面向自托管 GitLab 实例运维人员。
一、内置监控
1.1 Grafana
Omnibus 内置 Grafana,管理员账户直接登录:https://gitlab.example.com/-/grafana。
内置仪表盘:GitLab Omnibus Dashboard、NGINX 指标、PostgreSQL 性能、Redis 状态、Puma 工作进程。
1.1.1 启用 Prometheus 导出器
# /etc/gitlab/gitlab.rb
prometheus_monitoring['enable'] = true
grafana['enable'] = true
grafana['admin_password'] = 'secure-password'
node_exporter['enable'] = true
redis_exporter['enable'] = true
postgres_exporter['enable'] = true
gitlab_exporter['enable'] = true
puma_exporter['enable'] = true
sidekiq_exporter['enable'] = true
gitaly['prometheus_listen_addr'] = "0.0.0.0:9236"
registry['debug_addr'] = "0.0.0.0:5001"
1.1.2 关键指标
| 指标 | 说明 | 健康范围 |
|---|---|---|
gitlab_sql_duration_seconds |
数据库查询耗时 | < 100ms |
gitlab_transaction_queue_duration_seconds |
事务排队时间 | < 1s |
gitlab_ruby_gc_duration_seconds |
Ruby GC 耗时 | 越低越好 |
sidekiq_jobs_* |
Sidekiq 作业 | 队列深度 < 100 |
puma_active_connections |
Puma 活跃连接 | 视规模 |
gitaly_requests_duration_seconds |
Gitaly 请求 | < 200ms |
1.2 健康检查
健康检查是运维的"报警器"——它不解决问题,但能在用户投诉之前告诉你哪里要出事。GitLab 自带几个 HTTP 端点,直接挂在实例上,K8s 的 liveness/readiness 探针、负载均衡器的探活、甚至你手敲 curl 都能用。下面按"先保活、再查病"的顺序过一遍。
1.2.1 内置端点
# 存活检查
curl -s -o /dev/null -w "%{http_code}" https://gitlab.example.com/-/health
# 完整检查(含 DB/Redis/Gitaly)
curl -s https://gitlab.example.com/-/readiness | jq .
# {"db_check":{"status":"ok"},"redis_check":{"status":"ok"},...}
# K8s 探针
curl -s -o /dev/null -w "%{http_code}" https://gitlab.example.com/-/liveness> # liveness
curl -s -o /dev/null -w "%{http_code}" https://gitlab.example.com/-/readiness> # readiness
1.2.2 综合检查脚本
#!/bin/bash
# /usr/local/bin/gitlab-health-check.sh
GITLAB_URL="https://gitlab.example.com"
TOKEN="$GITLAB_ADMIN_TOKEN"
ALERT_WEBHOOK="https://hooks.slack.com/xxx"
HTTP_CODE=$(curl -s -o /dev/null -w "%{http_code}" "$GITLAB_URL/-/health")
if [ "$HTTP_CODE" != "200" ]; then
echo "GitLab 返回 $HTTP_CODE"
exit 1
fi
QUEUE_SIZE=$(curl -s --header "PRIVATE-TOKEN: $TOKEN" \
"$GITLAB_URL/api/v4/sidekiq/queue_metrics" | \
jq '.queues | to_entries | map(.value.backlog) | add')
if [ "$QUEUE_SIZE" -gt 1000 ]; then
curl -s -X POST "$ALERT_WEBHOOK" \
-H "Content-Type: application/json" \
-d "{\"text\": \"Sidekiq 队列积压:$QUEUE_SIZE\"}"
fi
DISK_USAGE=$(df -h /var/opt/gitlab | awk 'NR==2 {print $5}' | tr -d '%')
if [ "$DISK_USAGE" -gt 85 ]; then
curl -s -X POST "$ALERT_WEBHOOK" \
-H "Content-Type: application/json" \
-d "{\"text\": \"磁盘使用率:$DISK_USAGE%\"}"
fi
echo "健康检查通过"
二、监控体系架构
graph TB subgraph GitLab["GitLab 实例"] A[Puma] B[Sidekiq] C[PostgreSQL] D[Redis] E[Gitaly] F[NGINX] end subgraph Exporters["Prometheus Exporters"] G[Puma Exporter
9187] H[Sidekiq Exporter
9188] I[Postgres Exporter
9187] J[Redis Exporter
9121] K[Gitaly Exporter
9236] end subgraph Monitoring["监控栈"] L[Prometheus
指标收集] M[Grafana
可视化] N[Alertmanager
告警] end A --> G B --> H C --> I D --> J E --> K F --> L G & H & I & J & K --> L L --> M L --> N M --> O[管理员] N --> P[告警通知]
三、日志管理
3.1 日志位置
/var/log/gitlab/
├── gitlab-rails/ # Rails(production.log / production_json.log / api_json.log)
├── gitlab-shell/ # Git SSH
├── gitaly/ # Gitaly
├── nginx/ # NGINX
├── postgresql/ # PostgreSQL
├── redis/ # Redis
├── sidekiq/ # Sidekiq
├── puma/ # Puma
└── gitlab-workhorse/ # Workhorse
3.2 结构化日志查询
# 启用 JSON 日志
gitlab_rails['log_json_format'] = true
# 慢请求(> 1s)
jq 'select(.duration_s > 1.0)' /var/log/gitlab/gitlab-rails/production_json.log
# API 调用排行
jq -r '.route' /var/log/gitlab/gitlab-rails/api_json.log | sort | uniq -c | sort -rn | head -20
# 500 错误
jq 'select(.status == 500)' /var/log/gitlab/gitlab-rails/production_json.log
# 请求来源 TOP 20
jq -r '.remote_ip' /var/log/gitlab/nginx/gitlab_access.log | sort | uniq -c | sort -rn | head -20
3.3 日志轮转
nginx['logrotate_frequency'] = 'daily'
nginx['logrotate_size'] = '100M'
nginx['logrotate_keep'] = 30
gitlab_rails['logging_logrotate_frequency'] = 'daily'
gitlab_rails['logging_logrotate_size'] = '200M'
gitlab_rails['logging_logrotate_keep'] = 30
3.4 对接外部日志系统
# Filebeat 配置
# /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/gitlab/gitlab-rails/production_json.log
json.keys_under_root: true
json.add_error_key: true
- type: log
enabled: true
paths:
- /var/log/gitlab/nginx/gitlab_access.log
output.elasticsearch:
hosts: ["http://elasticsearch.internal:9200"]
index: "gitlab-logs-%{+yyyy.MM.dd}"
四、性能调优
4.1 Puma
puma['worker_processes'] = 4 # CPU 核数 × 1.5
puma['min_threads'] = 4
puma['max_threads'] = 16
puma['per_worker_max_memory_mb'] = 1024 # 超限自动重启 Worker
4.2 Sidekiq
sidekiq['max_concurrency'] = 20
sidekiq['min_concurrency'] = 5
sidekiq['queue_groups'] = [
'elastic_commit_indexer', # 最高优先
'pipeline_processing,project_export'
]
4.3 PostgreSQL
postgresql['shared_buffers'] = '1GB' # 总内存 25%
postgresql['effective_cache_size'] = '3GB' # 总内存 75%
postgresql['work_mem'] = '16MB'
postgresql['maintenance_work_mem'] = '128MB'
postgresql['max_connections'] = 200
慢查询分析:
-- 连接 PostgreSQL
sudo gitlab-psql
-- 慢查询 TOP 10
SELECT query, calls, mean_time
FROM pg_stat_statements
ORDER BY mean_time DESC LIMIT 10;
-- 未使用的索引
FROM pg_stat_user_indexes
WHERE idx_scan = 0
ORDER BY pg_relation_size(indexrelid) DESC;
五、运维巡检
5.1 每日
#!/bin/bash
echo "=== GitLab 每日巡检 ==="
echo "--- 服务状态 ---"
sudo gitlab-ctl status | grep -v 'run: ok'
echo "--- 磁盘 ---"
df -h /var/opt/gitlab
df -h /var/log/gitlab
echo "--- 最新备份 ---"
ls -lt /var/opt/gitlab/backups/*_gitlab_backup.tar 2>/dev/null | head -1
echo "--- 错误日志(1h)---"
sudo grep -c "ERROR\|FATAL" /var/log/gitlab/gitlab-rails/production.log
echo "--- 系统资源 ---"
top -bn1 | head -5
free -h
5.2 每周
- 检查清理未使用的 Docker 镜像(Registry GC)
- 审查用户权限变更
- 检查 Pipeline 耗时趋势
- 验证备份可恢复性
六、文章引用
📌 本文首发于微信公众号 【运维知识点滴】——专注运维实战干货,微信搜索“运维知识点滴”或扫下方二维码关注,更新不迷路。
| 微信公众号【运维知识点滴】 | 微信小程序【A5单据合并&大试卷拆分转A4打印】 |
|---|---|
![]() |
![]() |
| 运维实战干货 · 关注追更 | Word 转 PDF · 试卷/发票打印神器 · 免费 |
💡 小程序【A5单据合并&大试卷拆分转A4打印】是干嘛的? 一个 Word 转 PDF 的打印神器,专治“文档版式和打印机对不上”:
- A3 试卷打不出来? 学校发的电子版试卷多是 A3,家用打印机只吃 A4——上传 Word 一键转换:可缩到一页 A4(页数不变),也可对半拆成两张 A4(1:1 原大、字更清晰),两种模式自选;
- 版式不乱:真实渲染引擎原样转换、绝不重排内容,转出的 PDF 和原 Word 排版一致,公式/表格/图片不跑版;
- 两张 A5 单据拼一张 A4:出租车票、火车票等报销凭证拼版后,一次打印、整齐粘贴;
- 隐私省心:无需注册,转换结果留存 5 天、最多下载 5 次即自动删除,不留任何历史记录;
- 微信扫码即用,免费、免安装,支持 doc / docx(≤50MB)。
上一篇:17. 文档自动发布:GitLab Pages 代码改文档同步更新 | 下一篇:19. GitLab 企业级管理:权限/审计/合规从入门到精通

