문제 상황

블로그 운영중 간헐적으로 이런 현상이 발생했다.

front 도메인만 504 Gateway Time-out 발생
관리자 사이트, api는 정상 동작
docker compose restart front 하면 즉시 복구

즉, front 컨테이너가 일시적으로 응답을 못 하는 상태였다.

예상 원인

혼자 개발할땐 문제가 없었지만 블로그가 완성되어 후 링크를 공개된 후 부터 발생한것으로 보아 트래픽 관련 문제로 보였다.

1GB RAM + 2GB Swap 의 저사양 서버
대량의 SSR 페이지(빌드 시간을 줄이기 위해 `export const dynamic = ‘force-dynamic’ 을 추가해줬었다.)
Nginx을 거치는 구조

가 겹쳐서 그렇지 않을까..

해결 전략

Front 도메인이 504(또는 5xx/타임아웃)이면 자동으로 Docker 컨테이너를 재시작하는 헬스 체크 및 자동복구 스케줄을 추가하기로했다.

이를 위해 systemed timer 와 bash 스크립트를 사용했다.

헬스체크 스크립트

/usr/local/bin/check-front.sh

#!/bin/bash

URL="https://juniverse-dev.com"
CONTAINER="portfolio-front"

code=$(curl -s -o /dev/null -w"%{http_code}" --max-time 5"$URL" || echo"000")

if ["$code"-lt200 ] || ["$code"-ge400 ];then
  logger-t front-watchdog"Front unhealthy (HTTP$code). Restarting$CONTAINER"
  dockerrestart"$CONTAINER" >/dev/null2>&1
fi

bash 문법

#!/bin/bash : 스크립트를 bash로 실행하라는 의미(/bin/sh는 일부 옵션을 지원하지 않기 때문에 bash 명시가 안전)
curl-s-o /dev/null-w"%{http_code}" :curl로 HTTP 코드만 추출
- s : silent (출력 숨김)
- o /dev/null : 응답 body 버림
- w "%{http_code}" : HTTP 상태 코드만 출력
- -max-time 5 : 5초 안에 응답 없으면 실패
if ["$code"-lt200 ] || ["$code"-ge400 ];then
- 200~399 → 정상
- 400 이상 → 문제
- 000 → curl 실패 (네트워크/타임아웃)
logger-t front-watchdog"..." :system log에 기록(journalctl로 확인 가능)

systemd 서비스 등록

/etc/systemd/system/front-watchdog.service

[Unit]
Description=Front watchdog (restart front container on 5xx/timeout)

[Service]
Type=oneshot
ExecStart=/bin/bash /usr/local/bin/check-front.sh

systemd Timer 서비스 등록

[Unit]
Description=Run front watchdog every 30 seconds

[Timer]
OnBootSec=30
OnUnitActiveSec=30
Unit=front-watchdog.service
AccuracySec=5s

[Install]
WantedBy=timers.target

Timer 활성화

sudo systemctl daemon-reload
sudo systemctl enable --now front-watchdog.timer

로그 확인

journalctl -t front-watchdog

이제 Fornt에서 504가 발생하면 30초 내 자동으로 감지하여 서비스를 자동으로 복구할 것이다.

systemd 에 대해 공부를 더 하면 서비스 운영 시 유용하게 사용할 수 있을 것 같다.

504 Gateway Time-out 자동 복구 구성기

헬스 체크 및 자동복구 프로세스 구축하기

504 Gateway Time-out 자동 복구 구성기

헬스 체크 및 자동복구 프로세스 구축하기