서비스 프로세스 열기 파일 모니터링 문제

서비스의 process open files가 전체 대비 30%를 초과하는 경고가 Slack을 통해 수신되었다. 이때 사용된 PromQL은 (process_files_open_files / process_files_max_files) * 100이었다. 설정한 process_files_max_files가 65000개로 되어 있지만, 실제 출력된 값은 기본값인 4096이었다. 서버에서 ulimit -a로 확인한 결과 open files와 max user processes가 65536으로 설정되어 있었으나, 서비스 실행 시에는 별도의 설정이 필요하다는 점이 발견되었다.

설정 변경 과정

• systemd 설정 파일 수정: /etc/systemd/system.conf에서 DefaultLimitNOFILE 값을 65536으로 변경
• systemctl daemon-reexec 명령으로 설정 적용
• 서비스 재시작: systemctl restart xxx.service

이 과정을 통해 process_files_max_files의 값이 4096에서 65536으로 변경되었고, 서비스가 안정화되었다. 결론적으로, 프로세스마다 열린 파일 수가 최대치를 초과할 경우 서비스 중지가 발생할 수 있으므로, 조기 발견의 중요성을 강조하였다.