프로세스 오픈 파일 모니터링

Slack 알람으로 서비스의 프로세스 오픈 파일이 전체 대비 30%를 초과했다는 경고를 받았다. 이 문제를 모니터링하기 위해 사용하는 PromQL은 (process_files_open_files / process_files_max_files) * 100이다. 프로세스 오픈 파일 수는 작업 중 열리는 파일의 수로, 지나치게 많이 열거나 닫지 않으면 최대치에 도달해 서비스가 중단될 수 있다. 설정한 process_files_max_files의 값은 65000개였으나, 실제 값은 기본값인 4096으로 출력되어 서버 설정이 제대로 적용되지 않은 것으로 판단했다. ulimit -a를 통해 확인한 결과, open files 및 max user processes는 각각 65536으로 예상대로 설정되어 있었다. 그러나 서비스 실행 파일의 설정을 변경해야 한다는 사실을 발견하고, /etc/systemd/system.conf 파일에서 DefaultLimitNOFILE=65536를 추가했다. 설정 변경 후 systemctl daemon-reexec와 systemctl restart xxx.service를 실행하여 정상적으로 수정되었고, 이후 프로세스 오픈 파일 수치가 안정화되었다. 결론적으로, 프로세스의 open files 수치가 최대치를 초과하면 서비스 중단으로 이어질 수 있으므로 조기 발견이 중요하다.