목록 보기
DataHub Opensource에 Protobuf Multi-level nested message support 기능 PR 작성 후기
백엔드

DataHub Opensource에 Protobuf Multi-level nested message support 기능 PR 작성 후기

네이버 플레이스
네이버 플레이스
2023년 2월 10일

두줄요약

DataHub의 Protobuf nested message 주석 미표시 문제를 원인 분석 후 코드와 테스트로 수정했습니다. 오픈소스 기여 과정에서 Slack 커뮤니케이션과 Checkstyle 대응도 함께 경험했습니다.

문제 상황

  • DataHub에서 Protobuf 1뎁스 메시지의 주석은 description으로 표시되지만, nested message의 field 주석은 누락되는 문제
  • 조직 내 데이터 명세에서 nested 타입 Protobuf를 이미 사용 중이라 단순 회피가 어려운 상황

원인 분석

  • Protobuf 위치 정보(path) 처리 로직이 일반 field 번호만 기준으로 동작
  • nested type message에 해당하는 path 값이 들어오면 대상 field를 식별하지 못하는 구조

해결 방법

  • DataHub protobuf ingestion 로직에서 nested type path를 함께 처리하도록 코드 수정
  • nested message field의 description 검증용 테스트 케이스 추가

주의할 점

  • PR 전 Checkstyle과 테스트 케이스를 함께 맞춰야 하는 점
  • 실제 데이터와 테스트 데이터의 차이로 추가 오류가 발생할 수 있는 점

댓글 0

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...