상세 내용
직무소개 기준만 만드는 문서상의 거버넌스를 넘어, 실제 데이터 흐름(Pipeline)에 거버넌스를 직접 밀착시켜 전사에 신뢰할 수 있는 데이터 생태계를 만듭니다. 거버넌스 정책 수립부터 멀티 클라우드(AWS-GCP) 연계, BigQuery/Databricks 기반의 레이크하우스(Lakehouse) 운영, Bronze~Silver 계층의 코어 파이프라인 구축을 전담합니다. 오랫동안 방치되었던 데이터 리니지(Lineage)를 처음부터 신규 구축하고, 메달리온 아키텍처(Medallion Architecture)로 전사 플랫폼을 전환하는 큰 이정표를 함께 이끌어갈 시니어 엔지니어를 모십니다. 1. 차세대 데이터 플랫폼(Databricks/BigQuery) 운영 및 메달리온 아키텍처 확산 • Databricks 및 BigQuery 기반 코어 레이크하우스 운영, 스토리지/컴퓨팅 리소스 최적화(FinOps) • 전사 표준 데이터 레이크 구조를 메달리온 아키텍처(Bronze-Silver-Gold)로 재정비하고 확장 적용 • 실시간 서빙 및 코어 파이프라인에 대한 개인정보 2중 분리(네트워크·권한) 및 보안 가드레일 구현 2. 통합 데이터 거버넌스 · 디스커버리 체계 및 리니지(Lineage) 구축 • 파편화된 메타데이터를 단일 데이터 카탈로그/거버넌스 플랫폼(OpenMetadata, Datahub, Unity Catalog 등)으로 통합 • 원천(Source)부터 최종 활용(DW/Mart)까지 전체 데이터 흐름을 추적할 수 있는 전사 데이터 리니지(Lineage) 신규 구축 • PII(개인정보) 자동 탐지·태깅, 자동 마스킹 및 접근제어 정책 엔진 구축을 통한 셀프서비스 디스커버리 체계 제공 3. 멀티 클라우드(AWS-GCP) 파이프라인 연동 및 실시간 처리 체계 강화 • 운영계(AWS) - 정보계(GCP) 간 크로스 클라우드 데이터 연계 구간 표준화 및 안정화 • 대용량 CDC(MSK/Kafka Connect) 및 실시간 처리(Flink) 파이프라인 확장 운영 • AI/LLM 조직 및 서비스 연계를 위한 실시간 데이터 파이프라인(RAG 연계, 온톨로지 포탈 등) 인프라 지원 4. 전사 유관 조직(SRE / DBRE / 정보보안 / AI) 커뮤니케이션 리딩 • SRE/DBRE 팀과 협력하여 파이프라인 및 데이터 인프라의 가용성, SLO/SLA 모니터링 체계 수립 • 정보보안센터 및 AI 조직과 협력하여 LLM 활용 시 민감정보 노출을 방지하는 보안 가드레일 체계 구축 요구경험 및 역량 데이터 파이프라인 구축 또는 데이터 거버넌스(카탈로그/리니지/품질) 실무 경력 5년 이상인 분 BigQuery 또는 Databricks (Spark / Lakehouse) 환경에서 대용량 데이터 파이프라인을 직접 설계하고 운영해 본 분 메타데이터 관리, 데이터 카탈로그, 리니지(Lineage) 등 거버넌스 시스템을 설계·구축해 본 경험이 있으신 분 AWS 및 GCP 등 멀티 클라우드 환경에서 데이터 연계(Cross-Cloud) 파이프라인을 운영해 본 역량을 갖추신 분 개인정보 암호화, 마스킹 등 보안 및 컴플라이언스를 고려한 데이터 아키텍처 설계 경험이 있으신 분 SRE, DBRE, 정보보안, AI 조직 등 다양한 유관 부서와 설계 초기 단계부터 논리적으로 소통할 수 있는 협업 역량을 갖추신 분 우대사항 레거시 메타데이터 체계를 전사 통합 카탈로그/거버넌스 플랫폼으로 전환 및 구축해 본 경험 (특히 리니지 신규 구축 경험) Databricks Unity Catalog 또는 메달리온 아키텍처 설계/이관 경험 CDC 파이프라인(Debezium, MSK Connect 등) 및 실시간 처리 프레임워크(Flink, Kafka Streams) 활용 경험 BigQuery Slot 관리 및 Databricks DBU 비용 최적화(FinOps) 성과를 내보신 분 LLM/생성형 AI 연계 데이터 플랫폼에 필요한 보안 가드레일(민감정보 탐지·마스킹 등) 설계 경험 Terraform 등 IaC 기반의 데이터 인프라 코드화 및 자동화 경험 전형안내 서류전형 - 1차 면접 전형(Whiteboard Test/구술) - 온라인 인성검사 - 2차 면접 전형 - 3차 전형(평판조회 및 처우협의) - 건강검진 - 합격 지원 및 유의사항 병역필 또는 면제로 해외여행에 결격사유가 없는 분에 한하여 지원 가능합니다. 채용에 합격하시는 경우 3개월의 수습기간을 적용합니다. 직무에 따라 면접 방식 및 전형 프로세스가 변경될 수 있습니다. 지원서 내용 중 허위사실이 확인될 경우 채용이 취소될 수 있습니다. CJ계열사(자회사 포함)에 재직 중인 경우 지원이 제한됩니다. 전형 불합격 후 6개월 내 동일 공고 재지원은 권장하지 않습니다. 2차 면접 합격자에 한하여 평판조회 및 처우협의가 동시 진행되며, 평판조회 결과에 따라 채용 절차가 중단될 수 있습니다. 올리브영 채용 블로그에서 더 많은 정보를 확인해 보세요! 👉채용블로그 바로가기: https://career.oliveyoung.com 👉테크블로그 바로가기: https://oliveyoung.tech