백엔드엔지니어에서 데이터엔지니어으로

아래는 표를 목록으로 변경한 수정본입니다:

👋🏼 안녕하세요, 반갑습니다!

안녕하세요! 현업에서 데이터 엔지니어로 일하고 있습니다.

AWS와 GCP 환경에서 데이터 파이프라인을 설계하고 운영하고 있으며, 데이터 플랫폼 전환, 실시간 스트리밍 파이프라인 구축, ML 인프라 자동화 등 다양한 프로젝트를 경험했습니다.

현업에서 AWS SageMaker, MSK, MWAA, Glue, Athena와 GCP BigQuery, 그리고 Snowflake, Databricks 등 다양한 데이터 플랫폼을 직접 활용하며 실무 경험을 쌓아왔습니다.

데이터 엔지니어링을 시작하면서 겪었던 시행착오와 고민들을 나누고, 여러분의 성장에 조금이나마 도움이 되고 싶어 멘토링을 시작하게 되었습니다.

🔎 멘토링 가능 분야

로컬 개발 환경 구축 & 실습

• Docker를 활용한 Airflow 로컬 환경 구축 및 DAG 작성 실습
• Docker 기반 Spark 클러스터 구성 및 데이터 처리 실습
• MySQL 컨테이너 환경 구축 및 파이프라인 연동 실습
• 로컬에서 End-to-End 데이터 파이프라인 구현해보기

실습 프로젝트 예시

• 검색 엔진 파이프라인: MySQL → Spark 데이터 가공 → Elasticsearch 인덱싱
• 클라우드 연동 파이프라인: S3 → Airflow 데이터 가공 → Google Drive 업로드
• 뉴스 수집 파이프라인: Google Drive 키워드 파일 → 네이버 뉴스 크롤링 → MySQL 저장 
• Spark 품질 모니터링: Deequ 품질 검증 → Grafana 대시보드 연동
• Airflow 품질 모니터링: Great Expectations 검증 → Grafana 대시보드 연동

🛠️ 실습을 통해 실무에서 자주 사용하는 기술 스택을 직접 경험하고, End-to-End 파이프라인 구축 역량을 키울 수 있습니다.

데이터 파이프라인 & ETL

• Airflow(MWAA) DAG 작성 및 운영 노하우
• Spark, EMR을 활용한 대용량 데이터 처리
• 실시간 파이프라인 설계 (Kafka/MSK, Spark Streaming)

클라우드 인프라

• AWS 데이터 서비스 (SageMaker, MSK, MWAA, Glue, Athena, EMR)
• GCP 데이터 서비스 (BigQuery, Looker)
• Snowflake 데이터 웨어하우스 구축 및 운영
• Databricks 레이크하우스 아키텍처 및 데이터 처리

데이터 품질 & 거버넌스

• 데이터 품질 검증 (Great Expectations, Deequ)
• 메타데이터 관리 (DataHub)
• DBT를 활용한 분석 워크플로우

커리어 상담

• 데이터 엔지니어 커리어 로드맵
• 이직 준비 및 포트폴리오 구성
• 현업에서의 실무 경험 공유

💡 시간이 한정적이므로 처음부터 끝까지 함께 구현하는 방식보다는, 막히는 부분이나 궁금한 점 위주로 질문을 받아 진행합니다.

🏃🏻‍♀️ 진행 방식

오프라인 1:1 대면 멘토링

• 카페 또는 스터디룸에서 직접 만나 진행합니다
• 장소는 협의 후 결정하며, 예약 확정 시 상세 위치를 안내드립니다
• 실습이 필요한 경우 노트북을 지참해주세요

원활한 진행을 위해

• 노트북 충전기를 꼭 챙겨주세요
• 실습 진행 시 사전에 Docker 설치 여부를 확인해주시면 좋습니다
• Github, Notion 계정 생성 및 전달해주세요

📚 멘토링 전 준비사항

필수 준비물

• 질문하고 싶은 내용을 미리 정리한 리스트
• 노트북 (실습 진행 시)

실습 진행 시

• MacBook 권장 (최소 RAM 8GB 이상, 16GB 권장)
• Docker Desktop 설치
• IntelliJ 또는 선호하는 에디터
• 터미널 사용 가능한 환경

💻 Windows 노트북도 가능하지만, 실습 환경 세팅 및 트러블슈팅이 MacBook 기준으로 진행되므로 MacBook을 권장드립니다.

기술 관련 질문 시

• 관련 코드나 에러 메시지 캡처
• 현재 아키텍처나 상황을 간략히 정리한 문서

커리어 상담 시

• 현재 상황과 고민 포인트 정리
• 이력서나 포트폴리오 (선택사항)

💬 이런 분들 환영합니다

• 데이터 엔지니어링을 시작하고 싶은데 어디서부터 해야 할지 모르겠는 분
• 로컬에서 직접 파이프라인을 구축해보며 실습하고 싶은 분
• 강의나 책으로 공부했는데 실무에서 어떻게 적용하는지 궁금한 분
• 파이프라인 설계나 클라우드 아키텍처에 대해 현업자의 의견이 필요한 분
• 데이터 엔지니어로의 커리어 전환을 고민하고 계신 분

1:1 대면 멘토링은 짧은 시간에도 많은 것을 얻어가실 수 있습니다. 편하게 질문하시고, 함께 고민 나눠보아요! 🚀