[TIL] 원티드 프리온보딩 백엔드 인턴십 Week2) 12일차, 0831

✔️ 오늘 한 일

• 2차 온라인 보강 참여
• 데이터 파이프라인 예외처리 보완
• 자동화 시스템으로 저장된 맛집 데이터 정보 출력 시 로깅 추가

👀 오늘의 이슈

💥 적용한 데이터 파이프라인 예외처리

데이터 파이프라인 구축이 처음이라 쉽지 않았는데,
고려해야 할 부분도 너무 많아서 거의 이틀을 이 작업에만 매진했다.
힘든 과정을 거쳐 서버를 실행하자마자 대량의 데이터가 업로드되는 것을 보니 너무 신기하고 재미있었다.
아직 부족한 점이 많지만, 내 손으로 직접 자동화 시스템을 구축했다는 사실이 뜻깊고 보람차다.

1) 원본 수집 과정

1. HTTP 요청 및 JSON 파싱 관련 예외처리
2. 초기 데이터 구축 / 원본 데이터가 이미 존재하는 경우 구분
3. 최종수정일자가 다른 경우에만 원본 테이블 업데이트
4. 신규 데이터인 경우에만 원본 테이블 저장

2) 전처리 및 가공 데이터 저장 과정

1. 가공 테이블 업데이트 시, 업데이트된 맛집 원본 데이터가 없을 경우 리턴
2. 원본 데이터에 위도, 경도가 없을 경우 도로명주소를 이용해 가공 테이블에 위도, 경도 저장
3. 도로명주소가 없을 경우 지번 주소를 이용해 가공 테이블에 위도, 경도 저장
4. 가공 테이블에 기존 데이터가 있는 경우, 원본-가공 최종수정일자를 비교하여 다른 경우에만 업데이트
5. 신규 데이터는 가공 테이블에 신규 저장
6. 원본 테이블의 상세영업상태코드가 02(폐업)인 데이터는 가공 테이블에서 삭제여부를 true로 저장
7. 중복된 데이터 예외처리

💡 Today I Learned

- 로깅을 적극 활용하자.

• 자동화 시스템 구축을 완료한 후, 로깅을 추가해달라는 팀원분의 요청이 들어왔다.
  DB에 데이터가 업로드되는 것만을 기다리며 긴 시간 콘솔창만 바라보게 된다는 이유였다.
  나는 구현에만 매진하느라 미처 생각지 못한 부분이었는데, 제안해주신 덕분에 조금 더 넓은 시야를 가질 수 있게 되었다.
  > 팀원분들에게 많이 배운다. 감사합니다 ! 👏🏻

 

---

< 해당 글은 velog에서 이전하며 옮겨온 글로, 가독성이 좋지 않을 수 있는 점 양해 부탁드립니다. >

🔗 velog 버전 보기 : https://velog.io/@ryuneng2/TIL-원티드-프리온보딩-백엔드-인턴십-Week2-12일차-0831