반응형 TIL/2024 원티드 프리온보딩 백엔드 인턴십25 [TIL] 원티드 프리온보딩 백엔드 인턴십 Week2) 13일차, 0901 ✔️ 오늘 한 일기능 정상작동 확인README 작성👀 오늘의 이슈📝 README를 작성해보자이번 README는 1주차 때보다 하루 일찍 작성했다.1주차에는 시간이 부족해 과제 마감일에 팀원들과 밤을 새워 겨우 작성했지만, 이번에는 조금 더 여유를 가지고 작업하기 위해 과제를 시작할 때부터 규칙을 추가하고, 구체적인 목표를 세워 지키려고 노력했다.이번 과제의 README 작성 목표일은 오늘이었고, 목표를 달성했다 ! 속이 시원하다.🚩 추가한 규칙1. 아침 회의 - 30분 / 저녁 회의 - 1시간아침 회의는 기본 30분 이내로 종료, 최대 1시간 이내 엄수한가지 주제로 고민하는 시간은 최소 15분 이상 넘기지 않기 ex) 투표로 빠르게 결정2. 노션에 각자 Daily TODO 매일 작성오전 9시 회의 .. 2025. 1. 22. [TIL] 원티드 프리온보딩 백엔드 인턴십 Week2) 12일차, 0831 ✔️ 오늘 한 일2차 온라인 보강 참여데이터 파이프라인 예외처리 보완자동화 시스템으로 저장된 맛집 데이터 정보 출력 시 로깅 추가👀 오늘의 이슈💥 적용한 데이터 파이프라인 예외처리데이터 파이프라인 구축이 처음이라 쉽지 않았는데,고려해야 할 부분도 너무 많아서 거의 이틀을 이 작업에만 매진했다.힘든 과정을 거쳐 서버를 실행하자마자 대량의 데이터가 업로드되는 것을 보니 너무 신기하고 재미있었다.아직 부족한 점이 많지만, 내 손으로 직접 자동화 시스템을 구축했다는 사실이 뜻깊고 보람차다.1) 원본 수집 과정HTTP 요청 및 JSON 파싱 관련 예외처리초기 데이터 구축 / 원본 데이터가 이미 존재하는 경우 구분최종수정일자가 다른 경우에만 원본 테이블 업데이트신규 데이터인 경우에만 원본 테이블 저장2) 전처리.. 2025. 1. 22. [TIL] 원티드 프리온보딩 백엔드 인턴십 Week2) 11일차, 0830 첫 커리어코칭이 온라인으로 진행되었다. 재미있고 유익한 시간이었다.프로젝트를 진행하면서 어딘가에 쫓기듯이 옆도 보지 않고 달리기만 했는데, 오랜만에 리프레쉬가 된 느낌이다.✔️ 오늘 한 일1차 온라인 커리어코칭 참여Task Scheduler를 설정하여 서울시 맛집 데이터 전처리 및 저장 작업 자동화데이터 파이프라인 예외처리👀 오늘의 이슈🔥 데이터 수집-전처리-저장 예외처리 / 자동화 예외처리 구분배경2차 과제에서 데이터 파이프라인의 수집-전처리-저장을 담당하게 되었다.자동화는 다른 팀원분이 담당하고 있는데, 내가 담당한 부분과 자동화 부분의 예외처리를 어떻게 구분할지 판단하기 어려워, 먼저 아래와 같이 분석해본 후 팀원 분들께 도움을 요청했다.분석> pseudocode(슈도코드) 작성을 통해 예상해보.. 2025. 1. 22. [TIL] 원티드 프리온보딩 백엔드 인턴십 Week2) 10일차, 0829 ✔️ 오늘 한 일4차 오프라인 세션 참여Docker - MySQL 연동데이터 파이프라인 관련 더미데이터 생성원본 서울시 맛집 데이터 전처리 구현가공된 서울시 맛집 데이터 저장 구현👀 오늘의 이슈1. 주소(csv 파일) 테이블과 맛집 가공 테이블의 연관관계배경ERD 1차 설계 시, 주소 테이블이 맛집 가공 테이블과 1:n 관계를 맺고 있었다.그런데 오늘, 팀 회의에서 공공 API에 있는 도로명주소로 현재 ERD의 주소를 매핑시키기에는 무리가 있다는 의견이 나와 주소 관련 요구사항을 다시 한번 분석해 보았다.분석주소 csv 테이블 : 주소로 검색 시 원하는 값을 선택하기 위해 존재하는 대한민국의 모든 주소 리스트로, (시군구까지만) 아래 맛집들과는 전혀 관련이 없는 테이블이다.원본 맛집 테이블 - 공공데.. 2025. 1. 22. [TIL] 원티드 프리온보딩 백엔드 인턴십 Week2) 9일차, 0828 ✔️ 오늘 한 일디렉토리 구조 설정 및 프로젝트 생성GitHub Label, PR 템플릿 생성Jira - GitHub 연동 및 이슈 템플릿 생성yml 설정 (DB 등)서울시 공공데이터를 이용한 맛집 데이터 수집 기능 구현👀 오늘의 이슈- 위도, 경도의 데이터 타입 (Double vs Decimal)배경 : 위도와 경도의 데이터 타입을 Double, Decimal 타입 중 어떤 타입으로 사용할지 고민함분석Double 타입용도: 일반적인 부동소수점 계산에 사용범위: 매우 넓은 범위를 다룰 수 있지만, 소수점 이하 자리수가 15-17자리 정도로 제한정확도: 부동소수점 연산이므로, 소수점 이하의 아주 작은 값에서는 정확도가 떨어질 수 있음성능: 계산이 빠르고 메모리 사용량이 적음. 대부분의 GPS 데이터, 지.. 2025. 1. 22. [TIL] 원티드 프리온보딩 백엔드 인턴십 Week2) 8일차, 0827 ✔️ 오늘 한 일3차 오프라인 세션 참여2주차 과제 요구사항 분석역할분담공공데이터 음식점 API 필드 분석ERD 1차 설계프로젝트명 결정👀 오늘의 이슈- 공공데이터 경기도 음식점 필드를 분석해보자배경 : 경기데이터드림의 음식점 Open API는 음식 종류별로 데이터를 제공하여 우리 팀은 일식, 카페, 패스트푸드 데이터를 수집하기로 했다. 그런데, 종류별로 제공되는 필드가 조금씩 달라서 공통된 필드 중 필요한 필드만 골라내야 했다.분석 : 아래처럼 각 종류별로 사용할 필드/제외할 필드를 분석해 공통되는 필드를 작성했다.결론 : 사용을 고려했지만 특정 종류에만 있는 필드는 제외하고, 공통된 필드만 추려내 총 14개의 필드를 사용하기로 했다.* 위처럼 결정되고 나서 활용할 공공데이터가 경기도에서 서울로 바뀐.. 2025. 1. 22. 이전 1 2 3 4 5 다음