📝 공공 데이터 가공 및 저장

• 사용 언어

  1. 파이썬
  2. 자바 & 스프링

  ⇒ 유지 보수성 측면에서 2번을 선택

• 저장 방식

  1. CSV 파일로 저장
     1. 엑셀에서 폐업 가게는 필터링 후, DB에 저장
     2. 저장 후, Sql로 업데이트 (벌크 연산)
  2. api 호출로 저장 후, 업데이트

• 가공 방식

  • 과정
    1. api 호출을 통해 위도와 경도, 카테고리, 전화번호 설정
    2. 해당 가게 url을 통해 평점 및 전화번호? 등을 크롤링
  • 방법1
    • kakao api로 지번주소로 검색
    • 검색된 상점 중 원하는 상점 이름 필터링
  • 방법2
    • kakao api로 주소로 ⇒ 위도, 경도
    • 위도와 경도(반경 50m로 범위 설정) + 상호명 ⇒ 상점 정보
  • 방법3
    • 지번 주소 (반경 50m로 범위 설정) + 상호명 ⇒ 지번 주소로 필터링 시, 반경 설정 및 상호명 추가 불가능

• 가공 및 저장이 전체적으로 느린 상태인데 다른 방법들을 시도하며 성능을 개선해나갈 예정

• 공공api 호출 ⇒ 폐업 필터링 ⇒ saveAll()

📝 카테고리

• Enum 타입
• 각 데이터를 순회?하면서 카테고리를 파싱해서 저장 후, 수작업으로 가공

📝 상속관계 매핑 전략 선택

• 조인 전략
  • 하위 객체를 persist하면 상위 객체에도 저장 (Insert 2번) ex) 부모인 Item과 자식인 Book이 있을 때, Book의 객체를 저장하면 Item에도 저장
  • 부모의 PK가 자식의 PK이자 FK임
  • 조회시에는 조인해서 가졍
• 싱글 테이블
• 일단 학습하기
• 데이터가 들어있는 상태에서 전략 변경이 가능한지 확인
• 각각 성능테스트 후, 선택
• 결론 : 컬럼이 모두 동일하기 때문에 굳이 상속관계 매핑 전략을 사용할 필요가 없을 것으로 판단하여 단일 테이블을 사용