[이사] 데이터 수집 및 정제

집을 이사하기 위해 만든 대시보드 이야기

곧 태어날 아기를 위해 더 넓은 평수의 집으로 이사할 필요가 생겼다. 이를 위해 네이버 부동산, 직방 등 여러 플랫폼을 이용해 집을 알아보았다. 하지만 하나씩 매물을 확인하다 보면 전에 봤던 집이 기억나지 않거나 비교가 어려웠다. 이 불편함을 해결하기 위해 이사하고 싶은 동네 내 아파트 단지를 몇 개 선정하고, 이 매물들을 한눈에 비교할 수 있는 대시보드를 직접 만들어 보기로 했다.

 

데이터 수집 플랫폼 선정

데이터는 네이버 부동산(https://m.land.naver.com/)에서 수집하기로 했다. 네이버 부동산을 선택한 이유는 직방, 다방 등 다른 플랫폼보다 물건이 더 많이 올라와 있고, 인터넷에서 접근하기도 쉽기 때문이다.

네이버부동산(모바일버젼)

 

데이터 수집 과정

데이터 수집량이 많지 않으므로 엑셀을 이용해 크롤링을 진행했다. 엑셀을 활용한 데이터 수집 및 정제 방법은 별도의 링크에서 자세히 다룰 예정이다. 이번 프로젝트에서는 총 9개 아파트 단지의 데이터를 수집했으며, 총 547개의 매물을 확보했다.

번호	지하철역	아파트 단지 명	매물수(개)
1	삼송역	e편한세상시티 3차	107
2	원당역	롯데캐슬스카이엘	54
3	원당역	레미안휴레스트	78
4	원당역	e편한세상	98
5	화정역	은빛6단지프라웰	69
6	화정역	별빛7단지청구	56
7	화정역	별빛8단지부영	67
8	화정역	별빛10단지건영	4
9	화정역	동도센트리움	14

 

수집한 데이터는 정제를 거쳐 다음과 같은 필드로 구성했다(데이터수집, 정제 방법은 아래 링크 확인). 

번호	필드명	번호	필드명
1	번호	9	실면적
2	링크	10	등록일
3	매물별칭	11	거래금액
4	매물코드	12	방향
5	매물이름	13	매물내
6	동	14	중개인
7	거래타입	15	중개회사
8	공급면적

 

 

 

엑셀(Excel) 파워쿼리(PowerQuery)를 활용한 네이버 부동산 데이터 수집