오늘 파이썬 코드는 기존의 비교 사이트 제작이 아닌 부동산 정보를 수집하는 코드 되겠습니다.
지금까지는 국토교통부 실거래가 공개시스템(https://rt.molit.go.kr/pt/xls/xls.do)을 통해서 한땀 한땀 엑셀을 다운받아서 SQLite에 업데이트하는 방법으로 부동산 정보를 수집하고 있었습니다.
 |
| -국토교통부 실거래가 공개시스템- |
처음에는 이 사이트를 분석해서 일괄적으로 특정 년도의 매매 정보를 다운로드(크롤링) 받을까 하다가 당연히 API로 정보를 제공하고 있지 않을까 해서 검색을 해보니 공공데이터포털(https://www.data.go.kr)에서 API신청해서 다운로드 받을 수 있게 되어 있었네요 ㅎㅎ
그래서 LLM의 도움을 받기전에 검색을 해보니 이미 많은 분들이 이 API를 가지고 많이 해보셨으나 notebook이나 colab을 사용하고 있어서 LLM의 도움을 받아 API에서 정보를 받아 mongodb에 삽입/업데이트하는 코드를 작성해보았습니다.
↓↓↓↓↓이미 공공데이터포털의 API를 사용한 사례↓↓↓↓↓
Py) API(공공) 아파트 매매 실거래가 상세 - Data Doctor
[부동산 데이터 수집] 아파트 매매 실거래가 조회하기(파이썬)
[공공데이터포털 API] 아파트 매매 실거래 자료 수집
공공데이터포탈에서 API를 신청하겠다고 하면 이런 저런 예제와 문서를 주는데 신청한 다음 바로 테스트할 때는 잘 안됩니다. 몇시간이나 다음날 정도되면 잘 될겁니다. (정보를 동기화하는데 시간이 좀 걸리는듣 합니다.)
 |
| -공공데이터포털 API 신청된 화면- |
국토교통부에서 제공해주는 실거래가 시스템에서는 시단위 기준으로 데이터를 가져올 수 있었는데 API에서는 시도 기준으로는 데이터를 가져올 수가 없었습니다. 그래서 어쩔 수 없이 구 단위 기준의 법정동코드를 확보해서 구 기준으로 API를 작동 할 수 있게 하였슴다 :)
※ 법정동코드는 code.go.kr에서 찾지말고 공공데이터포털 국토교통부 법정동코드 라고 csv파일로 다운로드 받을 수 있는 것이 있습니다. >여기<
공공데이터포털에서 제공받은 API로 코드를 작성해서 github에 업로드 하였습니다.
근데 법정동코드를 for문으로 돌리는데 시간이 좀 많이 걸리는것 같네요. 병렬로 처리해봤는데 이게 잘 되는건지 잘 확인도 되지않아서.. 일단 하나씩 돌리고 있습니다.
다음에는 매매 실거래가 수집했으니 전월세 수집하겠죠? :)
 |
| 출처: @ye._.vely618 |
