검색어 분석 트렌드 파이썬 코드 만들기 with Streamlit

1차로 만들 페이지는 아래와 같습니다.

네이버 검색 키워드를 가져온 후 월간검색 및 월 클릭 수 작성된 페이지 수를 네이버에서 받아서 정보를 뿌려줍니다.

이렇게 한 후 모바일(모바일이 대세라)검색 수는 많지만 경쟁정도가 낮은 키워드를 추천하도록 먼저 설계를 해보겠습니다. 전체 코드는 아래와 같습니다.

import streamlit as st
import urllib.request
import json
import pandas as pd
import requests
import time
import hashlib
import hmac
import base64
import concurrent.futures

# 사용자 입력 부분을 Streamlit으로 변경
st.title('Naver Keyword Analysis Tool')

# st.secrets에서 API 키를 불러옴
CUSTOMER_ID = st.secrets["general"]["CUSTOMER_ID"]
API_KEY = st.secrets["general"]["API_KEY"]
SECRET_KEY = st.secrets["general"]["SECRET_KEY"]
client_id = st.secrets["general"]["client_id"]
client_secret = st.secrets["general"]["client_secret"]

# 키워드 입력
keywords = st.text_area('분석할 키워드를 입력하세요 (쉼표로 구분)', 'chatgpt').split(',')

BASE_URL = 'https://api.naver.com'

class Signature:
    @staticmethod
    def generate(timestamp, method, uri, secret_key):
        message = "{}.{}.{}".format(timestamp, method, uri)
        hash = hmac.new(bytes(secret_key, "utf-8"), bytes(message, "utf-8"), hashlib.sha256)
        return base64.b64encode(hash.digest())

def get_request_header(method, uri):
    timestamp = str(round(time.time() * 1000))
    signature = Signature.generate(timestamp, method, uri, SECRET_KEY)
    return {
        'Content-Type': 'application/json; charset=UTF-8',
        'X-Timestamp': timestamp,
        'X-API-KEY': API_KEY,
        'X-Customer': str(CUSTOMER_ID),
        'X-Signature': signature
    }

@st.cache_data
def get_keyword_analysis(keyword):
    uri = '/keywordstool'
    method = 'GET'
    r = requests.get(
        BASE_URL + uri,
        params={'hintKeywords': keyword, 'showDetail': 1},
        headers=get_request_header(method, uri)
    )
    df = pd.DataFrame(r.json()['keywordList'])
    df['monthlyMobileQcCnt'] = df['monthlyMobileQcCnt'].apply(lambda x: int(str(x).replace('<', '').strip()))
    df['monthlyPcQcCnt'] = df['monthlyPcQcCnt'].apply(lambda x: int(str(x).replace('<', '').strip()))
    df = df[(df['monthlyMobileQcCnt'] >= 50) & (df['monthlyPcQcCnt'] >= 50)]
    df.rename(
        {'compIdx': '경쟁정도',
        'monthlyMobileQcCnt': '월간검색수_모바일',
        'monthlyPcQcCnt': '월간검색수_PC',
        'relKeyword': '연관키워드'},
        axis=1,
        inplace=True
    )
    df['총검색수'] = df['월간검색수_PC'] + df['월간검색수_모바일']
    df = df.sort_values('총검색수', ascending=False)
    return df

# 문서 수 검색 함수
def get_total_docs(keyword):
    try:
        encText = urllib.parse.quote(keyword)
        url = f"https://openapi.naver.com/v1/search/webkr.json?query={encText}"
        request = urllib.request.Request(url)
        request.add_header("X-Naver-Client-Id", client_id)
        request.add_header("X-Naver-Client-Secret", client_secret)

        # 타임아웃 설정
        with urllib.request.urlopen(request, timeout=10) as response:
            rescode = response.getcode()

            if rescode == 200:
                response_body = response.read()
                text = response_body.decode('utf-8')
                return json.loads(text)['total']
            else:
                st.error(f"Error Code {rescode} for keyword: {keyword}")
                return 0
    except urllib.error.HTTPError as e:
        st.error(f"HTTPError: {e.code} for keyword: {keyword}")
        return 0
    except urllib.error.URLError as e:
        st.error(f"URLError: {e.reason} for keyword: {keyword}")
        return 0
    except Exception as e:
        st.error(f"Exception: {str(e)} for keyword: {keyword}")
        return 0

# Streamlit button for running analysis
if st.button('분석 실행'):
    tmp_df = pd.DataFrame()

    with st.spinner('키워드 분석 중...'):
        for keyword in keywords:
            keyword = keyword.strip()  # Trim whitespace
            df = get_keyword_analysis(keyword)
            tmp_df = pd.concat([tmp_df, df], axis=0)

    if not tmp_df.empty:
        # '연관키워드' 개수 출력
        st.write(f"연관키워드 개수: {len(tmp_df['연관키워드'])}")

        # Progress bar for document search
        progress_bar = st.progress(0)
        progress_text = st.empty()

        # 병렬 처리로 문서 검색 수행
        with concurrent.futures.ThreadPoolExecutor() as executor:
            total_docs = list(executor.map(get_total_docs, tmp_df['연관키워드']))

        tmp_df['총문서수'] = total_docs
        tmp_df['경쟁정도_ratio'] = tmp_df['총문서수'] / tmp_df['총검색수']

        # Progress 업데이트
        for i, word in enumerate(tmp_df['연관키워드']):
            progress_bar.progress((i + 1) / len(tmp_df['연관키워드']))
            progress_text.text(f"문서 검색 진행 중... ({i + 1}/{len(tmp_df['연관키워드'])})")

        # Display final dataframe
        st.write(tmp_df)

        # 경쟁정도가 작고, 모바일 검색이 높은 순으로 정렬
        recommended_df = tmp_df.sort_values(by=['경쟁정도', '월간검색수_모바일'], ascending=[True, False])

        # 추천 목록을 표로 표시
        st.subheader('추천 키워드 (경쟁정도가 낮고 모바일 검색이 높은 순서)')
        st.write(recommended_df[['연관키워드', '경쟁정도', '월간검색수_모바일']].head(10))  # 상위 10개의 추천 키워드

        # Provide a download link for the resulting dataframe
        csv = tmp_df.to_csv(index=False).encode('utf-8')
        st.download_button("CSV 다운로드", data=csv, file_name='keyword_analysis.csv', mime='text/csv')

이렇게 작성한 후 다음편에서 조금 다듬어 보겠습니다.

업체 정보 파이썬 : 대표자, 주소, 매출을 한눈에 살펴보기 with python

먼저 네이버에서 해당 정보를 얻기 위해서 구조를 살펴보면 업체를 검색한 뒤, 주소가 바뀌는 패던을 보면 kiscode 값이 바뀌는 것을 볼 수 있습니다. 업체의 고유 번호 같은 것인데, 이 코드를 받은 후 나이스 평가 사이트에서 이 값을 다시 넣어서 업체를 조회하는 패턴으로 코드를 작성해주려고 합니다.

[나이스 평가 사이트에서는 무단 크롤링을 엄격히 금지하고 있으니 공부 목적으로만 사용하시기 바랍니다. 고유 지적 재산에 해당 할 수 있으니 이 코드를 유료로도 판매하지 마시고, 또 공부 외의 목적으로는 절대 남용하지 마십시오]

아래 보면 (주)삼성전자 의 KISCODE 를 확인할 수 있습니다.

이렇게 조회한 정보에서 대표자 ~ 상장일자 정보까지 추출해 보겠습니다.

import streamlit as st
import pandas as pd
import requests
from bs4 import BeautifulSoup
import ssl
from requests.adapters import HTTPAdapter
from urllib3.poolmanager import PoolManager
import re
import time

# SSL/TLS 설정을 위한 어댑터 클래스
class TLSAdapter(HTTPAdapter):
    def init_poolmanager(self, *args, **kwargs):
        context = ssl.create_default_context()
        context.set_ciphers('DEFAULT:@SECLEVEL=1')
        kwargs['ssl_context'] = context
        return super().init_poolmanager(*args, **kwargs)

# 세션 생성 및 어댑터 설정
session = requests.Session()
session.mount('https://', TLSAdapter())

# 네이버 검색 결과에서 kiscode 추출 함수
def find_kiscode_from_naver_search(query):
    search_url = 'https://search.naver.com/search.naver'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    params = {
        'where': 'nexearch',
        'sm': 'top_hty',
        'fbm': '0',
        'ie': 'utf8',
        'query': query
    }

    try:
        response = session.get(search_url, headers=headers, params=params)
        response.raise_for_status()
        soup = BeautifulSoup(response.content, 'html.parser')
        
        more_info_link = soup.find('a', class_='info_more', href=True)
        if more_info_link and 'kiscode=' in more_info_link['href']:
            kiscode = re.search(r'kiscode=([A-Za-z0-9]+)', more_info_link['href'])
            if kiscode:
                return kiscode.group(1), more_info_link['href']
        return None, None
    except requests.RequestException as e:
        st.error(f"Request failed: {e}")
        return None, None

# 나이스 사이트에서 업체 정보를 가져오는 함수
def get_company_info(kiscode):
    url = f'https://www.nicebizinfo.com/ep/EP0100M002GE.nice?kiscode={kiscode}'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
    }
    
    try:
        response = session.get(url, headers=headers)
        response.raise_for_status()
        soup = BeautifulSoup(response.content, 'html.parser')
        
        company_info = {
            '대표자': soup.find('p', string='대표자').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='대표자') else '',
            '본사주소': soup.find('p', string='본사주소').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='본사주소') else '',
            '그룹명': soup.find('p', string='그룹명').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='그룹명') else '',
            '사업자번호': soup.find('p', string='사업자번호').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='사업자번호') else '',
            '기업형태': soup.find('p', string='기업형태').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='기업형태') else '',
            '산업': soup.find('p', string='산업').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='산업') else '',
            '설립일자': soup.find('p', string='설립일자').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='설립일자') else '',
            '상장일자': soup.find('p', string='상장일자').find_next_sibling('strong').get_text(strip=True) if soup.find('p', string='상장일자') else ''
        }
        
        revenue_row = soup.find('tr', class_='bdBck fwb')
        if revenue_row:
            revenues = revenue_row.find_all('td', class_='tar')
            revenue_data = []
            for td in revenues:
                text = td.get_text(strip=True).replace(',', '').replace(' ', '')
                if text.isdigit():
                    revenue_data.append(f"{int(text):,} 원")
                else:
                    revenue_data.append(text)
        else:
            revenue_data = ['', '', '']
        
        return company_info, revenue_data
    except requests.RequestException as e:
        st.error(f"Request failed: {e}")
        return {}, ['', '', '']

# 스트림릿 웹 앱 구성
def main():
    st.title("업체 정보 조회기")
    
    # 옵션 선택: 직접 입력 vs 엑셀 업로드
    option = st.radio("업체명을 직접 입력하시겠습니까, 아니면 엑셀 파일을 업로드하시겠습니까?", ("직접 입력", "엑셀 업로드"))

    if option == "직접 입력":
        company_name = st.text_input("업체명을 입력하세요:")
        if st.button("조회"):
            kiscode, nice_info_url = find_kiscode_from_naver_search(company_name)
            if kiscode:
                company_info, revenue_data = get_company_info(kiscode)
                result = {
                    '업체명': company_name,
                    'kiscode': kiscode,
                    '대표자': company_info.get('대표자', ''),
                    '본사주소': company_info.get('본사주소', ''),
                    '그룹명': company_info.get('그룹명', ''),
                    '사업자번호': company_info.get('사업자번호', ''),
                    '기업형태': company_info.get('기업형태', ''),
                    '산업': company_info.get('산업', ''),
                    '설립일자': company_info.get('설립일자', ''),
                    '상장일자': company_info.get('상장일자', ''),
                    '2023년 매출': revenue_data[0],
                    '2022년 매출': revenue_data[1],
                    '2021년 매출': revenue_data[2]
                }
                st.write(result)
            else:
                st.write(f"업체 '{company_name}'를 찾을 수 없습니다.")
    
    elif option == "엑셀 업로드":
        uploaded_file = st.file_uploader("업로드할 엑셀 파일을 선택하세요.", type=["xlsx"])
        
        if uploaded_file is not None:
            df = pd.read_excel(uploaded_file)
            if '업체명' not in df.columns:
                st.error("엑셀 파일에 '업체명' 열이 존재하지 않습니다.")
                return
            
            results = []
            total_companies = len(df)
            completed_count = 0
            failed_count = 0
            progress_placeholder = st.empty()
            
            for idx, company_name in enumerate(df['업체명']):
                kiscode, nice_info_url = find_kiscode_from_naver_search(company_name)
                company_info, revenue_data = ({'대표자': '', '본사주소': '', '그룹명': '', '사업자번호': '', '기업형태': '', '산업': '', '설립일자': '', '상장일자': ''}, ['', '', '']) if not kiscode else get_company_info(kiscode)
                
                result = {
                    '업체명': company_name,
                    'kiscode': kiscode if kiscode else '',
                    '대표자': company_info.get('대표자', ''),
                    '본사주소': company_info.get('본사주소', ''),
                    '그룹명': company_info.get('그룹명', ''),
                    '사업자번호': company_info.get('사업자번호', ''),
                    '기업형태': company_info.get('기업형태', ''),
                    '산업': company_info.get('산업', ''),
                    '설립일자': company_info.get('설립일자', ''),
                    '상장일자': company_info.get('상장일자', ''),
                    '2023년 매출': revenue_data[0],
                    '2022년 매출': revenue_data[1],
                    '2021년 매출': revenue_data[2]
                }
                results.append(result)
                
                if kiscode:
                    completed_count += 1
                else:
                    failed_count += 1
                
                remaining_count = total_companies - (idx + 1)
                progress = (idx + 1) / total_companies * 100
                progress_placeholder.write(f"진척율: {progress:.2f}% | 완료: {completed_count}개 | 실패: {failed_count}개 | 남은 작업 수: {remaining_count}개")
                
                # 각 요청 사이에 3초 딜레이 추가
                time.sleep(1.5)
            
            # 결과 출력
            results_df = pd.DataFrame(results)
            if not results_df.empty:
                st.write(results_df)
            
            if failed_count > 0:
                st.write("다음 업체들은 정보를 찾을 수 없었습니다:")
                st.write([res['업체명'] for res in results if not res['kiscode']])
    
if __name__ == "__main__":
    main()

이렇게 추출한 코드는 streamlit에서 돌리면 아름다운 코드로 바뀌는 것을 볼 수 있습니다.

[심화] streamlit 부동산 호가 수집 정보 서비스 하기

이 편을 보기 전에 전 포스팅을 참고 하시면 이해가 더욱 되시리라 생각을 합니다.

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #1

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #2

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #3

2024.09.17 – [부동산/자동화 프로젝트] – [고급] 부동산 정보 필터 고도화 – 네이버 매물 정리하기

2024.09.18 – [부동산/자동화 프로젝트] – [고급] 부동산 정보 필터 고도화 – 네이버 매물 정리하기 2

이제 우리가 할 것은 스트림릿에 코드를 올려서 코드를 실행하기만 하면 됩니다. 먼저 streamlit 스트림릿에 가입을 합니다.

https://streamlit.io/

가입을 한 후 아래 코드를 넣어 줍니다. 저는 코드를 직접 넣었습니다.

import streamlit as st
import pandas as pd
from io import BytesIO
import requests
import json
from bs4 import BeautifulSoup

# JSON 파일에서 법정동 코드 가져오기
def get_dong_codes_for_city(city_name, sigungu_name=None, json_path='district.json'):
    try:
        with open(json_path, 'r', encoding='utf-8') as file:
            data = json.load(file)
    except FileNotFoundError:
        st.error(f"Error: The file at {json_path} was not found.")
        return None, None

    for si_do in data:
        if si_do['si_do_name'] == city_name:
            if sigungu_name and sigungu_name != '전체':
                for sigungu in si_do['sigungu']:
                    if sigungu['sigungu_name'] == sigungu_name:
                        return [sigungu['sigungu_code']], [
                            {'code': dong['code'], 'name': dong['name']} for dong in sigungu['eup_myeon_dong']
                        ]
            else:
                sigungu_codes = [sigungu['sigungu_code'] for sigungu in si_do['sigungu']]
                dong_codes = [
                    {'code': dong['code'], 'name': dong['name']}
                    for sigungu in si_do['sigungu']
                    for dong in sigungu['eup_myeon_dong']
                ]
                return sigungu_codes, dong_codes
    return None, None

# 아파트 코드 리스트 가져오기
def get_apt_list(dong_code):
    down_url = f'https://new.land.naver.com/api/regions/complexes?cortarNo={dong_code}&realEstateType=APT&order='
    header = {
        "Accept-Encoding": "gzip",
        "Host": "new.land.naver.com",
        "Referer": "https://new.land.naver.com/complexes/102378",
        "Sec-Fetch-Dest": "empty",
        "Sec-Fetch-Mode": "cors",
        "Sec-Fetch-Site": "same-origin",
        "User-Agent": "Mozilla/5.0"
    }

    try:
        r = requests.get(down_url, headers=header)
        r.encoding = "utf-8-sig"
        data = r.json()

        if 'complexList' in data and isinstance(data['complexList'], list):
            df = pd.DataFrame(data['complexList'])
            required_columns = ['complexNo', 'complexName', 'buildYear', 'totalHouseholdCount', 'areaSize', 'price', 'address', 'floor']

            for col in required_columns:
                if col not in df.columns:
                    df[col] = None

            return df[required_columns]
        else:
            st.warning(f"No data found for {dong_code}.")
            return pd.DataFrame(columns=required_columns)

    except Exception as e:
        st.error(f"Error fetching data for {dong_code}: {e}")
        return pd.DataFrame(columns=required_columns)

# 아파트 코드로 상세 정보 가져오기
def get_apt_details(apt_code):
    details_url = f'https://fin.land.naver.com/complexes/{apt_code}?tab=complex-info'
    article_url = f'https://fin.land.naver.com/complexes/{apt_code}?tab=article&tradeTypes=A1'
    
    header = {
        "Accept-Encoding": "gzip",
        "Host": "fin.land.naver.com",
        "Referer": "https://fin.land.naver.com/",
        "Sec-Fetch-Dest": "empty",
        "Sec-Fetch-Mode": "cors",
        "Sec-Fetch-Site": "same-origin",
        "User-Agent": "Mozilla/5.0"
    }
    
    try:
        # 기본 정보 가져오기
        r_details = requests.get(details_url, headers=header)
        r_details.encoding = "utf-8-sig"
        soup_details = BeautifulSoup(r_details.content, 'html.parser')
        
        apt_name_tag = soup_details.find('span', class_='ComplexSummary_name__vX3IN')
        apt_name = apt_name_tag.text.strip() if apt_name_tag else 'Unknown'
        detail_dict = {'complexNo': apt_code, 'complexName': apt_name}
        
        detail_items = soup_details.find_all('li', class_='DataList_item__T1hMR')
        for item in detail_items:
            term = item.find('div', class_='DataList_term__Tks7l').text.strip()
            definition = item.find('div', class_='DataList_definition__d9KY1').text.strip()
            if term in ['공급면적', '전용면적', '해당면적 세대수', '현관구조', '방/욕실', '위치', '사용승인일', '세대수', '난방', '주차', '전기차 충전시설', '용적률/건폐율', '관리사무소 전화', '건설사']:
                detail_dict[term] = definition

        # 매물 정보 가져오기
        r_article = requests.get(article_url, headers=header)
        r_article.encoding = "utf-8-sig"
        soup_article = BeautifulSoup(r_article.content, 'html.parser')
        
        listings = []
        for item in soup_article.find_all('li', class_='ComplexArticleItem_item__L5o7k'):
            listing = {}
            name_tag = item.find('span', class_='ComplexArticleItem_name__4h3AA')
            listing['매물명'] = name_tag.text.strip() if name_tag else 'Unknown'
            price_tag = item.find('span', class_='ComplexArticleItem_price__DFeIb')
            listing['매매가'] = price_tag.text.strip() if price_tag else 'Unknown'
            
            summary_items = item.find_all('li', class_='ComplexArticleItem_item-summary__oHSwl')
            if len(summary_items) >= 4:
                listing['면적'] = summary_items[1].text.strip() if len(summary_items) > 1 else 'Unknown'
                listing['층수'] = summary_items[2].text.strip() if len(summary_items) > 2 else 'Unknown'
                listing['방향'] = summary_items[3].text.strip() if len(summary_items) > 3 else 'Unknown'
            
            image_tag = item.find('img')
            listing['이미지'] = image_tag['src'] if image_tag else 'No image'
            comment_tag = item.find('p', class_='ComplexArticleItem_comment__zN_dK')
            listing['코멘트'] = comment_tag.text.strip() if comment_tag else 'No comment'
            
            combined_listing = {**detail_dict, **listing}
            listings.append(combined_listing)
        
        return listings
    
    except Exception as e:
        st.error(f"Error fetching details for {apt_code}: {e}")
        return []

# 아파트 정보를 수집하는 함수
def collect_apt_info_for_city(city_name, sigungu_name, dong_name=None, json_path='district.json'):
    sigungu_codes, dong_list = get_dong_codes_for_city(city_name, sigungu_name, json_path)

    if dong_list is None:
        st.error(f"Error: {city_name} not found in JSON.")
        return None

    all_apt_data = []
    dong_code_name_map = {dong['code']: dong['name'] for dong in dong_list}
    
    # 수집 중 표시를 위한 placeholder
    placeholder = st.empty()

    if dong_name and dong_name != '전체':
        dong_code_name_map = {k: v for k, v in dong_code_name_map.items() if v == dong_name}

    for dong_code, dong_name in dong_code_name_map.items():
        placeholder.write(f"{dong_name} ({dong_code}) - 수집중입니다.")
        apt_codes = get_apt_list(dong_code)

        if not apt_codes.empty:
            for _, apt_info in apt_codes.iterrows():
                apt_code = apt_info['complexNo']
                apt_name = apt_info['complexName']
                placeholder.write(f"{apt_name} ({apt_code}) - 수집중입니다.")
                listings = get_apt_details(apt_code)
                
                if listings:
                    for listing in listings:
                        listing['dong_code'] = dong_code
                        listing['dong_name'] = dong_name
                        all_apt_data.append(listing)
        else:
            st.warning(f"No apartment codes found for {dong_code}")

    # 수집이 완료된 후, 수집 중 메시지를 지우기
    placeholder.empty()

    if all_apt_data:
        final_df = pd.DataFrame(all_apt_data)
        final_df['si_do_name'] = city_name
        final_df['sigungu_name'] = sigungu_name
        final_df['dong_name'] = dong_name if dong_name else '전체'
        
        # 데이터프레임 결과 출력
        st.write("아파트 정보 수집 완료:")
        st.dataframe(final_df)

        # 엑셀 파일로 저장
        output = BytesIO()
        with pd.ExcelWriter(output, engine='xlsxwriter') as writer:
            final_df.to_excel(writer, index=False)
        output.seek(0)

        # 엑셀 파일 다운로드 버튼
        st.download_button(
            label="Download Excel",
            data=output,
            file_name=f"{city_name}_{sigungu_name}_apartments.xlsx",
            mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
        )

        # CSV 파일 다운로드 버튼
        csv = final_df.to_csv(index=False).encode('utf-8')
        st.download_button(
            label="Download CSV",
            data=csv,
            file_name=f"{city_name}_{sigungu_name}_apartments.csv",
            mime="text/csv"
        )
    else:
        st.write("No data to save.")

# Streamlit 앱 실행
st.title("아파트 정보 수집기")

# 사용자 입력 받기
city_name = st.text_input("시/도 이름 입력", "서울특별시")
sigungu_name = st.text_input("구/군/구 이름 입력", "강남구")
dong_name = st.text_input("동 이름 입력 (선택사항)", "전체")

if st.button("정보 수집 시작"):
    collect_apt_info_for_city(city_name, sigungu_name, dong_name)

코드를 넣고 스트림릿에서 실행을 해봅니다.

매우 정보가 잘 나오고 있네요. 이제 아파트 정보를 모두 수집하면 결과가 어떻게 나올까요?

수집이 완료되면 이렇게 표로도 보여주고 엑셀 또는 CSV 파일 형태로 다운도 받을 수 있도록 코드가 잘 완료 되었습니다.

파이썬 부동산 매매가 조회 프로그램 만들기 3편 (서울아파트 컬럼 정리)

파이썬 부동산 매매가 조회 프로그램 만들기 4편 (전국 데이터)

여기에서 보면 우리 데이터와 일부 맞지 않는 부분을 확인 할 수 있습니다. 바로 공급면적, 전용면적이 실제 매물에 나와 있는 면적과 다르다는 것입니다.

그 이유는 바로 네이버 면적 정보 부분에서 면적 정보를 각각 클릭해야만 해당 면적에 대한 정보를 가져오게 되는데, 우리가 크롤링했던 공급면적, 전용면적 등의 정보는 가장 처음 나오는 면적에 대한 정보를 끌어 왔기 때문이죠, 따라서 면적이라는 부분의 데이터를 기준으로 맞춰서 해당 공급면적을 찾아내고, 그에 맞는 전용면적 ~ 방/욕실에 대한 정보를 수정해야겠습니다.

[고급] 부동산 정보 필터 고도화 – 네이버 매물 정리하기 2

오늘 글은 시리즈로 구성된 기본편을 기본으로 하고 있습니다. 아직 기본편을 못 보신 분들이라면 아래 글을 한번 읽어 주세요!

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #1

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #2

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #3

2024.09.17 – [부동산/자동화 프로젝트] – [고급] 부동산 정보 필터 고도화 – 네이버 매물 정리하기

이 부분은 동적 네트워크를 사용해야 해서, 현재 데이터에서만 정리해볼까 합니다. 현재 정리되어 있는 전체코드는 아래와 같습니다.

from google.colab import drive
import requests
import json
import pandas as pd
from datetime import datetime
from bs4 import BeautifulSoup

# Google Drive 마운트
drive.mount('/content/drive')

# 법정동 코드를 가져오는 함수
def get_dong_codes_for_city(city_name, sigungu_name=None, json_path='/content/drive/MyDrive/district.json'):
    try:
        with open(json_path, 'r', encoding='utf-8') as file:
            data = json.load(file)
    except FileNotFoundError:
        print(f"Error: The file at {json_path} was not found.")
        return None, None

    for si_do in data:
        if si_do['si_do_name'] == city_name:
            if sigungu_name and sigungu_name != '전체':
                for sigungu in si_do['sigungu']:
                    if sigungu['sigungu_name'] == sigungu_name:
                        return [sigungu['sigungu_code']], [
                            {'code': dong['code'], 'name': dong['name']} for dong in sigungu['eup_myeon_dong']
                        ]
            else:  # 시군구 '전체'
                sigungu_codes = [sigungu['sigungu_code'] for sigungu in si_do['sigungu']]
                dong_codes = [
                    {'code': dong['code'], 'name': dong['name']}
                    for sigungu in si_do['sigungu']
                    for dong in sigungu['eup_myeon_dong']
                ]
                return sigungu_codes, dong_codes
    return None, None

# 아파트 코드 리스트 가져오기
def get_apt_list(dong_code):
    down_url = f'https://new.land.naver.com/api/regions/complexes?cortarNo={dong_code}&realEstateType=APT&order='
    header = {
        "Accept-Encoding": "gzip",
        "Host": "new.land.naver.com",
        "Referer": "https://new.land.naver.com/complexes/102378",
        "Sec-Fetch-Dest": "empty",
        "Sec-Fetch-Mode": "cors",
        "Sec-Fetch-Site": "same-origin",
        "User-Agent": "Mozilla/5.0"
    }

    try:
        r = requests.get(down_url, headers=header)
        r.encoding = "utf-8-sig"
        data = r.json()

        if 'complexList' in data and isinstance(data['complexList'], list):
            df = pd.DataFrame(data['complexList'])
            required_columns = ['complexNo', 'complexName', 'buildYear', 'totalHouseholdCount', 'areaSize', 'price', 'address', 'floor']

            for col in required_columns:
                if col not in df.columns:
                    df[col] = None

            return df[required_columns]
        else:
            print(f"No data found for {dong_code}.")
            return pd.DataFrame(columns=required_columns)

    except Exception as e:
        print(f"Error fetching data for {dong_code}: {e}")
        return pd.DataFrame(columns=required_columns)

# 아파트 코드로 상세 정보를 가져오는 함수 (매매 정보 추가)
def get_apt_details(apt_code):
    details_url = f'https://fin.land.naver.com/complexes/{apt_code}?tab=complex-info'
    article_url = f'https://fin.land.naver.com/complexes/{apt_code}?tab=article&tradeTypes=A1'
    
    header = {
        "Accept-Encoding": "gzip",
        "Host": "fin.land.naver.com",
        "Referer": "https://fin.land.naver.com/",
        "Sec-Fetch-Dest": "empty",
        "Sec-Fetch-Mode": "cors",
        "Sec-Fetch-Site": "same-origin",
        "User-Agent": "Mozilla/5.0"
    }
    
    try:
        # 기본 정보 가져오기
        r_details = requests.get(details_url, headers=header)
        r_details.encoding = "utf-8-sig"
        soup_details = BeautifulSoup(r_details.content, 'html.parser')
        
        # 아파트 이름 추출
        apt_name_tag = soup_details.find('span', class_='ComplexSummary_name__vX3IN')
        apt_name = apt_name_tag.text.strip() if apt_name_tag else 'Unknown'

        # 기본 정보 딕셔너리
        detail_dict = {'complexNo': apt_code, 'complexName': apt_name}
        
        # 기본 상세 정보 추출 (공급면적, 전용면적, 방/욕실 등)
        detail_items = soup_details.find_all('li', class_='DataList_item__T1hMR')
        for item in detail_items:
            term = item.find('div', class_='DataList_term__Tks7l').text.strip()
            definition = item.find('div', class_='DataList_definition__d9KY1').text.strip()
            if term in ['공급면적', '전용면적', '해당면적 세대수', '현관구조', '방/욕실', '위치', '사용승인일', '세대수', '난방', '주차', '전기차 충전시설', '용적률/건폐율', '관리사무소 전화', '건설사']:
                detail_dict[term] = definition
        
        # 매물 정보 가져오기
        r_article = requests.get(article_url, headers=header)
        r_article.encoding = "utf-8-sig"
        soup_article = BeautifulSoup(r_article.content, 'html.parser')
        
        # 매물 리스트
        listings = []
        for item in soup_article.find_all('li', class_='ComplexArticleItem_item__L5o7k'):
            listing = {}
            
            # 매물 이름
            name_tag = item.find('span', class_='ComplexArticleItem_name__4h3AA')
            listing['매물명'] = name_tag.text.strip() if name_tag else 'Unknown'
            
            # 매매 가격
            price_tag = item.find('span', class_='ComplexArticleItem_price__DFeIb')
            listing['매매가'] = price_tag.text.strip() if price_tag else 'Unknown'
            
            # 면적, 층수, 방향
            summary_items = item.find_all('li', class_='ComplexArticleItem_item-summary__oHSwl')
            if len(summary_items) >= 4:
                listing['면적'] = summary_items[1].text.strip() if len(summary_items) > 1 else 'Unknown'
                listing['층수'] = summary_items[2].text.strip() if len(summary_items) > 2 else 'Unknown'
                listing['방향'] = summary_items[3].text.strip() if len(summary_items) > 3 else 'Unknown'
            
            # 이미지
            image_tag = item.find('img')
            listing['이미지'] = image_tag['src'] if image_tag else 'No image'
            
            # 코멘트
            comment_tag = item.find('p', class_='ComplexArticleItem_comment__zN_dK')
            listing['코멘트'] = comment_tag.text.strip() if comment_tag else 'No comment'
            
            # 각 매물마다 기본 상세 정보(공급면적, 방/욕실 등)를 매물에 추가
            combined_listing = {**detail_dict, **listing}
            listings.append(combined_listing)
        
        return listings
    
    except Exception as e:
        print(f"Error fetching details for {apt_code}: {e}")
        return []

# 아파트 정보를 수집하는 함수 (법정동 선택 가능)
def collect_apt_info_for_city(city_name, sigungu_name, dong_name=None, json_path='/content/drive/MyDrive/district.json'):
    sigungu_codes, dong_list = get_dong_codes_for_city(city_name, sigungu_name, json_path)

    if dong_list is None:
        print(f"Error: {city_name} not found in JSON.")
        return None

    all_apt_data = []
    dong_code_name_map = {dong['code']: dong['name'] for dong in dong_list}

    # 법정동 선택
    if dong_name and dong_name != '전체':
        dong_code_name_map = {k: v for k, v in dong_code_name_map.items() if v == dong_name}

    for dong_code, dong_name in dong_code_name_map.items():
        print(f"Collecting apartment codes for {dong_code} ({dong_name})")
        apt_codes = get_apt_list(dong_code)

        if not apt_codes.empty:
            for _, apt_info in apt_codes.iterrows():
                apt_code = apt_info['complexNo']
                print(f"Collecting details for {apt_code}")
                listings = get_apt_details(apt_code)
                
                if listings:
                    for listing in listings:
                        # 모든 매물 정보를 결합
                        listing['dong_code'] = dong_code
                        listing['dong_name'] = dong_name
                        all_apt_data.append(listing)
        else:
            print(f"No apartment codes found for {dong_code}")

    if all_apt_data:
        final_df = pd.DataFrame(all_apt_data)
        final_df['si_do_name'] = city_name
        final_df['sigungu_name'] = sigungu_name
        final_df['dong_name'] = dong_name if dong_name else '전체'
        
        # 엑셀 파일로 저장
        file_path = f'/content/drive/MyDrive/{city_name}_{sigungu_name}_apartments.xlsx'
        final_df.to_excel(file_path, index=False)
        print(f"Data saved to {file_path}")
    else:
        print("No data to save.")

# 함수 호출 예시
collect_apt_info_for_city("서울특별시", "강남구", "개포동")

자 다음편에서는 이 서비스를 스트림릿으로 연계해서 실제 사용자가 편하게 웹에서 선택하여 사용할 수 있도록 정리해보겠습니다.

부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #3

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #1

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #2

1. 법정동과 행정동의 이해

법정동은 정부에서 정한 공식적인 동의 기준으로, 부동산 관련 데이터에서 주로 사용됩니다. 행정동은 행정 구역을 기준으로 하며, 법정동과 행정동의 코드는 정부에서 사용하는 동일한 체계를 따릅니다. 예를 들어, 마포구 상암동의 법정동 코드는 “1144012700”입니다. 이 코드를 사용하여 해당 지역의 아파트 단지 정보를 조회할 수 있습니다.

2. 법정동 코드 조회

법정동 코드는 정부의 행정표준코드관리시스템에서 확인할 수 있습니다. 이 시스템에서는 각 지역의 법정동 코드와 이름을 조회할 수 있으며, 필요한 정보를 쉽게 찾을 수 있습니다. 예를 들어, 마포구 상암동의 법정동 코드는 다음과 같이 확인할 수 있습니다:

• 법정동 코드: 1144012700
• 법정동명: 상암동

이 정보를 바탕으로 아파트 단지 정보를 조회할 수 있습니다.

3. 필요한 라이브러리 설치

Python을 사용하여 네이버 부동산 API에 접근하기 위해서는 requests, json, pandas 라이브러리를 설치해야 합니다. 아래의 명령어를 사용하여 필요한 라이브러리를 설치할 수 있습니다.

pip install requests pandas

4. 아파트 단지 정보 조회 코드

이제 법정동 코드를 사용하여 아파트 단지 정보를 조회하는 코드를 작성해 보겠습니다. 아래는 마포구 상암동의 아파트 단지 정보를 조회하는 코드입니다.

import requests
import json
import pandas as pd

def get_apt_list(dong_code):
    down_url = 'https://new.land.naver.com/api/regions/complexes?cortarNo=' + dong_code + '&realEstateType=APT&order='
    header = {
        "Accept-Encoding": "gzip",
        "Host": "new.land.naver.com",
        "Referer": "https://new.land.naver.com/complexes/102378?ms=37.5018495,127.0438028,16&a=APT&b=A1&e=RETAIL",
        "Sec-Fetch-Dest": "empty",
        "Sec-Fetch-Mode": "cors",
        "Sec-Fetch-Site": "same-origin",
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
    }
    r = requests.get(down_url, data={"sameAddressGroup": "false"}, headers=header)

    r.encoding = "utf-8-sig"
    temp = json.loads(r.text)
    try:
        temp = pd.DataFrame(temp['complexList'])[['complexNo', 'complexName']]
    except:
        temp = []
    return temp

apt_list = get_apt_list('1144012700')
print(apt_list)

코드 설명

1. 라이브러리 임포트: requests, json, pandas 라이브러리를 임포트합니다.
2. get_apt_list 함수 정의: 이 함수는 법정동 코드를 입력받아 해당 지역의 아파트 단지 정보를 조회합니다.
3. API 요청 URL 설정: down_url 변수에 API 요청 URL을 설정합니다. 이 URL은 법정동 코드와 아파트 유형을 포함합니다.
4. 헤더 설정: API 요청에 필요한 헤더를 설정합니다. 이 헤더는 요청의 출처를 명시하고, 브라우저에서 요청한 것처럼 보이게 합니다.
5. API 요청 및 응답 처리: requests.get 메서드를 사용하여 API에 GET 요청을 보냅니다. 응답을 JSON 형식으로 파싱하고, 아파트 단지 정보를 DataFrame으로 변환합니다.
6. 결과 출력: apt_list 변수에 저장된 아파트 단지 정보를 출력합니다.

5. 실행 결과

위 코드를 실행하면 마포구 상암동에 위치한 아파트 단지의 이름과 고유 코드가 출력됩니다. 예를 들어, 다음과 같은 결과를 얻을 수 있습니다.

   complexNo          complexName
0   12345678         상암동 아파트 1단지
1   23456789         상암동 아파트 2단지
...

이 결과는 상암동에 위치한 아파트 단지의 고유 코드와 이름을 포함하고 있습니다. 이를 통해 사용자는 특정 지역의 아파트 단지 정보를 쉽게 확인할 수 있습니다.

부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #1

부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #2

부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #2

오늘 시리즈는 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 편입니다. 아직 1편을 못 보신 분들이라면 1편을 먼저 읽고 오시는게 도움이 되실 수 있습니다.

2024.09.15 – [부동산/자동화 프로젝트] – 부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #1

1. 크롤링의 필요성

부동산 시장은 끊임없이 변화하고 있으며, 이에 따라 아파트 단지에 대한 정보도 지속적으로 업데이트됩니다. 투자자, 구매자, 임대인 등 다양한 이해관계자들은 이러한 정보를 신속하게 파악해야 합니다. 하지만 수작업으로 정보를 수집하는 것은 시간과 노력이 많이 소요되므로, 자동화된 방법이 필요합니다. Python은 이러한 작업을 수행하기에 적합한 언어로, 다양한 라이브러리를 통해 웹 크롤링을 쉽게 구현할 수 있습니다.

2. 필요한 라이브러리 설치

Python을 사용하여 웹 크롤링을 수행하기 위해서는 몇 가지 라이브러리를 설치해야 합니다. 주로 사용되는 라이브러리는 requests, BeautifulSoup, 그리고 json입니다. 아래의 명령어를 사용하여 필요한 라이브러리를 설치할 수 있습니다.

pip install requests beautifulsoup4 pandas

3. API 요청을 위한 기본 설정

Naver의 부동산 API를 사용하여 아파트 단지 정보를 요청하기 위해서는 API의 URL과 요청 헤더를 설정해야 합니다. 아래는 기본적인 설정 코드입니다.

import requests
import json
from bs4 import BeautifulSoup

url = "https://new.land.naver.com/api/complexes/overview/"
param = {
    'complexNo': '23620'  # 조회할 아파트 단지 번호
}
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.220 Whale/1.3.51.7 Safari/537.36',
    'Referer': 'https://m.land.naver.com/'
}

위 코드에서 complexNo는 조회하고자 하는 아파트 단지의 고유 번호입니다. 이 번호는 Naver 부동산 사이트에서 각 단지의 URL을 통해 확인할 수 있습니다.

4. 아파트 단지 정보 요청

이제 설정한 URL과 헤더를 사용하여 API에 GET 요청을 보내고, 응답을 받아 아파트 단지 정보를 추출해 보겠습니다.

먼저 단지를 추출할 수 있는 request 주소를 한번 살펴 보겠습니다.

아래 캡쳐 화면은 단지 정보를 보여주는 링크를 Postman으로 Request 문과 호출 결과를 조회한 화면입니다. 화면에서 붉은색 상자는 링크를 입력하는 곳이며, 파란색 상자는 Python Request문을 생성해 줍니다. 그리고 초록색 상자는 해당 Requst 호출의 결과를 보기쉽게 보여줍니다. 주의할 점은 생성된 Request 문의 header 값을 추가해주어야지 Naver 사이트에서 원하는 결과값을 얻을 수 있습니다. 아래 코드에 해당 header 값이 있습니다.

먼저 Postman을 접속해서 해당 주소를 검색해보겠습니다.

https://www.postman.com/

https://new.land.naver.com/api/complexes/overview/23620?complexNo=23620

Postman을 통해 보여지는 단지 정보의 key와 value입니다.

Request 정보를 토대로 아래와 같이 코드를 작성해봅니다.

import requests
import json
import pandas as pd
import requests
from bs4 import BeautifulSoup

url = "https://new.land.naver.com/api/complexes/overview/"

param = {
    'complexNo': '23620'
}
header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.220 Whale/1.3.51.7 Safari/537.36',
    'Referer': 'https://m.land.naver.com/'
}
payload = {}

response = requests.request("GET", url+param['complexNo'], params=param, headers=header, data=payload)
u = response.url
temp = json.loads(response.text)
print("\n\n단지명: %s 사용승인일: %s  세대수: %s \n" \
      %(temp['complexName'], temp['useApproveYmd'], temp['totalHouseHoldCount']))

# 추가 정보 조회
url2 = "https://m.land.naver.com/complex/info/"+ param['complexNo'] + "?ptpNo=1"
response2 = requests.request("GET", url2, headers=header, data=payload)
doc = BeautifulSoup(response2.text, 'html.parser')

titles = doc.find_all('span', class_='tit')
datas = doc.find_all('span', class_='data')
tmp = dict()
for title, data in zip(titles, datas):
       tmp.setdefault(title.text, data.text.replace("\n", "").strip())
print("용적률: " + tmp['용적률'] + " 건폐율: " + tmp['건폐율'])

# 평형 별 정보 조회
temp2 = temp['pyeongs']
for item in temp2:
     print("분양: %6s m^2 [ %-5s] 전용: %5s m^2(%5s 평)" \
           %(item['supplyArea'], item['pyeongName2'], item['exclusiveArea'], item['exclusivePyeong']))

필요한 라이브러리 불러오기

import requests
import json
import pandas as pd
from bs4 import BeautifulSoup

• requests: HTTP 요청을 보내고 응답을 받기 위해 사용됩니다.
• json: API에서 받은 JSON 데이터를 처리하는 데 사용됩니다.
• pandas: 데이터 처리를 용이하게 하기 위한 라이브러리. 현재 코드에서는 사용되지 않았지만 나중에 데이터를 처리할 때 유용합니다.
• BeautifulSoup: HTML을 파싱하고 필요한 정보를 추출하기 위해 사용됩니다.

API URL과 요청 매개변수 설정

url = "https://new.land.naver.com/api/complexes/overview/"

param = {
    'complexNo': '23620'
}

• url: 네이버 부동산 API의 단지 정보에 접근하는 URL입니다.
• param: 조회하려는 특정 아파트 단지의 고유번호가 담긴 파라미터로, ‘23620’은 “상암월드컵파크 4단지”를 나타냅니다.

요청 헤더 설정

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.220 Whale/1.3.51.7 Safari/537.36',
    'Referer': 'https://m.land.naver.com/'
}

• User-Agent: 웹사이트에서 요청을 받을 때 어떤 브라우저로 접근하는지 인식하는 값입니다. 웹 서버에서 비정상적인 접근을 차단하는 경우가 있어, 이 값을 설정하여 사람처럼 보이도록 합니다.
• Referer: API 요청을 네이버 모바일 부동산 사이트에서 온 것처럼 보이게 만듭니다.

단지 정보 요청 및 출력

response = requests.request("GET", url + param['complexNo'], params=param, headers=header, data={})
temp = json.loads(response.text)
print("\n\n단지명: %s 사용승인일: %s  세대수: %s \n" \
      %(temp['complexName'], temp['useApproveYmd'], temp['totalHouseHoldCount']))

• requests.request(“GET”, …): GET 요청을 통해 API로부터 데이터를 가져옵니다.
• json.loads(response.text): API 응답을 JSON 형식으로 변환합니다.
• print: 단지명, 사용승인일, 세대수를 출력합니다. 각각 temp에서 추출된 정보입니다.

추가 단지 정보 요청

url2 = "https://m.land.naver.com/complex/info/"+ param['complexNo'] + "?ptpNo=1"
response2 = requests.request("GET", url2, headers=header, data={})
doc = BeautifulSoup(response2.text, 'html.parser')

• url2: 네이버 모바일 부동산 웹페이지에서 해당 단지에 대한 추가 정보를 가져오는 URL입니다.
• BeautifulSoup: HTML 응답을 파싱하여 필요한 정보를 쉽게 추출할 수 있도록 합니다.

용적률, 건폐율 추출

titles = doc.find_all('span', class_='tit')
datas = doc.find_all('span', class_='data')
tmp = dict()
for title, data in zip(titles, datas):
    tmp.setdefault(title.text, data.text.replace("\n", "").strip())
print("용적률: " + tmp['용적률'] + " 건폐율: " + tmp['건폐율'])

• doc.find_all(‘span’, class_=’tit’): HTML에서 ‘span’ 태그 중 클래스가 ‘tit’인 모든 요소를 찾습니다. 이는 제목(용적률, 건폐율 등)에 해당합니다.
• zip: titles와 datas를 한 쌍으로 묶어 딕셔너리에 저장합니다.
• print: 용적률과 건폐율을 출력합니다.

7. 평형별 정보 조회

temp2 = temp['pyeongs']
for item in temp2:
     print("분양: %6s m^2 [ %-5s] 전용: %5s m^2(%5s 평)" \
           %(item['supplyArea'], item['pyeongName2'], item['exclusiveArea'], item['exclusivePyeong']))

• temp2 = temp[‘pyeongs’]: 단지 정보에서 평형별 데이터를 추출합니다.
• for item in temp2: 각 평형의 정보를 순회하며 분양 면적과 전용 면적을 출력합니다.

부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #1

이제 네이버 부동산에서 방대한 데이터를 Python을 활용해 필요한 정보를 직접 수집해 보겠습니다.

부동산 매물 정보 수집하기 – 부동산 데이터 네이버 부동산 크롤링 및 가공 #1

PC환경

모바일환경

특정 아파트 단지의 매물 정보 가져오기

아래 이미지에서는 http://m.land.naver.com에 접속하여 ‘상암월드컵파크4단지’의 매물과 관련된 정보를 보여준다. 여기서 중요한 요소는 아파트 단지의 고유 식별자인 ‘23620’과 거래 방식을 나타내는 코드 ‘A1:B1:B2 ‘입니다. 각 코드의 의미는 A1은 매매, B1은 전세, B2는 월세, 그리고 B3는 단기임대에 해당합니다.

예를 들어, 다음 주소에서 매물 정보를 확인할 수 있습니다.다https://m.land.naver.com/complex/info/23620?tradTpCd=A1:B1:B2:B3&ptpNo=1&bildNo=&articleListYN=Y

특정단지의 매물값을 가져오는 코드를 다시 작성해보면 아래와 같습니다.

import requests
import json
import pandas as pd

URL = "https://m.land.naver.com/complex/getComplexArticleList"

parameter = {
    'hscpNo': '23620', # 상암월드컵파크4단지 고유번호
    'tradTpCd': 'A1:B1:B2', # 거래방식 3가지
    'order': 'spc_', # 면적별 정열
}

header = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.39',
    'Referer': 'https://m.land.naver.com/'
}

page = 0
lands = []

while True:
    page = page + 1
    parameter['page'] = page

    response = requests.get(URL, params=parameter, headers=header)
    if response.status_code != 200:
        print('invalid status: %d' % response.status_code)
        break

    data = json.loads(response.text)
    result = data['result']
    if result is None:
        print('no result')
        break
    
    for item in result['list']:
        lands.append([item['tradTpNm'], item['bildNm'], item['flrInfo'], item['prcInfo'], item['spc1']])
    
    if result['moreDataYn'] == 'N':
        break
print(pd.DataFrame(lands))

다음편에서는 각 아파트별 정보를 얻을 수 있는 파이썬 코드를 알아보도록 하겠습니다.

파이썬 부동산 매매가 조회 프로그램 만들기 4편 (전국 데이터)

2024.09.14 – [부동산/자동화 프로젝트] – 파이썬 부동산 매매가 조회 프로그램 만들기 1편

2024.09.14 – [부동산/자동화 프로젝트] – 파이썬 부동산 매매가 조회 프로그램 만들기 2편 (지역코드)

2024.09.14 – [부동산/자동화 프로젝트] – 파이썬 부동산 매매가 조회 프로그램 만들기 3편 (서울아파트 컬럼 정리)

서울 이외 지역 부동산 매매가를 조회하는 메소드

# 사용자에게 시/도 이름을 입력받습니다.
si_do_name = input("시/도를 입력하세요 (예: 서울특별시): ")
si_do_code = converter.get_si_do_code(si_do_name)

if si_do_code is None:
    print(f"'{si_do_name}'에 해당하는 시/도를 찾을 수 없습니다.")
else:
    # 입력받은 시/도에 대한 시/군/구 코드 리스트 가져오기
    sigungu_list = converter.get_sigungu(si_do_code)

    # 모든 시/군/구 데이터를 수집할 DataFrame 초기화
    all_data = pd.DataFrame()

그냥 이전에 문자열로 “서울” 로 넣던 부분을 사용자에게 입력받아서 실행하도록 변경하였습니다. 저는 시험을 하기 위해서 충청남도를 검색하니, 충청남도 아파트 값을 잘 읽어 들이네요.

자동화를 위한 입력시간 제한

나중에 해당 소스를 자동화하기 위해서 만약 사용자에게 10초 이내 입력값을 받지 못하면, 전국을 조사하도록 코드를 변경합니다.

# 사용자에게 시/도를 물어봄
si_do_name = get_user_input("시/도를 입력하세요 (10초 이내 입력): ")

# 시/도가 제공되지 않았거나 유효하지 않은 경우 전체 데이터 조회
if not si_do_name or si_do_name not in [district["si_do_name"] for district in converter.districts]:
    si_do_name = None
    print("유효하지 않은 시/도 입력 또는 입력이 없어서 전체 데이터를 조회합니다.")
else:
    print(f"{si_do_name}에 대한 데이터를 조회합니다.")

# 시/도 코드 및 시/군/구 리스트 가져오기
si_do_code = converter.get_si_do_code(si_do_name) if si_do_name else None
sigungu_list = converter.get_sigungu(si_do_code) if si_do_code else [sigungu for district in converter.districts for sigungu in district["sigungu"]]

# 모든 시/군/구 데이터를 수집할 DataFrame 초기화
all_data = pd.DataFrame()

이렇게 하면 10초 이내 시/도를 입력하지 않을 경우 전국의 데이터를 조사합니다.

위와 같이 나옵니다.
코드를 만지면서 중간에 컬럼 제목이 다시 원상태가 되었고, 시/도명이 ‘전국’으로만 표시 되는 문제가 있네요. 그래서 조금 수정하는 겸, 기조회기간도 설정해보도록 하겠습니다. 이렇게 서울 이외의 지역에 대해서, 아파트가 아닌 부동산에 대해서 조회해보았습니다.

다음 포스트에서는 필터역할을 해주는 메소드를 만들어서, 매매가 데이터에 대해 필터링을 해보겠습니다.

import json
import os
import pandas as pd
from google.colab import drive
import PublicDataReader as pdr
from PublicDataReader import TransactionPrice
from datetime import datetime

class DistrictConverter:
    def __init__(self):
        self.districts = self.__read_district_file()

    def __read_district_file(self):
        # Google 드라이브를 마운트합니다.
        drive.mount('/content/drive')

        # 드라이브 내의 JSON 파일 경로를 설정합니다.
        json_file_path = '/content/drive/MyDrive/district.json'
        
        # 파일을 열어서 내용을 읽고 JSON으로 변환합니다.
        with open(json_file_path, 'r') as f:
            return json.loads(f.read())

    def get_si_do_code(self, si_do_name):
        for district in self.districts:
            if si_do_name == district["si_do_name"]:
                return district["si_do_code"]

    def get_sigungu(self, si_do_code):
        for district in self.districts:
            if si_do_code == district["si_do_code"]:
                return district["sigungu"]

def get_user_input(prompt, default_value=None):
    try:
        user_input = input(prompt)
        return user_input if user_input.strip() else default_value
    except EOFError:
        return default_value

# 사용자로부터 시/도와 기간을 입력 받음
si_do_name = get_user_input("시/도를 입력하세요 (예: 서울특별시) 또는 '전국' 입력: ", "전국")
start_year_month = get_user_input("조회 시작 년월 (YYYYMM 형식, 예: 202301): ", None)
end_year_month = get_user_input("조회 종료 년월 (YYYYMM 형식, 예: 202312): ", None)

# 현재 날짜를 기준으로 기간을 설정
now = datetime.now()
current_year_month = now.strftime("%Y%m")

# 기간을 설정합니다.
if not start_year_month:
    start_year_month = f"{now.year}01"
if not end_year_month:
    end_year_month = current_year_month

# DistrictConverter 인스턴스 생성
converter = DistrictConverter()

# 서울특별시와 모든 시/군/구 데이터를 수집할 DataFrame 초기화
all_data = pd.DataFrame()

# 전체 시/도 조사
if si_do_name == "전국":
    for district in converter.districts:
        si_do_code = district["si_do_code"]
        sigungu_list = district["sigungu"]
        for sigungu in sigungu_list:
            sigungu_code = sigungu["sigungu_code"]
            sigungu_name = sigungu["sigungu_name"]

            print(f"Processing data for {sigungu_name} ({sigungu_code})")

            # 부동산 데이터를 가져옴
            df = api.get_data(
                property_type="아파트",
                trade_type="매매",
                sigungu_code=sigungu_code,
                start_year_month=start_year_month,
                end_year_month=end_year_month
            )

            # 시/군/구 이름 및 시/도 이름을 새로운 컬럼으로 추가
            df["sigungu_name"] = sigungu_name
            df["si_do_name"] = district["si_do_name"]

            # 가져온 데이터를 all_data에 추가
            all_data = pd.concat([all_data, df], ignore_index=True)
else:
    si_do_code = converter.get_si_do_code(si_do_name)
    sigungu_list = converter.get_sigungu(si_do_code)

    for sigungu in sigungu_list:
        sigungu_code = sigungu["sigungu_code"]
        sigungu_name = sigungu["sigungu_name"]

        print(f"Processing data for {sigungu_name} ({sigungu_code})")

        # 부동산 데이터를 가져옴
        df = api.get_data(
            property_type="아파트",
            trade_type="매매",
            sigungu_code=sigungu_code,
            start_year_month=start_year_month,
            end_year_month=end_year_month
        )

        # 시/군/구 이름 및 시/도 이름을 새로운 컬럼으로 추가
        df["sigungu_name"] = sigungu_name
        df["si_do_name"] = si_do_name

        # 가져온 데이터를 all_data에 추가
        all_data = pd.concat([all_data, df], ignore_index=True)

# 데이터 열 이름을 한국어로 변환
columns_to_select = {
    "si_do_name": "시도",
    "sigungu_name": "시군구",
    "umdNm": "법정동",
    "roadNm": "도로명",
    "bonbun": "지번",
    "aptNm": "아파트",
    "buildYear": "건축년도",
    "excluUseAr": "전용면적",
    "floor": "층",
    "dealYear": "거래년도",
    "dealMonth": "거래월",
    "dealDay": "거래일",
    "dealAmount": "거래금액",
    "aptSeq": "일련번호",
    "dealingGbn": "거래유형",
    "estateAgentSggNm": "중개사소재지",
    "cdealType": "해제여부",
    "cdealDay": "해제사유발생일"
}

# 필요한 열만 남기고 한국어 열 이름으로 변경
selected_data = all_data.rename(columns=columns_to_select)[list(columns_to_select.values())]

# 파일명을 규칙적으로 지정
file_name = f'{si_do_name if si_do_name != "전국" else "전체"}_{start_year_month}_{end_year_month}_매매.csv'.replace(" ", "")
csv_path = f'/content/drive/MyDrive/{file_name}'

# 필요한 열만 남긴 데이터를 CSV 파일로 저장 (utf-8-sig 인코딩으로 저장)
selected_data.to_csv(csv_path, index=False, encoding='utf-8-sig')

# 파일 저장 후, 선택된 데이터의 일부를 출력하여 확인
print(selected_data.head())

파이썬 부동산 매매가 조회 프로그램 만들기 2편 (지역코드)

파이썬 부동산 매매가 조회 프로그램 만들기 3편 (서울아파트 컬럼 정리)

파이썬 부동산 매매가 조회 프로그램 만들기 3편 (서울아파트 컬럼 정리)

해당 포스팅은 1편, 2편에 이은 3편이므로 1,2편을 보지 않으신 분들은 먼저 포스팅을 보고 오세요!

파이썬 부동산 매매가 조회 프로그램 만들기 1편

파이썬 부동산 매매가 조회 프로그램 만들기 2편 (지역코드)

라이브러리 이용해서 한 번 추출해보기

일단 라이브러리를 이용해서 결과물이 어떻게 나오는지 한 번 보겠습니다. 저번 포스트에서 말씀드린 것 처럼, 저는 구글 코랩을 이용하고 있습니다.

https://github.com/WooilJeong/PublicDataReader

제가 원하는건 특정 월의 매매데이터라서, read_data() 메소드를 이용해보겠습니다. 파라미터로는 매물의 종류, 거래유형, 시군구코드, 거래가 발생한 연도와 달을 넘겨주고 실행해봅니다.

그러면 아래와 같이 결과값이 출력됩니다. 일단 print문으로 에러가 있는 api들에 대해 알려주네요. 에러가 있는 서비스들은 따로 제가 조회신청을 하지 않았기 때문에 에러출력되는 것이 당연합니다.

이름설명데이터 타입샘플 데이터항목구분

• 지역코드
• 도로명
• 법정동
• 지번
• 아파트
• 건축년도
• 층
• 전용면적
• 년
• 월
• 일
• 거래금액 (만원단위)
• 도로명건물본번호코드
• 도로명건물부번호코드
• 도로명시군구코드
• 도로명일련번호코드
• 도로명지상지하코드
• 도로명코드
• 법정동본번코드
• 법정동부번코드
• 법정동시군구코드
• 법정동지번코드
• 일련번호
• 거래유형
• 중개사소재지
• 해제사유발생일
• 해제여부

전체 컬럼은 위와 같습니다. 꽤 많기도하고… 숫자코드만 있어서 얼핏보면 이게 뭘 의미하는지 모르는 내용들도 많습니다. 그래서 필요한 컬럼들은 제외하고 뺄껀 빼주고, 여기서 추가되어야할 컬럼이 있으면 추가작업을 해주어야합니다.

서울아파트 매매가 조회해보기

일단 처음으로는 서울 모든 구의 아파트 매매가를 조회해보는 것으로 시작하겠습니다.

라이브러리를 이용한 API연결

일단 파일의 제일 윗부분에는 필요한 다른 파일들을 import하고, 컨버터의 객체생성과 함께 API연결을 선언합니다.

import json
import os
import pandas as pd
from google.colab import drive
import PublicDataReader as pdr
from PublicDataReader import TransactionPrice
api = pdr.TransactionPrice(service_key)

class DistrictConverter:
    def __init__(self):
        self.districts = self.__read_district_file()

    def __read_district_file(self):
        # Google 드라이브를 마운트합니다.
        drive.mount('/content/drive')

        # 드라이브 내의 JSON 파일 경로를 설정합니다.
        json_file_path = '/content/drive/MyDrive/district.json'
        
        # 파일을 열어서 내용을 읽고 JSON으로 변환합니다.
        with open(json_file_path, 'r') as f:
            return json.loads(f.read())

    def get_si_do_code(self, si_do_name):
        for district in self.districts:
            if si_do_name == district["si_do_name"]:
                return district["si_do_code"]

    def get_sigungu(self, si_do_code):
        for district in self.districts:
            if si_do_code == district["si_do_code"]:
                return district["sigungu"]

입력받은 시군구 리스트에 대해서 매매가 조회하는 메소드 만들기

이전 포스트와, 본 포스트 상단에 라이브러리로 넘기는 파라미터에서 보이듯이, 조회는 시군구 코드를 기준으로 조회하는데요 조회하고자하는 시군구가 여러개 일 수 있으므로, 시군구 데이터를 리스트로 받아 반복문을 돌리며 조회하는 메소드를 만듭니다.

이 때, API를 조회한 데이터에는 이것이 어떤 시/도의, 어떤 시군구의 데이터인지는 알 수 없습니다. 표시되는 것은 도로명과 읍면동 단위의 데이터만 한글로 나옵니다. (아마도 시군구코드를 넣어서 조회하는 것으로 보아, 조회할 때 이미 어떤 지역인지를 콕 찝어서 조회한다는 유저시나리오를 바탕으로 설계되어있는 것 같습니다.)

따라서, 우리가 결과물을 받아서 어디 데이터인지를 알기 위해서는 시/도 이름과, 시군구이름도 같이 표기되어야 알기 쉽습니다.

# DistrictConverter 인스턴스 생성
converter = DistrictConverter()

# 서울특별시 시/군/구 코드 리스트 가져오기
si_do_name = "서울특별시"
si_do_code = converter.get_si_do_code(si_do_name)
sigungu_list = converter.get_sigungu(si_do_code)

# 모든 시/군/구 데이터를 수집할 DataFrame 초기화
all_data = pd.DataFrame()

# 각 시/군/구 코드에 대해 데이터를 가져오고 시/군/구 이름 추가
for sigungu in sigungu_list:
    sigungu_code = sigungu["sigungu_code"]
    sigungu_name = sigungu["sigungu_name"]

    print(f"Processing data for {sigungu_name} ({sigungu_code})")

파라미터로 시/도 이름, 시군구 데이터가 담긴 리스트, 매물종류, 거래종류, 거래년월 6자리를 받습니다. 이후 시군구리스트에 대해 반복문을 돌아가며 조회를 시작합니다.

조회한 데이터 data 에 대해, 위에서 말씀드린대로 시도 이름과 시군구 이름이 기재된 컬럼으로 생성해줍니다. sigungu_list 에 데이터 하나하나에는 sigungu_code, sigungu_name, eup_myeon_dong 데이터가 json형태로 들어있습니다. 본 시리즈의 2번째 포스트(지역구분별 코드 먼저 준비하기) 를 확인해주세요.

data[“시군구”] = sigungu[“sigungu_name”]

이렇게 시군구 json객체 하나하나에서 시군구이름을 뽑아 컬럼을 하나 만들어줍니다. 그 후에는 기존에 만들었던 시군구 데이터에, 바로 아래에 추가로 데이터를 이어붙여줍니다.

df = pd.concat([data, df])

이렇게해서 서울의 모든 구의 매매데이터를 하나하나 붙여나갑니다.

이 후에, 아까 위에서 만든 전용면적(평) 계산 메소드를 호출해줍니다.
df = caculate_column_data(df)

그러고 마지막으로 컬럼이름을 재정의해주고, 추출한 매매데이터를 리턴합니다. 저는 개인적으로 년, 월, 일 컬럼이 조금 알기 어렵다고 생각해서 아래와 같이 수정했습니다.

 # 부동산 데이터를 가져옴
    df = api.get_data(
        property_type="아파트",
        trade_type="매매",
        sigungu_code=sigungu_code,
        year_month="202402",
    )

본 메소드의 전체 코드는 아래와 같습니다.

def get_data_using_sigungu_list(si_do_name, sigungu_list: list, product, transaction, year_month):
    df = pd.DataFrame()

    for sigungu in sigungu_list:
        data = get_data_from_portal(product, transaction, sigungu["sigungu_code"], year_month)
        data["시도"] = si_do_name
        data["시군구"] = sigungu["sigungu_name"]
        df = pd.concat([data, df])

    df = caculate_column_data(df)

    df.rename(columns={"년": "거래년도",
                       "월": "거래월",
                       "일": "거래일"
                       },
              inplace=True)

    return df

서울 데이터만 조회하는 메소드 만들기

입력받은 시군구 리스트를 대상으로 매매데이터를 조회하여 리턴하는 메소드가 완성되었습니다. 그럼 이제 어느 시/도의 시군구를 파라미터로 넘겨줘야하냐, 이게 남았습니다.

저는 이번 시리즈 예시에서 일단 서울 데이터만 조회하는 메소드를 만들고 있어서, 서울 시도코드만 따로 추출하는 메소드를 만들어봅니다.

# 시/군/구 이름 및 시/도 이름을 새로운 컬럼으로 추가
    df["sigungu_name"] = sigungu_name
    df["si_do_name"] = si_do_name  # 서울특별시 추가

    # 가져온 데이터를 all_data에 추가
    all_data = pd.concat([all_data, df], ignore_index=True)

여기에, 마지막으로 인덱스를 리셋해주고, 컬럼들을 제가 원하는 컬럼만으로 간추립니다.

# 필요한 열만 선택하여 데이터 간추리기
columns_to_select = {
    "si_do_name": "시도",          # 시도
    "sigungu_name": "시군구",      # 시군구
    "umdNm": "법정동",             # 법정동
    "roadNm": "도로명",            # 도로명
    "bonbun": "지번",              # 지번 (본번)
    "aptNm": "아파트",             # 아파트
    "buildYear": "건축년도",       # 건축년도
    "excluUseAr": "전용면적",      # 전용면적
    "floor": "층",                # 거래층
    "dealYear": "거래년도",        # 거래년도
    "dealMonth": "거래월",         # 거래월
    "dealDay": "거래일",           # 거래일
    "dealAmount": "거래금액",      # 거래금액
    "aptSeq": "일련번호",          # 일련번호
    "dealingGbn": "거래유형",      # 거래유형
    "estateAgentSggNm": "중개사소재지",  # 중개사소재지
    "cdealType": "해제여부",       # 해제여부
    "cdealDay": "해제사유발생일"   # 해제사유발생일
}

제가 원하는 컬럼목록은 아래와 같습니다.

    "시도",
    "시군구",
    "법정동",
    "도로명",
    "지번",
    "아파트",
    "건축년도",
    "전용면적",
    "전용면적(평)",
    "거래년도",
    "거래월",
    "거래일",
    "거래금액",
    "일련번호",
    "거래유형",
    "중개사소재지",
    "해제여부",
    "해제사유발생일"

]

이렇게해서  내용이 일단 완료되었습니다. 전체 코드는 아래와 같습니다.

import json
import os
import pandas as pd
from google.colab import drive
import PublicDataReader as pdr
from PublicDataReader import TransactionPrice
api = pdr.TransactionPrice(service_key)

class DistrictConverter:
    def __init__(self):
        self.districts = self.__read_district_file()

    def __read_district_file(self):
        # Google 드라이브를 마운트합니다.
        drive.mount('/content/drive')

        # 드라이브 내의 JSON 파일 경로를 설정합니다.
        json_file_path = '/content/drive/MyDrive/district.json'
        
        # 파일을 열어서 내용을 읽고 JSON으로 변환합니다.
        with open(json_file_path, 'r') as f:
            return json.loads(f.read())

    def get_si_do_code(self, si_do_name):
        for district in self.districts:
            if si_do_name == district["si_do_name"]:
                return district["si_do_code"]

    def get_sigungu(self, si_do_code):
        for district in self.districts:
            if si_do_code == district["si_do_code"]:
                return district["sigungu"]

# DistrictConverter 인스턴스 생성
converter = DistrictConverter()

# 서울특별시 시/군/구 코드 리스트 가져오기
si_do_name = "서울특별시"
si_do_code = converter.get_si_do_code(si_do_name)
sigungu_list = converter.get_sigungu(si_do_code)

# 모든 시/군/구 데이터를 수집할 DataFrame 초기화
all_data = pd.DataFrame()

# 각 시/군/구 코드에 대해 데이터를 가져오고 시/군/구 이름 추가
for sigungu in sigungu_list:
    sigungu_code = sigungu["sigungu_code"]
    sigungu_name = sigungu["sigungu_name"]

    print(f"Processing data for {sigungu_name} ({sigungu_code})")

    # 부동산 데이터를 가져옴
    df = api.get_data(
        property_type="아파트",
        trade_type="매매",
        sigungu_code=sigungu_code,
        year_month="202402",
    )

    # 시/군/구 이름 및 시/도 이름을 새로운 컬럼으로 추가
    df["sigungu_name"] = sigungu_name
    df["si_do_name"] = si_do_name  # 서울특별시 추가

    # 가져온 데이터를 all_data에 추가
    all_data = pd.concat([all_data, df], ignore_index=True)

# 필요한 열만 선택하여 데이터 간추리기
# 필요한 열만 선택하여 데이터 간추리기
columns_to_select = {
    "si_do_name": "시도",          # 시도
    "sigungu_name": "시군구",      # 시군구
    "umdNm": "법정동",             # 법정동
    "roadNm": "도로명",            # 도로명
    "bonbun": "지번",              # 지번 (본번)
    "aptNm": "아파트",             # 아파트
    "buildYear": "건축년도",       # 건축년도
    "excluUseAr": "전용면적",      # 전용면적
    "floor": "층",                # 거래층
    "dealYear": "거래년도",        # 거래년도
    "dealMonth": "거래월",         # 거래월
    "dealDay": "거래일",           # 거래일
    "dealAmount": "거래금액",      # 거래금액
    "aptSeq": "일련번호",          # 일련번호
    "dealingGbn": "거래유형",      # 거래유형
    "estateAgentSggNm": "중개사소재지",  # 중개사소재지
    "cdealType": "해제여부",       # 해제여부
    "cdealDay": "해제사유발생일"   # 해제사유발생일
}

# 필요한 열만 선택하여 데이터프레임을 새로 생성하고, 열 이름을 한글로 변경
selected_data = all_data[list(columns_to_select.keys())].rename(columns=columns_to_select)

# 파일명을 규칙적으로 지정: 서울특별시_202401_매매.csv
file_name = f'{si_do_name}_202401_매매.csv'.replace(" ", "")  # 파일명에서 공백 제거

# 필요한 열만 남긴 데이터를 CSV 파일로 저장
csv_path = f'/content/drive/MyDrive/{file_name}'
selected_data.to_csv(csv_path, index=False)

# 파일 저장 후, 선택된 데이터의 일부를 출력하여 확인
print(selected_data.head())

코랩에서 데이터 활용 이용해서 매매가 구해보기

이제, 코랩에서 해당 데이터를 실행해봅니다.

그러면 아래와 같이 제가 원하는 데이터만 보기좋게 딱 나옵니다.

데이터가 700가 훌쩍 넘는 것을 보니, 서울의 모든 구의 아파트 매매데이터가 다 나온 것 같네요.

이렇게 서울 아파트 매매 데이터를 구해보았습니다. 위에 파라미터를 아파트 로 넣었는데, 연립/다세대 매매 데이터 API에 대한 신청도 해놓으셨다면, 파라미터로 연립/다세대 를 넣으셔서 이른바 빌라 매매 데이터도 구해볼 수 있습니다.

다음 포스트에서는 서울 이외의 시도, 시군구에 대한 매매데이터를 구하는 메소드를 만들어봅니다.

아직 1편을 못보고 넘어오신 분들이라면 1편 먼저 보고 오시는게 좋을 것 같아요!

2024.09.14 – [부동산/자동화 프로젝트] – 파이썬 부동산 매매가 조회 프로그램 만들기 1편

파이썬 부동산 매매가 조회 프로그램 만들기 2편 (지역코드)

지역 구분 코드 구조

지역 구분 코드는 기본적으로 1: N 관계를 따릅니다. 즉, 하나의 시, 도 아래 여러 시군구가 있고, 다시 하나의 시군구 아래 여러 읍면동이 있는 형태입니다. 이러한 구조를 효율적으로 관리하려면 계층적 관계를 잘 표현할 수 있는 데이터 형식을 사용하는 것이 좋습니다. 여기서는 JSON 형식으로 시, 도, 시군구, 읍면동 코드를 정리해보겠습니다.

어느 분이 정리를 해두셨지만 조금 불편하여 JSON 형태로 바꿔보겠습니다.

https://github.com/WooilJeong/PublicDataReader

JSON 데이터 구조 설명

다음은 파이썬을 이용해 지역 구분 코드를 JSON 형식으로 구성한 예시입니다. si_do_code는 시도 코드를 의미하고, 그 하위에 sigungu로 시군구 정보가, 시군구 안에는 eup_myeon_dong으로 읍면동 정보가 포함되어 있습니다.

{
 "si_do_code":{si_do_code},
  "si_do_name":{si_do_name},
  "sigungu":[{
      "sigungu_code":{sigungu_code},
    "sigungu_name":{sigungu_name},
    "eup_myeon_dong":[{
        "code":{code},
          "name":{name}
    }]
  }]
}

이 구조에서는:

• 시/도: si_do_code와 si_do_name으로 표시됩니다. 각 시/도는 고유한 코드와 이름을 가지고 있습니다.
• 시군구: sigungu_code와 sigungu_name은 시군구를 나타내며, 이는 시도 아래에 속하는 여러 시군구를 나열합니다.
• 읍면동: code와 name은 읍면동의 코드와 이름으로, 시군구 아래에 속하는 읍면동 리스트를 포함합니다.

저는 이 구조를 구글 드라이브 코랩에서 실행할 수 있도록 코드를 작성할 예정입니다. 구글 코랩에서는 무료로 쉽게 코드를 실행하거나 동작시킬 수 있거든요

https://colab.research.google.com/?hl=ko

구글 코랩에서 JSON 파일을 불러오기 위해서 구글 드라이브에 JSON 파일을 업로드 해둡니다. 저는 기본 폴더에 저장했습니다.

코드는 DistrictConverter 클래스를 이용하여, Google 드라이브에서 JSON 파일을 읽고, 여러 가지 데이터를 반환하는 메서드들을 포함하고 있습니다. 이 클래스의 메서드들을 살펴보겠습니다.

주요 메서드 설명:

1. get_data():
   • JSON 파일에서 읽어온 모든 데이터를 반환합니다.
2. get_si_do_name(si_do):
   • 입력받은 si_do (시/도의 이름)을 포함하는 si_do_name을 반환합니다.
3. get_si_do_code(si_do_name):
   • 입력받은 si_do_name과 일치하는 시/도의 코드를 반환합니다.
4. get_sigungu(si_do_code):
   • 입력된 si_do_code와 일치하는 시/도 내의 모든 시/군/구 데이터를 반환합니다.
5. get_sigungu_list(si_do_code, sigungu_name):
   • 특정 시/도의 코드와 시/군/구 이름을 입력받아 해당하는 시/군/구 리스트를 반환합니다.

import json
import os
from google.colab import drive

class DistrictConverter:
    def __init__(self):
        self.districts = self.__read_district_file()

    def __read_district_file(self):
        # Google 드라이브를 마운트합니다.
        drive.mount('/content/drive')

        # 드라이브 내의 JSON 파일 경로를 설정합니다.
        # 이 부분을 실제 파일 경로로 수정해야 합니다.
        json_file_path = '/content/drive/MyDrive/district.json'
        
        # 파일을 열어서 내용을 읽고 JSON으로 변환합니다.
        with open(json_file_path, 'r') as f:
            return json.loads(f.read())

    def get_data(self):
        return self.districts

    def get_si_do_name(self, si_do):
        for district in self.districts:
            if si_do in district["si_do_name"]:
                return district["si_do_name"]

    def get_si_do_code(self, si_do_name):
        for district in self.districts:
            if si_do_name in district["si_do_name"]:
                return district["si_do_code"]

    def get_sigungu(self, si_do_code):
        for district in self.districts:
            if si_do_code in district["si_do_code"]:
                return district["sigungu"]

    def get_sigungu_list(self, si_do_code, sigungu_name):
        sigungu_list = []
        sigungu_data = self.get_sigungu(si_do_code)
        for sigungu in sigungu_data:
            if sigungu_name in sigungu["sigungu_name"]:
                sigungu_list.append(sigungu)

        return sigungu_list

이렇게 작성하면 구글 코랩에서 준비작업은 끝났습니다. 

잘 동작이 되는지 한번 볼까요? 프린트를 찍어서 출력을 한번 해보도록 하겠습니다.

# 전체 데이터 출력
print("전체 데이터:")
print(converter.get_data())

# 시/도 이름 출력
si_do_name = converter.get_si_do_name("서울특별시")
print("\n시/도 이름:")
print(si_do_name)

# 시/도 코드 출력
si_do_code = converter.get_si_do_code("서울특별시")
print("\n시/도 코드:")
print(si_do_code)

# 해당 시/도 코드의 시/군/구 데이터 출력
sigungu_data = converter.get_sigungu(si_do_code)
print("\n시/군/구 데이터:")
print(sigungu_data)

# 특정 시/군/구 리스트 출력
sigungu_list = converter.get_sigungu_list(si_do_code, "강남구")
print("\n필터된 시/군/구 리스트:")
print(sigungu_list)

결과값은 아래와 같이 도출이 됩니다. 

서울시 전체 구, 강남구에 속한 동 까지 잘 출력이 되고 있네요.

시/군/구 데이터:
[{'sigungu_code': '11110', 'sigungu_name': '종로구', 'eup_myeon_dong': [{'code': '1111000000', 'name': 'nan'}, {'code': '1111010100', 'name': '청운동'}, {'code': '1111010200', 'name': '신교동'}, {'code': '1111010300', 'name': '궁정동'}, {'code': '1111010400', 'name': '효자동'}, {'code': '1111010500', 'name': '창성동'}, {'code': '1111010600', 'name': '통의동'}, {'code': '1111010700', 'name': '적선동'}, {'code': '1111010800', 'name': '통인동'}, {'code': '1111010900', 'name': '누상동'}, {'code': '1111011000', 'name': '누하동'}, {'code': '1111011100', 'name': '옥인동'}, {'code': '1111011200', 'name': '체부동'}, {'code': '1111011300', 'name': '필운동'}, {'code': '1111011400', 'name': '내자동'}, {'code': '1111011500', 'name': '사직동'}, {'code': '1111011600', 'name': '도렴동'}, {'code': '1111011700', 'name': '당주동'}, {'code': '1111011800', 'name': '내수동'}, {'code': '1111011900', 'name': '세종로'}, {'code': '1111012000', 'name': '신문로1가'}, {'code': '1111012100', 'name': '신문로2가'}, {'code': '1111012200', 'name': '청진동'}, {'code': '1111012300', 'name': '서린동'}, {'code': '1111012400', 'name': '수송동'}, {'code': '1111012500', 'name': '중학동'}, {'code': '1111012600', 'name': '종로1가'}, {'code': '1111012700', 'name': '공평동'}, {'code': '1111012800', 'name': '관훈동'}, {'code': '1111012900', 'name': '견지동'}, {'code': '1111013000', 'name': '와룡동'}, {'code': '1111013100', 'name': '권농동'}, {'code': '1111013200', 'name': '운니동'}, {'code': '1111013300', 'name': '익선동'}, {'code': '1111013400', 'name': '경운동'}, {'code': '1111013500', 'name': '관철동'}, {'code': '1111013600', 'name': '인사동'}, {'code': '1111013700', 'name': '낙원동'}, {'code': '1111013800', 'name': '종로2가'}, {'code': '1111013900', 'name': '팔판동'}, {'code': '1111014000', 'name': '삼청동'}, {'code': '1111014100', 'name': '안국동'}, {'code': '1111014200', 'name': '소격동'}, {'code': '1111014300', 'name': '화동'}, {'code': '1111014400', 'name': '사간동'}, {'code': '1111014500', 'name': '송현동'}, {'code': '1111014600', 'name': '가회동'}, {'code': '1111014700', 'name': '재동'}, {'code': '1111014800', 'name': '계동'}, {'code': '1111014900', 'name': '원서동'}, {'code': '1111015000', 'name': '훈정동'}, {'code': '1111015100', 'name': '묘동'}, {'code': '1111015200', 'name': '봉익동'}, {'code': '1111015300', 'name': '돈의동'}, {'code': '1111015400', 'name': '장사동'}, {'code': '1111015500', 'name': '관수동'}, {'code': '1111015600', 'name': '종로3가'}, {'code': '1111015700', 'name': '인의동'}, {'code': '1111015800', 'name': '예지동'}, {'code': '1111015900', 'name': '원남동'}, {'code': '1111016000', 'name': '연지동'}, {'code': '1111016100', 'name': '종로4가'}, {'code': '1111016200', 'name': '효제동'}, {'code': '1111016300', 'name': '종로5가'}, {'code': '1111016400', 'name': '종로6가'}, {'code': '1111016500', 'name': '이화동'}, {'code': '1111016600', 'name': '연건동'}, {'code': '1111016700', 'name': '충신동'}, {'code': '1111016800', 'name': '동숭동'}, {'code': '1111016900', 'name': '혜화동'}, {'code': '1111017000', 'name': '명륜1가'}, {'code': '1111017100', 'name': '명륜2가'}, {'code': '1111017200', 'name': '명륜4가'}, {'code': '1111017300', 'name': '명륜3가'}, {'code': '1111017400', 'name': '창신동'}, {'code': '1111017500', 'name': '숭인동'}, {'code': '1111017600', 'name': '교남동'}, {'code': '1111017700', 'name': '평동'}, {'code': '1111017800', 'name': '송월동'}, {'code': '1111017900', 'name': '홍파동'}, {'code': '1111018000', 'name': '교북동'}, {'code': '1111018100', 'name': '행촌동'}, {'code': '1111018200', 'name': '구기동'}, {'code': '1111018300', 'name': '평창동'}, {'code': '1111018400', 'name': '부암동'}, {'code': '1111018500', 'name': '홍지동'}, {'code': '1111018600', 'name': '신영동'}, {'code': '1111018700', 'name': '무악동'}]}, {'sigungu_code': '11140', 'sigungu_name': '중구', 'eup_myeon_dong': [{'code': '1114000000', 'name': 'NaN'}, {'code': '1114010100', 'name': '무교동'}, {'code': '1114010200', 'name': '다동'}, {'code': '1114010300', 'name': '태평로1가'}, {'code': '1114010400', 'name': '을지로1가'}, {'code': '1114010500', 'name': '을지로2가'}, {'code': '1114010600', 'name': '남대문로1가'}, {'code': '1114010700', 'name': '삼각동'}, {'code': '1114010800', 'name': '수하동'}, {'code': '1114010900', 'name': '장교동'}, {'code': '1114011000', 'name': '수표동'}, {'code': '1114011100', 'name': '소공동'}, {'code': '1114011200', 'name': '남창동'}, {'code': '1114011300', 'name': '북창동'}, {'code': '1114011400', 'name': '태평로2가'}, {'code': '1114011500', 'name': '남대문로2가'}, {'code': '1114011600', 'name': '남대문로3가'}, {'code': '1114011700', 'name': '남대문로4가'}, {'code': '1114011800', 'name': '남대문로5가'}, {'code': '1114011900', 'name': '봉래동1가'}, {'code': '1114012000', 'name': '봉래동2가'}, {'code': '1114012100', 'name': '회현동1가'}, {'code': '1114012200', 'name': '회현동2가'}, {'code': '1114012300', 'name': '회현동3가'}, {'code': '1114012400', 'name': '충무로1가'}, {'code': '1114012500', 'name': '충무로2가'}, {'code': '1114012600', 'name': '명동1가'}, {'code': '1114012700', 'name': '명동2가'}, {'code': '1114012800', 'name': '남산동1가'}, {'code': '1114012900', 'name': '남산동2가'}, {'code': '1114013000', 'name': '남산동3가'}, {'code': '1114013100', 'name': '저동1가'}, {'code': '1114013200', 'name': '충무로4가'}, {'code': '1114013300', 'name': '충무로5가'}, {'code': '1114013400', 'name': '인현동2가'}, {'code': '1114013500', 'name': '예관동'}, {'code': '1114013600', 'name': '묵정동'}, {'code': '1114013700', 'name': '필동1가'}, {'code': '1114013800', 'name': '필동2가'}, {'code': '1114013900', 'name': '필동3가'}, {'code': '1114014000', 'name': '남학동'}, {'code': '1114014100', 'name': '주자동'}, {'code': '1114014200', 'name': '예장동'}, {'code': '1114014300', 'name': '장충동1가'}, {'code': '1114014400', 'name': '장충동2가'}, {'code': '1114014500', 'name': '광희동1가'}, {'code': '1114014600', 'name': '광희동2가'}, {'code': '1114014700', 'name': '쌍림동'}, {'code': '1114014800', 'name': '을지로6가'}, {'code': '1114014900', 'name': '을지로7가'}, {'code': '1114015000', 'name': '을지로4가'}, {'code': '1114015100', 'name': '을지로5가'}, {'code': '1114015200', 'name': '주교동'}, {'code': '1114015300', 'name': '방산동'}, {'code': '1114015400', 'name': '오장동'}, {'code': '1114015500', 'name': '을지로3가'}, {'code': '1114015600', 'name': '입정동'}, {'code': '1114015700', 'name': '산림동'}, {'code': '1114015800', 'name': '충무로3가'}, {'code': '1114015900', 'name': '초동'}, {'code': '1114016000', 'name': '인현동1가'}, {'code': '1114016100', 'name': '저동2가'}, {'code': '1114016200', 'name': '신당동'}, {'code': '1114016300', 'name': '흥인동'}, {'code': '1114016400', 'name': '무학동'}, {'code': '1114016500', 'name': '황학동'}, {'code': '1114016600', 'name': '서소문동'}, {'code': '1114016700', 'name': '정동'}, {'code': '1114016800', 'name': '순화동'}, {'code': '1114016900', 'name': '의주로1가'}, {'code': '1114017000', 'name': '충정로1가'}, {'code': '1114017100', 'name': '중림동'}, {'code': '1114017200', 'name': '의주로2가'}, {'code': '1114017300', 'name': '만리동1가'}, {'code': '1114017400', 'name': '만리동2가'}]}, {'sigungu_code': '11170', 'sigungu_name': '용산구', 'eup_myeon_dong': [{'code': '1117000000', 'name': 'nan'}, {'code': '1117010100', 'name': '후암동'}, {'code': '1117010200', 'name': '용산동2가'}, {'code': '1117010300', 'name': '용산동4가'}, {'code': '1117010400', 'name': '갈월동'}, {'code': '1117010500', 'name': '남영동'}, {'code': '1117010600', 'name': '용산동1가'}, {'code': '1117010700', 'name': '동자동'}, {'code': '1117010800', 'name': '서계동'}, {'code': '1117010900', 'name': '청파동1가'}, {'code': '1117011000', 'name': '청파동2가'}, {'code': '1117011100', 'name': '청파동3가'}, {'code': '1117011200', 'name': '원효로1가'}, {'code': '1117011300', 'name': '원효로2가'}, {'code': '1117011400', 'name': '신창동'}, {'code': '1117011500', 'name': '산천동'}, {'code': '1117011600', 'name': '청암동'}, {'code': '1117011700', 'name': '원효로3가'}, {'code': '1117011800', 'name': '원효로4가'}, {'code': '1117011900', 'name': '효창동'}, {'code': '1117012000', 'name': '도원동'}, {'code': '1117012100', 'name': '용문동'}, {'code': '1117012200', 'name': '문배동'}, {'code': '1117012300', 'name': '신계동'}, {'code': '1117012400', 'name': '한강로1가'}, {'code': '1117012500', 'name': '한강로2가'}, {'code': '1117012600', 'name': '용산동3가'}, {'code': '1117012700', 'name': '용산동5가'}, {'code': '1117012800', 'name': '한강로3가'}, {'code': '1117012900', 'name': '이촌동'}, {'code': '1117013000', 'name': '이태원동'}, {'code': '1117013100', 'name': '한남동'}, {'code': '1117013200', 'name': '동빙고동'}, {'code': '1117013300', 'name': '서빙고동'}, {'code': '1117013400', 'name': '주성동'}, {'code': '1117013500', 'name': '용산동6가'}, {'code': '1117013600', 'name': '보광동'}]}, {'sigungu_code': '11200', 'sigungu_name': '성동구', 'eup_myeon_dong': [{'code': '1120000000', 'name': 'nan'}, {'code': '1120010100', 'name': '상왕십리동'}, {'code': '1120010200', 'name': '하왕십리동'}, {'code': '1120010300', 'name': '홍익동'}, {'code': '1120010400', 'name': '도선동'}, {'code': '1120010500', 'name': '마장동'}, {'code': '1120010600', 'name': '사근동'}, {'code': '1120010700', 'name': '행당동'}, {'code': '1120010800', 'name': '응봉동'}, {'code': '1120010900', 'name': '금호동1가'}, {'code': '1120011000', 'name': '금호동2가'}, {'code': '1120011100', 'name': '금호동3가'}, {'code': '1120011200', 'name': '금호동4가'}, {'code': '1120011300', 'name': '옥수동'}, {'code': '1120011400', 'name': '성수동1가'}, {'code': '1120011500', 'name': '성수동2가'}, {'code': '1120011800', 'name': '송정동'}, {'code': '1120012200', 'name': '용답동'}]}, {'sigungu_code': '11215', 'sigungu_name': '광진구', 'eup_myeon_dong': [{'code': '1121500000', 'name': 'nan'}, {'code': '1121510100', 'name': '중곡동'}, {'code': '1121510200', 'name': '능동'}, {'code': '1121510300', 'name': '구의동'}, {'code': '1121510400', 'name': '광장동'}, {'code': '1121510500', 'name': '자양동'}, {'code': '1121510700', 'name': '화양동'}, {'code': '1121510900', 'name': '군자동'}]}, {'sigungu_code': '11230', 'sigungu_name': '동대문구', 'eup_myeon_dong': [{'code': '1123000000', 'name': 'nan'}, {'code': '1123010100', 'name': '신설동'}, {'code': '1123010200', 'name': '용두동'}, {'code': '1123010300', 'name': '제기동'}, {'code': '1123010400', 'name': '전농동'}, {'code': '1123010500', 'name': '답십리동'}, {'code': '1123010600', 'name': '장안동'}, {'code': '1123010700', 'name': '청량리동'}, {'code': '1123010800', 'name': '회기동'}, {'code': '1123010900', 'name': '휘경동'}, {'code': '1123011000', 'name': '이문동'}]}, {'sigungu_code': '11260', 'sigungu_name': '중랑구', 'eup_myeon_dong': [{'code': '1126000000', 'name': 'nan'}, {'code': '1126010100', 'name': '면목동'}, {'code': '1126010200', 'name': '상봉동'}, {'code': '1126010300', 'name': '중화동'}, {'code': '1126010400', 'name': '묵동'}, {'code': '1126010500', 'name': '망우동'}, {'code': '1126010600', 'name': '신내동'}]}, {'sigungu_code': '11290', 'sigungu_name': '성북구', 'eup_myeon_dong': [{'code': '1129000000', 'name': 'nan'}, {'code': '1129010100', 'name': '성북동'}, {'code': '1129010200', 'name': '성북동1가'}, {'code': '1129010300', 'name': '돈암동'}, {'code': '1129010400', 'name': '동소문동1가'}, {'code': '1129010500', 'name': '동소문동2가'}, {'code': '1129010600', 'name': '동소문동3가'}, {'code': '1129010700', 'name': '동소문동4가'}, {'code': '1129010800', 'name': '동소문동5가'}, {'code': '1129010900', 'name': '동소문동6가'}, {'code': '1129011000', 'name': '동소문동7가'}, {'code': '1129011100', 'name': '삼선동1가'}, {'code': '1129011200', 'name': '삼선동2가'}, {'code': '1129011300', 'name': '삼선동3가'}, {'code': '1129011400', 'name': '삼선동4가'}, {'code': '1129011500', 'name': '삼선동5가'}, {'code': '1129011600', 'name': '동선동1가'}, {'code': '1129011700', 'name': '동선동2가'}, {'code': '1129011800', 'name': '동선동3가'}, {'code': '1129011900', 'name': '동선동4가'}, {'code': '1129012000', 'name': '동선동5가'}, {'code': '1129012100', 'name': '안암동1가'}, {'code': '1129012200', 'name': '안암동2가'}, {'code': '1129012300', 'name': '안암동3가'}, {'code': '1129012400', 'name': '안암동4가'}, {'code': '1129012500', 'name': '안암동5가'}, {'code': '1129012600', 'name': '보문동4가'}, {'code': '1129012700', 'name': '보문동5가'}, {'code': '1129012800', 'name': '보문동6가'}, {'code': '1129012900', 'name': '보문동7가'}, {'code': '1129013000', 'name': '보문동1가'}, {'code': '1129013100', 'name': '보문동2가'}, {'code': '1129013200', 'name': '보문동3가'}, {'code': '1129013300', 'name': '정릉동'}, {'code': '1129013400', 'name': '길음동'}, {'code': '1129013500', 'name': '종암동'}, {'code': '1129013600', 'name': '하월곡동'}, {'code': '1129013700', 'name': '상월곡동'}, {'code': '1129013800', 'name': '장위동'}, {'code': '1129013900', 'name': '석관동'}]}, {'sigungu_code': '11305', 'sigungu_name': '강북구', 'eup_myeon_dong': [{'code': '1130500000', 'name': 'nan'}, {'code': '1130510100', 'name': '미아동'}, {'code': '1130510200', 'name': '번동'}, {'code': '1130510300', 'name': '수유동'}, {'code': '1130510400', 'name': '우이동'}]}, {'sigungu_code': '11320', 'sigungu_name': '도봉구', 'eup_myeon_dong': [{'code': '1132000000', 'name': 'nan'}, {'code': '1132010500', 'name': '쌍문동'}, {'code': '1132010600', 'name': '방학동'}, {'code': '1132010700', 'name': '창동'}, {'code': '1132010800', 'name': '도봉동'}]}, {'sigungu_code': '11350', 'sigungu_name': '노원구', 'eup_myeon_dong': [{'code': '1135000000', 'name': 'nan'}, {'code': '1135010200', 'name': '월계동'}, {'code': '1135010300', 'name': '공릉동'}, {'code': '1135010400', 'name': '하계동'}, {'code': '1135010500', 'name': '상계동'}, {'code': '1135010600', 'name': '중계동'}]}, {'sigungu_code': '11380', 'sigungu_name': '은평구', 'eup_myeon_dong': [{'code': '1138000000', 'name': 'nan'}, {'code': '1138010100', 'name': '수색동'}, {'code': '1138010200', 'name': '녹번동'}, {'code': '1138010300', 'name': '불광동'}, {'code': '1138010400', 'name': '갈현동'}, {'code': '1138010500', 'name': '구산동'}, {'code': '1138010600', 'name': '대조동'}, {'code': '1138010700', 'name': '응암동'}, {'code': '1138010800', 'name': '역촌동'}, {'code': '1138010900', 'name': '신사동'}, {'code': '1138011000', 'name': '증산동'}, {'code': '1138011400', 'name': '진관동'}]}, {'sigungu_code': '11410', 'sigungu_name': '서대문구', 'eup_myeon_dong': [{'code': '1141000000', 'name': 'nan'}, {'code': '1141010100', 'name': '충정로2가'}, {'code': '1141010200', 'name': '충정로3가'}, {'code': '1141010300', 'name': '합동'}, {'code': '1141010400', 'name': '미근동'}, {'code': '1141010500', 'name': '냉천동'}, {'code': '1141010600', 'name': '천연동'}, {'code': '1141010700', 'name': '옥천동'}, {'code': '1141010800', 'name': '영천동'}, {'code': '1141010900', 'name': '현저동'}, {'code': '1141011000', 'name': '북아현동'}, {'code': '1141011100', 'name': '홍제동'}, {'code': '1141011200', 'name': '대현동'}, {'code': '1141011300', 'name': '대신동'}, {'code': '1141011400', 'name': '신촌동'}, {'code': '1141011500', 'name': '봉원동'}, {'code': '1141011600', 'name': '창천동'}, {'code': '1141011700', 'name': '연희동'}, {'code': '1141011800', 'name': '홍은동'}, {'code': '1141011900', 'name': '북가좌동'}, {'code': '1141012000', 'name': '남가좌동'}]}, {'sigungu_code': '11440', 'sigungu_name': '마포구', 'eup_myeon_dong': [{'code': '1144000000', 'name': 'nan'}, {'code': '1144010100', 'name': '아현동'}, {'code': '1144010200', 'name': '공덕동'}, {'code': '1144010300', 'name': '신공덕동'}, {'code': '1144010400', 'name': '도화동'}, {'code': '1144010500', 'name': '용강동'}, {'code': '1144010600', 'name': '토정동'}, {'code': '1144010700', 'name': '마포동'}, {'code': '1144010800', 'name': '대흥동'}, {'code': '1144010900', 'name': '염리동'}, {'code': '1144011000', 'name': '노고산동'}, {'code': '1144011100', 'name': '신수동'}, {'code': '1144011200', 'name': '현석동'}, {'code': '1144011300', 'name': '구수동'}, {'code': '1144011400', 'name': '창전동'}, {'code': '1144011500', 'name': '상수동'}, {'code': '1144011600', 'name': '하중동'}, {'code': '1144011700', 'name': '신정동'}, {'code': '1144011800', 'name': '당인동'}, {'code': '1144012000', 'name': '서교동'}, {'code': '1144012100', 'name': '동교동'}, {'code': '1144012200', 'name': '합정동'}, {'code': '1144012300', 'name': '망원동'}, {'code': '1144012400', 'name': '연남동'}, {'code': '1144012500', 'name': '성산동'}, {'code': '1144012600', 'name': '중동'}, {'code': '1144012700', 'name': '상암동'}]}, {'sigungu_code': '11470', 'sigungu_name': '양천구', 'eup_myeon_dong': [{'code': '1147000000', 'name': 'nan'}, {'code': '1147010100', 'name': '신정동'}, {'code': '1147010200', 'name': '목동'}, {'code': '1147010300', 'name': '신월동'}]}, {'sigungu_code': '11500', 'sigungu_name': '강서구', 'eup_myeon_dong': [{'code': '1150000000', 'name': 'nan'}, {'code': '1150000100', 'name': '신정동'}, {'code': '1150000200', 'name': '신월동'}, {'code': '1150010100', 'name': '염창동'}, {'code': '1150010200', 'name': '등촌동'}, {'code': '1150010300', 'name': '화곡동'}, {'code': '1150010400', 'name': '가양'}, {'code': '1150010500', 'name': '마곡동'}, {'code': '1150010600', 'name': '내발산동'}, {'code': '1150010700', 'name': '외발산동'}, {'code': '1150010800', 'name': '공항동'}, {'code': '1150010900', 'name': '방화동'}, {'code': '1150011000', 'name': '개화동'}, {'code': '1150011100', 'name': '과해동'}, {'code': '1150011200', 'name': '오곡동'}, {'code': '1150011300', 'name': '오쇠동'}]}, {'sigungu_code': '11530', 'sigungu_name': '구로구', 'eup_myeon_dong': [{'code': '1153000000', 'name': 'nan'}, {'code': '1153010100', 'name': '신도림동'}, {'code': '1153010200', 'name': '구로동'}, {'code': '1153010300', 'name': '가리봉동'}, {'code': '1153010600', 'name': '고척동'}, {'code': '1153010700', 'name': '개봉동'}, {'code': '1153010800', 'name': '오류동'}, {'code': '1153010900', 'name': '궁동'}, {'code': '1153011000', 'name': '온수동'}, {'code': '1153011100', 'name': '천왕동'}, {'code': '1153011200', 'name': '항동'}]}, {'sigungu_code': '11545', 'sigungu_name': '금천구', 'eup_myeon_dong': [{'code': '1154500000', 'name': 'nan'}, {'code': '1154510100', 'name': '가산동'}, {'code': '1154510200', 'name': '독산동'}, {'code': '1154510300', 'name': '시흥동'}]}, {'sigungu_code': '11560', 'sigungu_name': '영등포구', 'eup_myeon_dong': [{'code': '1156000000', 'name': 'nan'}, {'code': '1156010100', 'name': '영등포동'}, {'code': '1156010200', 'name': '영등포동1가'}, {'code': '1156010300', 'name': '영등포동2가'}, {'code': '1156010400', 'name': '영등포동3가'}, {'code': '1156010500', 'name': '영등포동4가'}, {'code': '1156010600', 'name': '영등포동5가'}, {'code': '1156010700', 'name': '영등포동6가'}, {'code': '1156010800', 'name': '영등포동7가'}, {'code': '1156010900', 'name': '영등포동8가'}, {'code': '1156011000', 'name': '여의도동'}, {'code': '1156011100', 'name': '당산동1가'}, {'code': '1156011200', 'name': '당산동2가'}, {'code': '1156011300', 'name': '당산동3가'}, {'code': '1156011400', 'name': '당산동4가'}, {'code': '1156011500', 'name': '당산동5가'}, {'code': '1156011600', 'name': '당산동6가'}, {'code': '1156011700', 'name': '당산동'}, {'code': '1156011800', 'name': '도림동'}, {'code': '1156011900', 'name': '문래동1가'}, {'code': '1156012000', 'name': '문래동2가'}, {'code': '1156012100', 'name': '문래동3가'}, {'code': '1156012200', 'name': '문래동4가'}, {'code': '1156012300', 'name': '문래동5가'}, {'code': '1156012400', 'name': '문래동6가'}, {'code': '1156012500', 'name': '양평동1가'}, {'code': '1156012600', 'name': '양평동2가'}, {'code': '1156012700', 'name': '양평동3가'}, {'code': '1156012800', 'name': '양평동4가'}, {'code': '1156012900', 'name': '양평동5가'}, {'code': '1156013000', 'name': '양평동6가'}, {'code': '1156013100', 'name': '양화동'}, {'code': '1156013200', 'name': '신길동'}, {'code': '1156013300', 'name': '대림동'}, {'code': '1156013400', 'name': '양평동'}]}, {'sigungu_code': '11590', 'sigungu_name': '동작구', 'eup_myeon_dong': [{'code': '1159000000', 'name': 'nan'}, {'code': '1159010100', 'name': '노량진동'}, {'code': '1159010200', 'name': '상도동'}, {'code': '1159010300', 'name': '상도1동'}, {'code': '1159010400', 'name': '본동'}, {'code': '1159010500', 'name': '흑석동'}, {'code': '1159010600', 'name': '동작동'}, {'code': '1159010700', 'name': '사당동'}, {'code': '1159010800', 'name': '대방동'}, {'code': '1159010900', 'name': '신대방동'}]}, {'sigungu_code': '11620', 'sigungu_name': '관악구', 'eup_myeon_dong': [{'code': '1162000000', 'name': 'nan'}, {'code': '1162010100', 'name': '봉천동'}, {'code': '1162010200', 'name': '신림동'}, {'code': '1162010300', 'name': '남현동'}]}, {'sigungu_code': '11650', 'sigungu_name': '서초구', 'eup_myeon_dong': [{'code': '1165000000', 'name': 'nan'}, {'code': '1165010100', 'name': '방배동'}, {'code': '1165010200', 'name': '양재동'}, {'code': '1165010300', 'name': '우면동'}, {'code': '1165010400', 'name': '원지동'}, {'code': '1165010600', 'name': '잠원동'}, {'code': '1165010700', 'name': '반포동'}, {'code': '1165010800', 'name': '서초동'}, {'code': '1165010900', 'name': '내곡동'}, {'code': '1165011000', 'name': '염곡동'}, {'code': '1165011100', 'name': '신원동'}]}, {'sigungu_code': '11680', 'sigungu_name': '강남구', 'eup_myeon_dong': [{'code': '1168000000', 'name': 'nan'}, {'code': '1168010100', 'name': '역삼동'}, {'code': '1168010300', 'name': '개포동'}, {'code': '1168010400', 'name': '청담동'}, {'code': '1168010500', 'name': '삼성동'}, {'code': '1168010600', 'name': '대치동'}, {'code': '1168010700', 'name': '신사동'}, {'code': '1168010800', 'name': '논현동'}, {'code': '1168011000', 'name': '압구정동'}, {'code': '1168011100', 'name': '세곡동'}, {'code': '1168011200', 'name': '자곡동'}, {'code': '1168011300', 'name': '율현동'}, {'code': '1168011400', 'name': '일원동'}, {'code': '1168011500', 'name': '수서동'}, {'code': '1168011800', 'name': '도곡동'}]}, {'sigungu_code': '11710', 'sigungu_name': '송파구', 'eup_myeon_dong': [{'code': '1171000000', 'name': 'nan'}, {'code': '1171010100', 'name': '잠실동'}, {'code': '1171010200', 'name': '신천동'}, {'code': '1171010300', 'name': '풍납동'}, {'code': '1171010400', 'name': '송파동'}, {'code': '1171010500', 'name': '석촌동'}, {'code': '1171010600', 'name': '삼전동'}, {'code': '1171010700', 'name': '가락동'}, {'code': '1171010800', 'name': '문정동'}, {'code': '1171010900', 'name': '장지동'}, {'code': '1171011100', 'name': '방이동'}, {'code': '1171011200', 'name': '오금동'}, {'code': '1171011300', 'name': '거여동'}, {'code': '1171011400', 'name': '마천동'}]}, {'sigungu_code': '11740', 'sigungu_name': '강동구', 'eup_myeon_dong': [{'code': '1174000000', 'name': 'nan'}, {'code': '1174010100', 'name': '명일동'}, {'code': '1174010200', 'name': '고덕동'}, {'code': '1174010300', 'name': '상일동'}, {'code': '1174010500', 'name': '길동'}, {'code': '1174010600', 'name': '둔촌동'}, {'code': '1174010700', 'name': '암사동'}, {'code': '1174010800', 'name': '성내동'}, {'code': '1174010900', 'name': '천호동'}, {'code': '1174011000', 'name': '강일동'}]}]

필터된 시/군/구 리스트:
[{'sigungu_code': '11680', 'sigungu_name': '강남구', 'eup_myeon_dong': [{'code': '1168000000', 'name': 'nan'}, {'code': '1168010100', 'name': '역삼동'}, {'code': '1168010300', 'name': '개포동'}, {'code': '1168010400', 'name': '청담동'}, {'code': '1168010500', 'name': '삼성동'}, {'code': '1168010600', 'name': '대치동'}, {'code': '1168010700', 'name': '신사동'}, {'code': '1168010800', 'name': '논현동'}, {'code': '1168011000', 'name': '압구정동'}, {'code': '1168011100', 'name': '세곡동'}, {'code': '1168011200', 'name': '자곡동'}, {'code': '1168011300', 'name': '율현동'}, {'code': '1168011400', 'name': '일원동'}, {'code': '1168011500', 'name': '수서동'}, {'code': '1168011800', 'name': '도곡동'}]}]