코드공부방

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (4) 이제 특정 언론사에서 뉴스를 수집하여 카테고리별로 DB에 저장하는 것까진 완료되었다. "뉴스 수집" 과정의 남은 과제는 수집된 뉴스 목록의 상세 내용을 수집하여 DB에 넣어주기만 하면 된다. 프로세스는 간단하다. 뉴스 목록 테이블 (TBL_LAND_NEWS_LIST)에서 NEWS_CONTENT Column의 값이 "수집 중입니다."인 row의 뉴스 URL값을 가져와 한번씩 조회하여 뉴스 상세 내용을 가져와 다시 뉴스 목록 테이블의 NEWS_CONTENT Column의 값을 UPDATE해줄 예정이다. (좀 더 깔끔한 방법은 뉴스 목록 테이블에 DETAIL_STATUS라는 Column을 하나 추가하여 상태값에 따라 상세 내용 수집 여..

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (3) python에서 MariaDB를 접근할땐 mysql.connector라이브러리를 사용한다. 앞서 얘기했듯이 본 포스팅에선 DB서버 구축이나 라이브러리의 설치 등의 과정은 생략하고 나중에 별도로 정리해볼 예정이다. import mysql.connector dbconn = mysql.connector.connect(host='host명', user='DB 서버 접근 ID', password='DB서버 접근 PW', database='DB명', port='포트') cursor = dbconn.cursor() insert_data(dbconn, cursor) dbconn.commit() dbconn.close() 위와 같은 방식으로 db..

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (1) 벌써 2021년 10월이다. 맙소사.. 2020년 12월 28일에 회고 글을 작성하며 2021년엔 많은 것들을 이뤄보자라는 생각을 했었는데.. 무엇을 해냈는가.. 이 블로그도 열심히 해보려고 했는데.. 2021년에 작성된 글은 고작 4개이다. (반성하자..) 뒤늦게 정신을 차리고 작은 프로젝트라도 시작해야겠다 싶어 뭘 해볼까 고민하다가 요즘 관심이 있는 부동산 분야의 뉴스를 여기저기서 모아와 한 곳에서 보여주는 웹페이지를 만들어보기로 했다. 단순히 긁어서 뉴스를 제공하는 것도 좋지만 모아와서 유의미한 정보를 제공해주고 싶기도 하다. 하지만 생각이 많아지면 당장 실행이 안될 것 같아 일단 부동산 뉴스부터 긁어보기로 했다. 먼저 검색..