코드공부방

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (3) python에서 MariaDB를 접근할땐 mysql.connector라이브러리를 사용한다. 앞서 얘기했듯이 본 포스팅에선 DB서버 구축이나 라이브러리의 설치 등의 과정은 생략하고 나중에 별도로 정리해볼 예정이다. import mysql.connector dbconn = mysql.connector.connect(host='host명', user='DB 서버 접근 ID', password='DB서버 접근 PW', database='DB명', port='포트') cursor = dbconn.cursor() insert_data(dbconn, cursor) dbconn.commit() dbconn.close() 위와 같은 방식으로 db..

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (2) 앞선 포스팅에서 서울경제에서 원하는 카테고리의 뉴스 목록을 수집하여 console에 print하는 것까지 작업을 진행하였다. 파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (1) 파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (1) 벌써 2021년 10월이다. 맙소사.. 2020년 12월 28일에 회고 글을 작성하며 2021년엔 많은 것들을 이뤄보자라는 생각을 했었 code-study.tistory.com 이번 포스팅에서는 수집한 데이터를 단순히 print하여 휘발시키는 것이 아닌 DB에 입력하는 것까지 진행해보려고 한다. 먼저 테이블 구조를 설계해야하는데, 복잡한 구조가 아니기때문에 테..

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (1) 벌써 2021년 10월이다. 맙소사.. 2020년 12월 28일에 회고 글을 작성하며 2021년엔 많은 것들을 이뤄보자라는 생각을 했었는데.. 무엇을 해냈는가.. 이 블로그도 열심히 해보려고 했는데.. 2021년에 작성된 글은 고작 4개이다. (반성하자..) 뒤늦게 정신을 차리고 작은 프로젝트라도 시작해야겠다 싶어 뭘 해볼까 고민하다가 요즘 관심이 있는 부동산 분야의 뉴스를 여기저기서 모아와 한 곳에서 보여주는 웹페이지를 만들어보기로 했다. 단순히 긁어서 뉴스를 제공하는 것도 좋지만 모아와서 유의미한 정보를 제공해주고 싶기도 하다. 하지만 생각이 많아지면 당장 실행이 안될 것 같아 일단 부동산 뉴스부터 긁어보기로 했다. 먼저 검색..

데이터를 CSV형태로 저장하면 간단한 2차원 데이터밖에 표현할 수 없지만 JSON을 사용하면 list 또는 dict를 조합한 복잡한 데이터 구조를 쉽게 다룰 수 있다. 파이썬은 JSON(JavaScript Object Notation) 형식을 쉽게 다룰 수 있는 모듈을 제공한다. # json 모듈 로드 import json persons = [ {'name':'Han Byungik', 'age':35, 'hobby':'game'}, {'name':'Park junkyu', 'age':34, 'hobby':'walk'}, {'name':'Lee hyunbok', 'age':37, 'hobby':'talk'}, {'name':'Yoon hyejun', 'age':37, 'hobby':'sleep'}, {'n..

[웹크롤링, 웹스크래핑] 웹사이트 인코딩 확인 및 디코딩하기 (python) 파이썬 urllib을 사용해 스크래핑을 할때, HTTP헤더와 HTML의 meta 태그를 기반으로 웹페이지 인코딩 방식을 판별해야 한다. 인코딩 방식을 제대로 판별하지 않으면 문자가 깨져보여 정확한 데이터를 추출할 수 없다. 먼저 urllib.request 모듈을 사용하여 네이버 웹페이지 소스를 추출해보자. from urllib.request import urlopen f = urlopen('https://naver.com') f.read() 위 코드를 실행하면 아래와 같은 결과값을 얻을 수 있다. 한글이 모두 깨져서 출력이 된다. HTTPResponse.read() 메소드로 추출한 값은 bytes 자료형이므로 원하는 정보를 얻으..

pystan, fbprophet 라이브러리를 설치 및 import 후 간단한 테스트를 위해 프로그램을 실행하려는데 "ImportError: DLL load failed while importing _api: 지정된 모듈을 찾을 수 없습니다." 에러를 뱉어내며 실행이 되지 않는다. 예감이 좋지 않았다. 그리고 예감은 적중했다. 이것을 해결하는데 무려 1시간 30분이나 소요됐다. 결론만 얘기하면 pystan을 2.18이전 버전으로 돌려야 하는 문제이다. 아래와 같이 설치하면 된다. pip install "pystan

문장에서 HTML 코드 제거 (javascript, python) 웹크롤링을 하거나 또는 가공된 데이터를 가져다 쓰다보면 데이터 내에 HTML코드가 삽입되어 있어 이를 제거하고 싶은 경우가 생길 수 있다. 이때 아래처럼 함수를 만들어 사용하여 간단하게 HTML코드 제거가 가능하다. # Python import re def remove_html(sentence) : sentence = re.sub('(]+)>)', '', sentence) return sentence sentence = '나는 지금 화장품을 사러 가고 있다.' sentence = remove_html(sentence) print(sentence) # > 나는 지금 화장품을 사러 가고 있다. # Javascript function remov..

첫 회고를 작성해본다. 2020년을 시작으로 매년 해볼 생각이다. 며칠 전 일도 기억이 안나는데 과연 1년을 되돌아본다는게 가능할지 모르겠지만, 그래서 아마 이 글은 몇 번의 임시 저장을 통해 공개되지 않을가 싶다. 1. 직장 1-1. 정규직 입사 웹디자이너로 IT업계에 발을 들여 현재까지 약 9년동안 일하면서 꽤 많은 이직을 했고, 중간 중간 프리랜서 경력도 많은 편이다. (= 깨끗하지 않은 이력) 2019년말 경 시작했던 프로젝트를 끝으로 프리랜서(계약직)를 정리하고 정규직으로의 취업을 원했다. 하지만 "웹퍼블리셔"란 직군은 웹에이전시가 아니고서야 정규직으로 두긴 부담스러운게 사실이다. 하지만 다시 웹에이전시에 가서 만들어놓고 떠나는 일은 하고싶지 않았다. 내가 애착을 갖고 서비스를 계속 발전시켜나가..