코드공부방

약 2년전쯤 한창 빠져있다가 요즘은 가끔 일할때만 사용하고있는 파이썬 언어. 좀 나태해진 기분이랄까? 마음을 다잡기 위해 선택한 책이다. 이 책은 데이터분석을 깊이있게 다루진 않지만 실생활 속 예제를 통해 데이터분석의 맛을 볼 수 있게 해준다. 즉 파이썬 언어에 대한 기초 지식이 있지만 그 지식으로 뭘 해야할지 모르는 사람을 대상으로 이런것도 할 수 있다라는 것을 소개해주는 책이라고 보면 될 것 같다. 내용은 파이썬 기초 문법, 공공데이터를 어디서 어떻게 활용할 수 있는지, 데이터 시각화 기초, 실제 분석경험(우리동네 인구 구조 시각화, 대중교통 이용현황 시각화), 데이터분석 라이브러리 소개를 다루고 있다. 파이썬 기초 문법을 다루기때문에 다른 프로그래밍 경험이 있다면 책을 보는데 무리는 없어 보인다. ..

C, C++, C#, Python 단순 비교 C #include int main(void){ print("hello world") } C++ #include int main(void){ std::out

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (4) 이제 특정 언론사에서 뉴스를 수집하여 카테고리별로 DB에 저장하는 것까진 완료되었다. "뉴스 수집" 과정의 남은 과제는 수집된 뉴스 목록의 상세 내용을 수집하여 DB에 넣어주기만 하면 된다. 프로세스는 간단하다. 뉴스 목록 테이블 (TBL_LAND_NEWS_LIST)에서 NEWS_CONTENT Column의 값이 "수집 중입니다."인 row의 뉴스 URL값을 가져와 한번씩 조회하여 뉴스 상세 내용을 가져와 다시 뉴스 목록 테이블의 NEWS_CONTENT Column의 값을 UPDATE해줄 예정이다. (좀 더 깔끔한 방법은 뉴스 목록 테이블에 DETAIL_STATUS라는 Column을 하나 추가하여 상태값에 따라 상세 내용 수집 여..

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (3) python에서 MariaDB를 접근할땐 mysql.connector라이브러리를 사용한다. 앞서 얘기했듯이 본 포스팅에선 DB서버 구축이나 라이브러리의 설치 등의 과정은 생략하고 나중에 별도로 정리해볼 예정이다. import mysql.connector dbconn = mysql.connector.connect(host='host명', user='DB 서버 접근 ID', password='DB서버 접근 PW', database='DB명', port='포트') cursor = dbconn.cursor() insert_data(dbconn, cursor) dbconn.commit() dbconn.close() 위와 같은 방식으로 db..

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (2) 앞선 포스팅에서 서울경제에서 원하는 카테고리의 뉴스 목록을 수집하여 console에 print하는 것까지 작업을 진행하였다. 파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (1) 파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (1) 벌써 2021년 10월이다. 맙소사.. 2020년 12월 28일에 회고 글을 작성하며 2021년엔 많은 것들을 이뤄보자라는 생각을 했었 code-study.tistory.com 이번 포스팅에서는 수집한 데이터를 단순히 print하여 휘발시키는 것이 아닌 DB에 입력하는 것까지 진행해보려고 한다. 먼저 테이블 구조를 설계해야하는데, 복잡한 구조가 아니기때문에 테..

파이썬으로 최신 부동산 뉴스를 모아서 보자! (웹 크롤링/스크래핑) (1) 벌써 2021년 10월이다. 맙소사.. 2020년 12월 28일에 회고 글을 작성하며 2021년엔 많은 것들을 이뤄보자라는 생각을 했었는데.. 무엇을 해냈는가.. 이 블로그도 열심히 해보려고 했는데.. 2021년에 작성된 글은 고작 4개이다. (반성하자..) 뒤늦게 정신을 차리고 작은 프로젝트라도 시작해야겠다 싶어 뭘 해볼까 고민하다가 요즘 관심이 있는 부동산 분야의 뉴스를 여기저기서 모아와 한 곳에서 보여주는 웹페이지를 만들어보기로 했다. 단순히 긁어서 뉴스를 제공하는 것도 좋지만 모아와서 유의미한 정보를 제공해주고 싶기도 하다. 하지만 생각이 많아지면 당장 실행이 안될 것 같아 일단 부동산 뉴스부터 긁어보기로 했다. 먼저 검색..

데이터를 CSV형태로 저장하면 간단한 2차원 데이터밖에 표현할 수 없지만 JSON을 사용하면 list 또는 dict를 조합한 복잡한 데이터 구조를 쉽게 다룰 수 있다. 파이썬은 JSON(JavaScript Object Notation) 형식을 쉽게 다룰 수 있는 모듈을 제공한다. # json 모듈 로드 import json persons = [ {'name':'Han Byungik', 'age':35, 'hobby':'game'}, {'name':'Park junkyu', 'age':34, 'hobby':'walk'}, {'name':'Lee hyunbok', 'age':37, 'hobby':'talk'}, {'name':'Yoon hyejun', 'age':37, 'hobby':'sleep'}, {'n..

문장에서 HTML 코드 제거 (javascript, python) 웹크롤링을 하거나 또는 가공된 데이터를 가져다 쓰다보면 데이터 내에 HTML코드가 삽입되어 있어 이를 제거하고 싶은 경우가 생길 수 있다. 이때 아래처럼 함수를 만들어 사용하여 간단하게 HTML코드 제거가 가능하다. # Python import re def remove_html(sentence) : sentence = re.sub('(]+)>)', '', sentence) return sentence sentence = '나는 지금 화장품을 사러 가고 있다.' sentence = remove_html(sentence) print(sentence) # > 나는 지금 화장품을 사러 가고 있다. # Javascript function remov..

패스트캠퍼스 - 파이썬 (Python) 온라인 강의 결제! 정말 오랫동안 아래와 같은 고민을 하다가 결국 오늘 결제를 했다. 1. 온라인 강의 결제를 할까? 말까? 일단 매일 출근해야하는 직장인이며, 일하지 않는 시간에는 육아를 아예 손뗄 수 없기 때문에 오프라인 강의보다는 온라인 강의를 선택해야했고, 끝까지 포기하지 않고 끝까지 완강할 수 있을까란 의심, 하지만 이제 선택이 아닌 필수로 해야할 시기가 온 것 같아서 온라인 강의 결제를 해보기로 결정했다. 필수라고 생각한 이유는 직접 만들어보고 싶은 서비스도 있고, 이제 경력이 많은 웹퍼블리셔는 정말 거의 벼랑 끝에 온 것 같은 느낌이다. (이 생각은 실제로 업계에서 웹퍼블리셔라는 직종이 위기에 처한 상태인가에 대한 것과는 무관하게 지극히 개인적인 느낌이..