잡

Python을 사용함에 있어 날짜관련한 계산이 필요한 경우가 있다. 내가 접한 문제는내가 입력한 기간을 일정한 기간으로 분한할 필요가 있는데이를 두달 단위로 나눠야 한다는 것이다.여기서 월별로 나누는 기능이 필요했다. https://docs.python.org/2/library/datetime.html 파이썬 홈페이지를 참고하여 datetime을 사용하였다. 기본적으로 날짜를 선언하기 위해선123import datetime date = datetime.date(2017,1,2)cs 위와 같이 선언하면 된다.Text로 선언한 후 , 파싱할 수도 있다. 다음으로 date로부터 일정 기간을 더하거나 빼고 싶을 경우12345678import datetimefrom datetime import timedelta ..

웹 크롤러를 제작하면서 단순히 HTML코드뿐 아니라 pdf, txt, csv등 여러 파일을 읽어야 하는 순간이 생기게 된다. 1. 텍스트 파일사실 텍스트 파일을 직접 올리는 경우는 많지 않다. 그러나 문서만을 다루는 사이트들의 경우 텍스트 파일을 다루는 경우도 종종 있다.http://doohaproject.tistory.com/22 에 있는 예제 파일을 기준으로 파일을 읽는다면 from urllib.request import urlopen text = urlopen('http://doohaproject.tistory.com/attachment/cfile2.uf@25A2F43359777C510E95C5.txt') string = text.read() print(string) 위의 소스를 실행해보면 파일의 ..

CSV 는 스프레드시터 데이터 저장에 사용된다. 이는 마이크로소프트 엑셀은 물론 여러 프로그램에서 호환이 된다.CSV를 사용할 때는 하나의 row를 writerow 명령어를 통해 같이 입력해주어야 한다. import csv csvFile = open("./test.csv", 'w+') try: writer = csv.writer(csvFile) writer.writerow(('number', 'number plus 2 ', 'number times 2')) for i in range(10): writer.writerow((i, i+2, i*2)) finally: csvFile.close() 다음으로 MySQL 혹은 MariaDB와 같은 데이터베이스를 사용하여 데이터를 저장하는 방법데이터 베이스를 사용하면..

웹에서 데이터를 저장하는 방법에는 여러가지가 있을 수 있다.각종 파일을 직접 저장하는 방법도 있고, 링크를 저장할 수 있다.그러나 링크를 저장하는 경우, 해당 파일이 외부에 있기 때문에 파일변경등의 문제가 발생하면 전혀 해결할 수 없다.따라서 필수적인 자료는 저장하는게 더 나은 선택일 수 있다. 여기서는 urlretrieve를 사용(https://docs.python.org/3/library/urllib.request.html#legacy-interface) 예시1 from urllib.request import urlopen from urllib.request import urlretrieve from bs4 import BeautifulSoup html = urlopen("http://doohapro..

Failed building wheel for cryptography오류가 발생하고 패키지 설치가 안되는 경우 sudo apt-get install libssl-dev를 통해 해결할 수 있다.

오픈 소스 시대에 많은 사람들이 코딩을 즐기고 있고, 실제 그것으로 서비스를 진행해보자 하는 사람들이 많다. 나 역시 내가 만든 프로그램을 웹을 통해 서비스를 해보고 싶었고, 평소 자주 사용하는 파이썬을 이용하기로 결정하였다.파이썬에서 대표적인 웹 프레임웍은 장고, 플라스크 등이 있는데, 나는 좀 더 편리한 장고를 사용하기로 했다. 사실 한글로 된 장고 입문서적을 몇권 봤지만 위에 나온 책이 가장 나은 듯 하다.빨간색은 기본편 파란색은 실전편으로 나뉘어져 있다.기본편의 경우 웹에 대한 기본적인 설명부터 장고에 기저에서 동작하는 방식에 대해 조금 세세하게 설명해준다.그래서인지 실제 기능중심으로 model, view Form등의 예제를 따라가면서 익히는 파란책이 오히려 더 쉽게 느껴지기도 한다. 개인적인 경..

많은 프로젝트를 진행하면서 가장 중요했던 것 중 하나는 데이터 수집이다.데이터를 많이 수집해야, 그걸 기반으로 패턴을 추출하는등의 과정을 거쳐 유의미한 결과물이 생성되기 때문이다.그래서 BeautifulSoup을 통해 간단한 웹 크롤러를 제작하여 데이터를 수집했다.처음 제작하고선 괜찮았다고 생각했는데, 이 책을 읽고나니 전혀 그렇지 않다는 것을 깨달을 수 있었다. 책에서는 기본적으로 웹에대한 간략한 설명을 한 후, 웹크롤러를 만들면서 발생할 수 있는 문제점과 테크닉들을 설명한다.책 두께가 얇다보니 분량 자체는 많지 않지만, 하나하나 꼼꼼하게 읽어볼 필요는 있다.크롤링은 Scrapy와 BeautifulSoup을 활용하여 진행되니 참고하면 좋을 듯 하다. 크롤러를 제작해보려는 사람들이 읽으면 좋고,나처럼 단..