잡

Python을 사용함에 있어 날짜관련한 계산이 필요한 경우가 있다. 내가 접한 문제는내가 입력한 기간을 일정한 기간으로 분한할 필요가 있는데이를 두달 단위로 나눠야 한다는 것이다.여기서 월별로 나누는 기능이 필요했다. https://docs.python.org/2/library/datetime.html 파이썬 홈페이지를 참고하여 datetime을 사용하였다. 기본적으로 날짜를 선언하기 위해선123import datetime date = datetime.date(2017,1,2)cs 위와 같이 선언하면 된다.Text로 선언한 후 , 파싱할 수도 있다. 다음으로 date로부터 일정 기간을 더하거나 빼고 싶을 경우12345678import datetimefrom datetime import timedelta ..

웹 크롤러를 제작하면서 단순히 HTML코드뿐 아니라 pdf, txt, csv등 여러 파일을 읽어야 하는 순간이 생기게 된다. 1. 텍스트 파일사실 텍스트 파일을 직접 올리는 경우는 많지 않다. 그러나 문서만을 다루는 사이트들의 경우 텍스트 파일을 다루는 경우도 종종 있다.http://doohaproject.tistory.com/22 에 있는 예제 파일을 기준으로 파일을 읽는다면 from urllib.request import urlopen text = urlopen('http://doohaproject.tistory.com/attachment/cfile2.uf@25A2F43359777C510E95C5.txt') string = text.read() print(string) 위의 소스를 실행해보면 파일의 ..

CSV 는 스프레드시터 데이터 저장에 사용된다. 이는 마이크로소프트 엑셀은 물론 여러 프로그램에서 호환이 된다.CSV를 사용할 때는 하나의 row를 writerow 명령어를 통해 같이 입력해주어야 한다. import csv csvFile = open("./test.csv", 'w+') try: writer = csv.writer(csvFile) writer.writerow(('number', 'number plus 2 ', 'number times 2')) for i in range(10): writer.writerow((i, i+2, i*2)) finally: csvFile.close() 다음으로 MySQL 혹은 MariaDB와 같은 데이터베이스를 사용하여 데이터를 저장하는 방법데이터 베이스를 사용하면..

웹에서 데이터를 저장하는 방법에는 여러가지가 있을 수 있다.각종 파일을 직접 저장하는 방법도 있고, 링크를 저장할 수 있다.그러나 링크를 저장하는 경우, 해당 파일이 외부에 있기 때문에 파일변경등의 문제가 발생하면 전혀 해결할 수 없다.따라서 필수적인 자료는 저장하는게 더 나은 선택일 수 있다. 여기서는 urlretrieve를 사용(https://docs.python.org/3/library/urllib.request.html#legacy-interface) 예시1 from urllib.request import urlopen from urllib.request import urlretrieve from bs4 import BeautifulSoup html = urlopen("http://doohapro..

Failed building wheel for cryptography오류가 발생하고 패키지 설치가 안되는 경우 sudo apt-get install libssl-dev를 통해 해결할 수 있다.

저번 문자인식 프로젝트를 종료하고,이번학기부터 EPL의 승부를 예측하는 프로젝트를 시작한다.프로젝트를 진행하기 위한 필수적으로 선수들의 데이터와 경기내용 경기결과등의 정보등이 필요하다.그래서 우선적으로 웹크롤러를 만들어, 자동으로 데이터를 수집하는 프로그램을 제작해보았다. 처음에는 C/C++을 통해서 구현하려 했으나, 너무 방대한 소스와, 지식이 필요하다.그래서 파이썬을 활용하는 것으로 방향을 선회했다. 왜냐하면 파이썬은 어렵지 않고, 지원되는 모듈이 많아 크롤러 제작해 적합했기 때문파이썬의 기본 문법은 다른 언어를 익혀본 사람이라면 , 적어도 2일 많으면 4~5일이면 익숙해질 수 있을 것이라 생각한다. 파이썬에는 다양한 모듈들이 지원되고 있다. 그 중에서 우리가 활용할 핵심 모듈은BeautifulSou..

파이썬을 사용하는 이유중에 하나는 강력하고 다양한 라이브러리라고 생각한다.많은 파이썬 이용자들이 수학, 웹, 데이터를 가리지 않고 많은 라이브러리들을 설치하게 되는데여기서 라이브러리간 의존성 문제등으로 충돌이 발생할 수 있다.또한, 내가 만든 프로그램을 옮기거나 배포하는 경우 이전에 설치했던 라이브러리를 포함하지 않으면 문제가 생기고,이를 다시 설치하자면 굉장히 귀찮다. 이러한 문제들은 파이썬 가상환경 virtualenv를 사용함으로써 해결할 수 있다.파이썬 가상환경은 말 그대로 파이썬을 실행하는 가상의 환경을 뜻한다.virtualenv는 특정 용도로 사용할 수 있는 독립적인 파이썬 가상환경을 새로 생성하여다른 프로젝트를 진행하면서 설치했던 라이브러리들과의 의존성 문제를 해결할 수 있도록 도와준다.또한,..