잡

웹에서 데이터를 저장하는 방법에는 여러가지가 있을 수 있다.각종 파일을 직접 저장하는 방법도 있고, 링크를 저장할 수 있다.그러나 링크를 저장하는 경우, 해당 파일이 외부에 있기 때문에 파일변경등의 문제가 발생하면 전혀 해결할 수 없다.따라서 필수적인 자료는 저장하는게 더 나은 선택일 수 있다. 여기서는 urlretrieve를 사용(https://docs.python.org/3/library/urllib.request.html#legacy-interface) 예시1 from urllib.request import urlopen from urllib.request import urlretrieve from bs4 import BeautifulSoup html = urlopen("http://doohapro..

저번 문자인식 프로젝트를 종료하고,이번학기부터 EPL의 승부를 예측하는 프로젝트를 시작한다.프로젝트를 진행하기 위한 필수적으로 선수들의 데이터와 경기내용 경기결과등의 정보등이 필요하다.그래서 우선적으로 웹크롤러를 만들어, 자동으로 데이터를 수집하는 프로그램을 제작해보았다. 처음에는 C/C++을 통해서 구현하려 했으나, 너무 방대한 소스와, 지식이 필요하다.그래서 파이썬을 활용하는 것으로 방향을 선회했다. 왜냐하면 파이썬은 어렵지 않고, 지원되는 모듈이 많아 크롤러 제작해 적합했기 때문파이썬의 기본 문법은 다른 언어를 익혀본 사람이라면 , 적어도 2일 많으면 4~5일이면 익숙해질 수 있을 것이라 생각한다. 파이썬에는 다양한 모듈들이 지원되고 있다. 그 중에서 우리가 활용할 핵심 모듈은BeautifulSou..