목록웹 크롤링 (1)

잡

웹 크롤링 - 데이터 저장(링크)

웹에서 데이터를 저장하는 방법에는 여러가지가 있을 수 있다.각종 파일을 직접 저장하는 방법도 있고, 링크를 저장할 수 있다.그러나 링크를 저장하는 경우, 해당 파일이 외부에 있기 때문에 파일변경등의 문제가 발생하면 전혀 해결할 수 없다.따라서 필수적인 자료는 저장하는게 더 나은 선택일 수 있다. 여기서는 urlretrieve를 사용(https://docs.python.org/3/library/urllib.request.html#legacy-interface) 예시1 from urllib.request import urlopen from urllib.request import urlretrieve from bs4 import BeautifulSoup html = urlopen("http://doohapro..
프로젝트/파이썬 2017. 7. 25. 20:47
이전 Prev 1 Next 다음