목록crawl (1)

잡

웹 크롤링 - 문서 읽기

웹 크롤러를 제작하면서 단순히 HTML코드뿐 아니라 pdf, txt, csv등 여러 파일을 읽어야 하는 순간이 생기게 된다. 1. 텍스트 파일사실 텍스트 파일을 직접 올리는 경우는 많지 않다. 그러나 문서만을 다루는 사이트들의 경우 텍스트 파일을 다루는 경우도 종종 있다.http://doohaproject.tistory.com/22 에 있는 예제 파일을 기준으로 파일을 읽는다면 from urllib.request import urlopen text = urlopen('http://doohaproject.tistory.com/attachment/cfile2.uf@25A2F43359777C510E95C5.txt') string = text.read() print(string) 위의 소스를 실행해보면 파일의 ..
프로젝트/파이썬 2017. 7. 27. 00:02
이전 Prev 1 Next 다음