목록Crawler (1)

잡

파이썬으로 웹 크롤러 만들기 (Web Scraping with Python)

많은 프로젝트를 진행하면서 가장 중요했던 것 중 하나는 데이터 수집이다.데이터를 많이 수집해야, 그걸 기반으로 패턴을 추출하는등의 과정을 거쳐 유의미한 결과물이 생성되기 때문이다.그래서 BeautifulSoup을 통해 간단한 웹 크롤러를 제작하여 데이터를 수집했다.처음 제작하고선 괜찮았다고 생각했는데, 이 책을 읽고나니 전혀 그렇지 않다는 것을 깨달을 수 있었다. 책에서는 기본적으로 웹에대한 간략한 설명을 한 후, 웹크롤러를 만들면서 발생할 수 있는 문제점과 테크닉들을 설명한다.책 두께가 얇다보니 분량 자체는 많지 않지만, 하나하나 꼼꼼하게 읽어볼 필요는 있다.크롤링은 Scrapy와 BeautifulSoup을 활용하여 진행되니 참고하면 좋을 듯 하다. 크롤러를 제작해보려는 사람들이 읽으면 좋고,나처럼 단..
참고/책 2017. 4. 21. 16:08
이전 Prev 1 Next 다음