파이썬으로 웹 크롤러 만들기 (Web Scraping with Python)

많은 프로젝트를 진행하면서 가장 중요했던 것 중 하나는 데이터 수집이다.

데이터를 많이 수집해야, 그걸 기반으로 패턴을 추출하는등의 과정을 거쳐 유의미한 결과물이 생성되기 때문이다.

그래서 BeautifulSoup을 통해 간단한 웹 크롤러를 제작하여 데이터를 수집했다.

처음 제작하고선 괜찮았다고 생각했는데, 이 책을 읽고나니 전혀 그렇지 않다는 것을 깨달을 수 있었다.

책에서는 기본적으로 웹에대한 간략한 설명을 한 후, 웹크롤러를 만들면서 발생할 수 있는 문제점과 테크닉들을 설명한다.

책 두께가 얇다보니 분량 자체는 많지 않지만, 하나하나 꼼꼼하게 읽어볼 필요는 있다.

크롤링은 Scrapy와 BeautifulSoup을 활용하여 진행되니 참고하면 좋을 듯 하다.

크롤러를 제작해보려는 사람들이 읽으면 좋고,

나처럼 단순히 크롤러를 통해 사이트에서 직접 지정한 특정 데이터만 가져오는 초급 크롤러 제작에서 벗어나려는 사람들도

읽으면 좋을 것 같다.