웹 크롤링 - 데이터 저장

CSV 는 스프레드시터 데이터 저장에 사용된다. 

이는 마이크로소프트 엑셀은 물론 여러 프로그램에서 호환이 된다.

CSV를 사용할 때는 하나의 row를 writerow 명령어를 통해 같이 입력해주어야 한다.

import csv

csvFile = open("./test.csv", 'w+')

try:
    writer = csv.writer(csvFile)
    writer.writerow(('number', 'number plus 2 ', 'number times 2'))
    for i in range(10):
        writer.writerow((i, i+2, i*2))
finally:
    csvFile.close()

<결과>

다음으로 MySQL 혹은 MariaDB와 같은 데이터베이스를 사용하여 데이터를 저장하는 방법

데이터 베이스를 사용하면 추후에 데이터베이스를 통해 데이터를 관리하기가 편하고, 많은 사람들이 이용하는 방법이다.

DB와 파이썬을 연결할 수 있는 많은 라이브러리가 있지만 pymysql을 예로 들면

import pymysql
 
#원격으로 접속할 시 host명을 바꿔준다. 물론 그 전에 원격접속에 대한 허용을 해줘야 한다.
db = pymysql.connect(host='localhost', user = 'root', passwd = 'mypqssword', db= 'Database')
cursor = db.cursor()
str = 'insert into mytable(var1, va2, ...) values(value1, value2 , ...); '
cursor.execute(str)
db.commit() # 해주지 않으면 db에 반영이 되지 않는다.
db.close()

db로 부터 데이터를 로드하는 경우

import pymysql
 
#원격으로 접속할 시 host명을 바꿔준다. 물론 그 전에 원격접속에 대한 허용을 해줘야 한다.
db = pymysql.connect(host='localhost', user = 'root', passwd = 'mypqssword', db= 'Database')
cursor = db.cursor()
str = 'select * from my_table'
cursor.execute(str)
result = cursor.fetchall()
db.close()