웹 크롤링은 인터넷 상의 데이터를 자동으로 수집하고 분석하는 작업으로, 데이터 분석, 연구, 비즈니스 인사이트 등에 활용될 수 있습니다.
특히 Python은 다양한 라이브러리와 커뮤니티의 지원 덕분에 웹 크롤링을 수행하기에 최적의 언어로 꼽힙니다.
Python을 사용해 웹 크롤링을 시작하는 방법과 핵심 기술을 다루어보겠습니다.
1. 웹 크롤링의 기본 개념
웹 크롤링이란?
웹 크롤링은 프로그램이 웹사이트를 방문해 특정 정보를 추출하는 과정을 의미합니다.
흔히 사용되는 사례로는 상품 가격 비교, 뉴스 데이터 수집, 소셜 미디어 분석 등이 있습니다.
웹 크롤링의 작동 원리
웹 크롤러는 다음과 같은 과정을 따릅니다:
HTTP 요청 보내기: URL을 통해 서버에 요청을 보냅니다.
HTML 응답 받기: 서버로부터 HTML 문서를 수신합니다.
데이터 파싱: HTML 문서에서 원하는 데이터를 추출합니다.
저장: 추출한 데이터를 CSV, 데이터베이스 등에 저장합니다.
2. Python의 주요 웹 크롤링 도구
1) requests
requests는 HTTP 요청을 보내기 위한 라이브러리입니다. 웹페이지에 접속하여 HTML 문서를 가져오는 데 사용됩니다.
import requests
url = 'https://example.com'
response = requests.get(url)
if response.status_code == 200:
print(response.text) # HTML 내용 출력
2) BeautifulSoup
BeautifulSoup는 HTML 파싱을 돕는 라이브러리로, 특정 데이터 추출에 유용합니다.
from bs4 import BeautifulSoup
html = "<html><body><h1>안녕하세요</h1></body></html>"
soup = BeautifulSoup(html, 'html.parser')
print(soup.h1.text) # "안녕하세요" 출력
3) Selenium
동적인 웹사이트를 크롤링할 때 사용되는 브라우저 자동화 도구입니다. 자바스크립트를 통해 생성된 데이터를 처리할 수 있습니다.
from selenium import webdriver
driver = webdriver.Chrome()
driver.get('https://example.com')
print(driver.page_source) # 렌더링된 HTML
driver.quit()
3. 간단한 웹 크롤링 예제
예제: 네이버 뉴스 헤드라인 가져오기
import requests
from bs4 import BeautifulSoup
url = 'https://news.naver.com/'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
headlines = soup.select('.hdline_article_tit a') # 네이버 뉴스의 헤드라인 CSS 클래스
for idx, headline in enumerate(headlines, 1):
print(f"{idx}. {headline.text.strip()}")
