[linux]리눅스에서 파이썬 scrapy 사용하기

 

1. 리눅스에 파이썬 설치돼있는지 확인

# Python3가 설치되어 있는지 확인
python3 --version

# 설치되어 있다면 버전 정보가 출력
Python 3.8.10

# 설치되어 있지 않다면
sudo apt update
sudo apt install python3 python3-pip

 

2.  venv 모듈 설치 확인

# venv 모듈 설치 확인
# 아무 메시지도 출력되지 않으면 venv가 설치되어 있는 것
python3 -m venv --help

# venv가 없을 경우 설치
sudo apt install python3.8-venv

 

3. 가상환경 생성 및 활성화

# 가상환경 생성
python3 -m venv scrapyTest

# 가상환경 활성화
source scrapyTest/bin/activate

# 활성화 후 앞에 (scrapyTest)가 뜨는지 확인

 

4. scrapy 설치

# pip 업그레이드
pip install --upgrade pip

# Scrapy 설치
pip install scrapy

# Scrapy 설치 확인
scrapy version

 

5. scrapy 사용해보기

여기부턴 윈도우 환경에서 사용할 때와 같다

# 책 제목 가져오기
scrapy shell https://www.hanbit.co.kr/store/books/full_book_list.html

shell에서 response.body

response.css('#container tbody a::text').extract()