파이썬 스크랩핑 스터디
기본적으로 mac에 2.7버젼이 깔려있다. (homebrew를 통해서 설치함)
brew install python3
테스트
scrapertest.py
from urllib.request import urlopen
html = urlopen("http://pythonscraping.com/pages/page1.html")
print(html.read());
를 만든뒤 실행해본다.
python3 ./scrapertest.py
python명령어가 python3.5버젼을 바라보게 하고 싶다면 (기본적으로 2.7) .bashrc(or .bash_profile에 phython 명령어 alias를 준다.
.bash_profile
....
alias python='/usr/local/bin/python3'
python의 라이브러리를 다운로드 받을 수 있게 해주는 모듈
sudo easy_install pip
크롤링을 편하게 해주는 라이브러리 다운
sudo pip install beautifulsoup4
이렇게 하면 2.7로 설치된다.
sudo pip3 install beautifulsoup4
3.x버젼용 모듈을 받기 위해서는 위와 같이 실행
beautifulsoup_test.py 를 만들어 수행해본다
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/pages/page1.html")
bsObj = BeautifulSoup(html.read(), "html.parser")
print(bsObj.h1)
python3 beatifulsoup_test.py