파이썬 셀레니움 이미지 크롤링으로 배우는 업무 자동화의 기초

이번 영상은 파이썬으로 셀레니움(selenium)을 활용하여 구글에서 이미지 크롤링을 하는 방법을 알려드립니다. 단순한 이미지 크롤링이 아닌 응용하면 웹 브라우저로 할 수 있는 모든 업무를 다 자동화 할 수 있습니다.
파이썬 가상환경 생성부터 크롬 브라우저 드라이버 다운로드 등 기초 세팅 과정부터 차근차근 알려드립니다. 직접 실습해보시고 다른 업무 자동화에 응용해보세요!
사람이 브라우저를 통해서 확인하는 것과 같은 방식이여서 이전 영상처럼 업데이트가 되어도 막히지 않고 계속 응용하여 활용하실 수 있습니다.

파이썬 및 코드 에디터가 설치가 안되신 분들은 이전 파이썬 강의 1강을 참고해주세요!
https://youtu.be/yytWGELNeOI

완성된 코드
https://github.com/youtube-jocoding/python-selenium-google-image-crawling/blob/master/google.py

이미지를 다운로드 하실때 나무위키 등 특정 사이트의 경우 봇이 접근하는 것을 차단해서 urllib.request.urlretrieve(imgUrl, "test.jpg") 줄에서
urllib.error.HTTPError: HTTP Error 403: Forbidden가 뜨실 수 있습니다. 그럴때는 아래와 같이 브라우저 인것 처럼 속이는 header를 추가하시면 정상적으로 크롤링 할 수 있습니다!

opener=urllib.request.build_opener()
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1941.0 Safari/537.36')]
urllib.request.install_opener(opener)
urllib.request.urlretrieve(imgUrl, "test.jpg")

#파이썬 #크롤링 #셀레니움

00:00 하이라이트
00:20 인트로
00:29 수업 소개
01:00 셀레니움의 개념
1:56 목차
2:15 파이썬 가상 환경 세팅
4:59 Selenium 설치 및 브라우저 세팅
6:31 구글 이미지 크롤링 코드 작성
31:22 셀레니움 네이버 실시간 검색어 크롤링 방법 소개
31:49 아웃트로

Видео 파이썬 셀레니움 이미지 크롤링으로 배우는 업무 자동화의 기초 канала 조코딩 JoCoding