목록웹 (1)

춤추는 개발자

[Crawling] Python을 활용한 동적 웹 크롤링 구현하기

크롤링이란? 간단히 말하자면, 인터넷에 있는 정보들을 자동으로 수집하는 행위를 말합니다. 지난 9월에 데이터 수집 업무를 맡았었습니다. 예전 같았으면 인터넷에서 하나씩 검색해서 엑셀에 저장했을텐데 나름 개발자라고 크롤링하면서 편하게 업무 처리했네요. 그래서 실제로 제가 어떻게 크롤링을 업무에 활용했는지 소개해드리고자 합니다. 가장 먼저 Python과 IDE설치 및 pip를 설치해서 개발 환경을 구축했습니다. 이 부분은 직접 구글링하시는 걸 추천드립니다. 1. ChromeDriver와 Selenium 크롤링에 사용할 프레임워크는 Selenium의 webDriver입니다. webDriver를 활용하면 Python으로 가상 브라우저(Chrome)를 실행해 자유롭게 검색할 수 있는 환경이 만들어집니다. But ..
Developer's_til/그외 개발 공부 2020. 11. 3. 21:45
이전 Prev 1 Next 다음