Today I Learned15 [Python] BeautifulSoup4는 동적 페이지 파싱 불가 BS4가 가볍고 빠르지만 HTML 안에 JS 코드가 삽입되어 있어서 JS 코드 실행 전 페이지가 전체 로딩되지 않는다면 BS4로는 파싱이 어렵고 Selenium을 이용해야 한다. 셀레니움 대신 pyppeteer를 이용하기도 한다. 2022. 9. 14. [Python] AWS lambda 서버리스 컴퓨팅 어떤 홈페이지의 새 글이 올라오면 알림을 보내주는 코드 공부 중. 컴퓨터를 켜놓지 않고도 코드를 실행할 수 있게 해 주는 서비스로 아마존의 AWS lambda 라는 것이 있다. 2022. 9. 14. [Python] Selenium 브라우저 팝업 없이 스크래핑하기(headless) from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from webdriver_manager.chrome import ChromeDriverManager #크롬 옵션 설정 options = Options() options.add_argument('--headless')#브라우저 팝업 없이 코드 실행 options.add_argument("user-agent= 각자의 UserAgent 값 확인 후 입력")#headless로 접근하는 경우 서버에서 차단하는 경우 있으므로 설정 #자동으로 웹드라이버 최신 버전 적용,.. 2022. 9. 14. 이전 1 2 다음