cloudscraper (1) 썸네일형 리스트형 [Web Crawling] 전국 대학교 이름 크롤링 하여 DB에 저장하기 -1 전국 대학교 이름을 크롤링 하여 DB에 저장하기 -1 개요 Toy Project에서 사용하기 위해 전국의 대학교를 미리 저장하여 DB에 정리하고, 이를 회원가입시에 저장된 DB를 미리 노출 시켜 통일된 양식으로 소속 학교를 받을 수 있도록 나무위키의 전국 대학교가 나와있는 html 페이지를 크롤링 하여 DB에 저장하여본다. 목차 해당하는 페이지의 Robots.txt html page의 tag 목록 파이썬 크롤링 코드 소개 1. 해당하는 페이지의 Robots.txt 나무위키의 Robots.txt 확인하기 나무위키의 대학교가 나와 있는 페이지를 크롤링하기 위해 먼저 나무위키의 robots.txt를 확인해 주어야 한다. 조회하려는 url은 아래와 같다. 이 때 나무위키의 robots.txt는 /w 경로를 Al.. 이전 1 다음
