[Python-크롤링] 웹사이트 파라미터 종류가 많을때 크롤링 하는 방법 1단계

안녕하세요. 멋진 선배 입니다. 오늘은 Python 크롤링 중 웹사이트 파라미터 종류가 많을때 크롤링 하는 방법에 대해서 알아보도록 하겠습니다.

반응형

 

 

실습사이트

반응형

 

https://www.riss.kr/search/Search.do?isDetailSearch=N&searchGubun=true&viewYn=OP&queryText=&strQuery=%ED%8C%A8%EC%85%98+%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5&exQuery=&exQueryText=&order=%2FDESC&onHanja=false&strSort=RANK&p_year1=&p_year2=&iStartCount=0&orderBy=&mat_type=&mat_subtype=&fulltext_kind=&t_gubun=&learning_type=&ccl_code=&inside_outside=&fric_yn=&db_type=&image_yn=&gubun=&kdc=&ttsUseYn=&l_sub_code=&fsearchMethod=&sflag=1&isFDetailSearch=N&pageNumber=1&resultKeyword=%ED%8C%A8%EC%85%98+%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5&fsearchSort=&fsearchOrder=&limiterList=&limiterListText=&facetList=&facetListText=&fsearchDB=&icate=re_a_kor&colName=re_a_kor&pageScale=100&isTab=Y&regnm=&dorg_storage=&language=&language_code=&clickKeyword=&relationKeyword=&query=%ED%8C%A8%EC%85%98+%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5

RISS 검색 - 국내학술지논문

 

실습내용

반응형

- Search.do 뒤에 있는 파라미터를 변수로 처리해서 크롤링 하기

 

실습

반응형

1.해당 사이트에 접속 후 F12키를 눌러 개발자 도구로 간다. 

2.Network 탭 -> Payload로 들어가서 각 속성을 쭉 드래그 해서 복사한다.

 

3.IDE(인텔리J)로 가서 param 변수에 속성을 넣은 후 null 값인 대상을 지워 준다.

4.최종 실행해 본다.

import requests
from bs4 import BeautifulSoup

# 파라미터 종류가 많은 경우 꿀팁
# 구글 개발자 도구에서 파라미터를 복사
# 딕셔너리로 만든다음 요청할때 같이 보냄

# 파라미터 종류가 많을 경우 꿀팁
param = {
    'isDetailSearch': 'N',
    'searchGubun': 'true',
    'viewYn': 'OP',
    'strQuery': '패션 인공지능',
    'order': '/DESC',
    'onHanja': 'false',
    'strSort': 'RANK',
    'iStartCount': 0,
    'sflag': 1,
    'isFDetailSearch': 'N',
    'pageNumber': 1,
    'resultKeyword': '패션 인공지능',
    'icate': 're_a_kor',
    'colName': 're_a_kor',
    'pageScale': 100,
    'isTab': 'Y',
    'query': '패션 인공지능'
}

response = requests.get("https://www.riss.kr/search/Search.do", params=param)
html = response.text
soup = BeautifulSoup(html, 'html.parser')