본문 바로가기
Python

[네이버]사이트 URL 크롤링

by 퍼포먼스마케팅코더 2017. 1. 11.
반응형

import urllib.request                    #URL불러오기 위한 임포트

from bs4 import BeautifulSoup


naver_mobileURL = 'https://m.search.naver.com/search.naver?display=15&doc_sources=&ie=utf8&nso=so%3Add&qdt=&query=%ED%8C%A8%EC%85%98&qvt=&sm=mtb_pge&sort=1&source=0&srcharea=0&start='

naver_mobileURL_behind = '&where=m_site'


#기본 URL에 변수 생성


""" 크롤링할 URL 웹페이지 생성 및 파일저장"""


result1 = []

for num in range(0, 100) :

    num +=1

    result1.append(num*15+1)


print(result1)


file = open("naver_test3.txt",  'w', encoding='utf-8') #파일열기


for page in result1 : 

      url = naver_mobileURL+str(page) + naver_mobileURL_behind

      f = urllib.request.urlopen(url)

      html = f.read()

      bs = BeautifulSoup(html, 'html.parser')

      body_tags = bs.find_all("a", class_="site_tit_lk")

      for body_tag in body_tags :

            file.write(str(body_tag) + '\n')


file.close()


반응형

댓글