import urllib.request #URL불러오기 위한 임포트
from bs4 import BeautifulSoup
naver_mobileURL = 'https://m.search.naver.com/search.naver?display=15&doc_sources=&ie=utf8&nso=so%3Add&qdt=&query=%ED%8C%A8%EC%85%98&qvt=&sm=mtb_pge&sort=1&source=0&srcharea=0&start='
naver_mobileURL_behind = '&where=m_site'
#기본 URL에 변수 생성
""" 크롤링할 URL 웹페이지 생성 및 파일저장"""
result1 = []
for num in range(0, 100) :
num +=1
result1.append(num*15+1)
print(result1)
file = open("naver_test3.txt", 'w', encoding='utf-8') #파일열기
for page in result1 :
url = naver_mobileURL+str(page) + naver_mobileURL_behind
f = urllib.request.urlopen(url)
html = f.read()
bs = BeautifulSoup(html, 'html.parser')
body_tags = bs.find_all("a", class_="site_tit_lk")
for body_tag in body_tags :
file.write(str(body_tag) + '\n')
file.close()
'Python' 카테고리의 다른 글
[네이버] 카페글 크롤링 (0) | 2017.01.12 |
---|---|
[네이버] 사이트영역 크롤링2 (0) | 2017.01.11 |
[파이썬3]urllib.parse 모듈 사용하기 (0) | 2017.01.10 |
[파이썬3] urllib.request 불러오기 (0) | 2017.01.10 |
[파이썬3]URL 여러 페이지 자동으로 만들기 (0) | 2017.01.09 |
댓글