본문 바로가기
반응형

분류 전체보기463

[네이버] 카페글 크롤링 """ 네이버 카페글 크롤링 """ #카페글은 크롤링이 되나, 로그인을 요구시 자연스럽게 블락당함.. ㅠㅠ import urllib.request from bs4 import BeautifulSoup navercafe_URL = 'https://m.cafe.naver.com/dnfspirit/'result1 = []for num in range(3418, 3419) : num +=1 result1.append(num) for page in result1 : url = navercafe_URL+str(page) f = urllib.request.urlopen(url) html = f.read() bs = BeautifulSoup(html, 'html.parser') post_title = bs.find(".. 2017. 1. 12.
[네이버] 사이트영역 크롤링2 import urllib.request #URL불러오기 위한 임포트from bs4 import BeautifulSoup naver_mobileURL = 'https://m.search.naver.com/search.naver?display=15&doc_sources=&ie=utf8&nso=so%3Add&qdt=&query=%EB%B9%85%EB%8D%B0%EC%9D%B4%ED%84%B0&qvt=&sm=mtb_pge&sort=1&source=0&srcharea=0&start='naver_mobileURL_behind = '&where=m_site' #기본 URL에 변수 생성 """ 크롤링할 URL 웹페이지 생성 및 파일저장""" result1 = []for num in range(0, 28) : num +.. 2017. 1. 11.
[네이버]사이트 URL 크롤링 import urllib.request #URL불러오기 위한 임포트from bs4 import BeautifulSoup naver_mobileURL = 'https://m.search.naver.com/search.naver?display=15&doc_sources=&ie=utf8&nso=so%3Add&qdt=&query=%ED%8C%A8%EC%85%98&qvt=&sm=mtb_pge&sort=1&source=0&srcharea=0&start='naver_mobileURL_behind = '&where=m_site' #기본 URL에 변수 생성 """ 크롤링할 URL 웹페이지 생성 및 파일저장""" result1 = []for num in range(0, 100) : num +=1 result1.append.. 2017. 1. 11.
데이터 분석을 통해 세상을 알아보자. 이제 정량화된 수치 분석을 통해서 세상을 바라볼 수 있을까.정부 통계도 계속 공개를 하고 있고, api를 통해 다른 데이터 쓰는 방법도 알게 되었고,, 결국 내가 알아보고자 하는 데이터를 수집하는데도 어느정도의 시간 소요가 줄어든 점도 사실이다. 앞으로 분석기법과 함께 세상과 관련된 분석도 함 해 보고 싶다. 물론 데이터 마이닝 등 공부하기엔 아직도 태산처럼 많지만.. 이제 세상 수치를 데이터로 함 읽어보자. 그리고 거기에서 인사이트도 얻어보자. 2017. 1. 11.
반응형