웹크롤링3 unsplash image crawling python 이미지 사이트 크롤링 방법 web Crawling 웹 크롤링이란? 웹 크롤링 Web Crawing이란 웹 페이지에서 정보를 수집할 수 있는 자동화된 프로세스입니다. 웹 크롤링 기술을 이용해서 검색엔진에서 데이터 분석 및 정보 수집등 다양한 목적으로 데이터를 수집하고 사용합니다. - 크롤러(Crawler) 웹 크롤링의 핵심적인 역할로 웹 페이지를 방문했을 때, 방문 페이지의 링크를 추출해내는 프로그램입니다. 크롤러(Crawler)를 통해 여러 웹 페이지를 자동으로 접근할 수 있습니다. - 스크래퍼(Scraper) 스크래퍼(Scraper)는 웹 크롤러가 방문한 웹 페이지 링크에서 필요한 데이터를 추출하는 프로그램입니다. 일반적으로 HTML 문서를 분석하여 원하는 정보를 추출하는데 사용합니다. Web Crawling의 과정 및 원리 1.. 2023. 11. 21. python 증권데이터 분석 - 네이버 금융 웹 스크래핑(웹 크롤링) 네이버 금융 웹 스크래핑(웹 크롤링)하기 네이버 금융 홈페이지에서 삼성카드(029780) 검색해서 페이지를 들어가서 삼성카드 주식을 조회할 수 있다. 네이버 금융 일별 시세 분석하기 네이버 금융에서 제공하는 일별 시세 페이지를 이용해서 분석해보자 네이버 금융 일별시세 페이지는 주가가 1페이지당 10개씩 볼 수 있다. [맨뒤]를 눌러 가장 오래된 날짜의 종가도 확인할 수 있다. 마우스 오른쪽을 클릭하여 [페이지 소스 보기]로 해당 페이지의 주소를 확인할 수 있다. - 맨 앞 페이지 주소 https://finance.naver.com/item/sise.naver?code=029780&page=1 - 맨 뒤 페이지 주소 https://finance.naver.com/item/sise.naver?code=029.. 2022. 12. 24. python 증권데이터 분석 - 웹 스크래핑(웹 크롤링), HTML 예시, 한국거래소 상장법인목록 가져오기 웹 스크래핑(웹 크롤링) 웹 스크래핑(웹 크롤링)이란 웹페이지에서 자신이 원하는 데이터를 추출하는 기법을 말한다. 한국거래소 시장 정보, 한국은행 경제통계시스템, 공공 데이터포털 등 증권데이터를 비롯데 다양한 데이터를 엑셀 형태로 수집이 가능하다. 또한 네이버 금융, 다음금융 등 포털 사이트에서 증권 관련 데이터를 직접 웹 스크랩를 통해 정보를 수집할 수 있다. 한국거래소에서 제공하는 상장법인 목록과 네이버 금융 웹 스크래핑을 통해 데이터 분석을 해볼 것이다. 한국거래소 기업공시채널 상장법인목록 가져오기 한국거래소 기업공시채널(https://kind.krx.co.kr/main)의 '상장법인상세정보' → '상장법인목록' 이동 엑셀 파일을 다운로드 한다. 상장법인목록 EXCEL 파일인 '상장법인목록.xls'.. 2022. 12. 23. 이전 1 다음 반응형
