프로젝트 기획서 발표 - 웹크롤링 (한양대 오픈소스동아리)

오소리 프로젝트 발표웹크롤링 프로젝트 – 오픈소스동아리2016.05.03정조형

Contents

- 팀원 소개- WHY 웹크롤링 ?

- 웹크롤링 아이디어- How to 웹크롤링- 앞으로의 일정

팀원 소개 웹크롤링 프로젝트

< 멘토 >정용은 06 컴퓨터전공조희원 11 컴퓨터 전공고건주 11 컴퓨터전공김선우 11 컴퓨터전공

< 팀장 >정조형 15 소프트웨어전공

< 팀원 >김민섭 12 컴퓨터전공 윤영진 13 컴퓨터전공

김규민 15 정보시스템 전공 박선하 15 소프트웨어전공

박준한 15 컴퓨터전공 원준호 16 컴퓨터전공

웹크롤링 프로젝트

웹 크롤링 ( web crawling ) 이란 ?

- 조직적 , 자동화된 방법으로 월드 와이드 웹을 탐색- 여러 사이트에서 데이터의 최신 상태 유지를 위해 웹 크롤링을 이용

WHY 웹크롤링 ?

WHY 웹크롤링 ?웹크롤링 프로젝트

- 현대 사회는 정보 경쟁이 일상화 됨- 많은 정보의 양만큼 양질의 자료를 찾기 어려움- 정보를 찾는데 많은 시간 소요

원하는 정보를 자동적으로 수집해주는 웹 크롤러 사용 !

WHY 웹크롤링 ?웹크롤링 프로젝트

- 웹 크롤링이 사용된 예시 : 네이버 웹툰 알림

웹크롤링 아이디어 웹크롤링 프로젝트

1. 취업 사이트 - 고건주2. 옷 세일 정보 / 고속버스 예약 가능한 표 알림 – 김규민3. 포탈에서 각 과목마다 자료 업데이트 여부 / 강의실 대여 – 김민섭4. 도서관 자리 - 김선우5. 식단표 – 박선하6. 위한 포인트 ( 게시글 조회 ) – 박준한7. 축구경기 예정 / 결과 - 박준형8. 네이버 실시간 검색어 - 안홍일9. 환율 / 스팀게임할인 – 원준호10.네이버 웹툰 알림 - 윤영진11.cs.hanyang.ac.kr 공지 – 정용은12.공모전 공지 알림 – 정조형

How to 웹크롤링 웹크롤링 프로젝트


Python, Scrapy


한양대학교 컴퓨터전공 공지사항 크롤링


네이버 실시간 검색어 크롤링


Service Architecture

App ServerRest API

Crawling Server

Push ServerAPNs(Apple Push Notification ser-

vice)GCM(Google Cloud Message)

Req

Res

Push

Notify

Android

iOS

App Server


CS 공지사항 CGV 빈자리 Steam 할인

환율 알림

App


App Server

- 가입- 로그인- 크롤링 알람 등록- 크롤링 알람 해제


Crawling Server

- 크롤링 스크립트 실행- 스케쥴- Push 요청


Push Server

- APNsApple Push Notification service

- GCMGoogle Cloud Message

앞으로의 일정 웹크롤링 프로젝트

To be continued

서울특별시 성동구 왕십리로 222 Tel. 82-2-2220-0000

프로젝트 기획서 발표 - 웹크롤링 (한양대 오픈소스동아리)

Software