본문 바로가기

잡담

트래픽 초과되었다가....방금 살아났다.



사용자 삽입 이미지

dukgun.com은 cafe24를 통해 웹호스팅 서비스를 받고 있다. (절약형으로, 하루 400MB의 트래픽 제한을 받고 있다.)

방금 전까지(28일 24:00)...트래픽 초과되어서 못 들어갔다.

이번 우리 팀이 OOP Team 프로젝트로 Google PageRank(구글의 기본 검색 알고리즘)를 구현하는데...

이번에 만든 Web Crawler를 테스트한답시고, 같은 Team인 내 친구가
나 몰래 dukgun.com을 집중적으로 Crawling한 것 때문이었다. ㅠㅠ

(Web Crawling : 웹 검색 데이터 수집을 위해, 페이지내의 모든 링크를 따라가면서 모든 페이지를 저장하는 것)

일반적인 경우에는....내 하루 트래픽 제한의 5~20% 내외를 사용한다. (인기 사이트는 아니므로..^^;)
근데 아까....Crawling 때문에 약 30분만에 트래픽이 거의 400MB가 꽉차버린 것이다. ㅠㅠ

뭐...만든 Web Crawler는 정상 작동하는 것이니....소스를 수정할 것은 아니고,
트래픽 제한 없는 사이트를 공략해야겠다. (포털이나 학교 홈페이지~!!!!!)