기다 작고 효율적인 HTTP 크롤러
지금 다운로드

기다 순위 및 요약

기다 태그

분석 무한 궤도 기다 http 크롤러 웹 크롤 러 크롤링 HTTP.

기다 설명

작고 효율적인 HTTP 크롤러 크롤링 유틸리티는 지정된 URL에서 웹의 깊이 첫 번째 통과를 시작합니다. 구성된 제약 조건과 일치하는 모든 JPEG 이미지를 저장합니다. 크롤링은 상당히 빠르며 우아한 종단을 허용합니다. 종료 크롤링을 사용하면 종료 된 것과 정확히 동일한 지점에서 다시 시작할 수 있습니다. 크롤링은 사이트를 재검토하지 않고 여러 크롤링을 허용하는 영구 데이터베이스를 유지합니다 .Crawl은 몇 천 줄의 코드가 포함되어 있으며, 이는 사용자 정의 및 debug.note : Crowl은 BSD 라이센스 조건에 따라 크롤링이 라이센스 및 배포됩니다. 다음은 "크롤링"의 몇 가지 주요 기능입니다. · 만나기가있는 이미지 또는 기타 미디어 유형을 저장합니다 · 정규 표현식 및 크기 정수에 기반한 미디어 선택 · 우아한 종료 후 이전 크롤링을 재개하십시오 · 방문 된 URL의 영구 데이터베이스 · 매우 작고 효율적인 코드 · 비동기 DNS 조회 · Robots.txt를 지원합니다 요구 사항 : · libevent.

기다 관련 소프트웨어