www :: scraper :: Lite.

검색 엔진에서 결과를 긁어 모으기위한 프레임 워크
지금 다운로드

www :: scraper :: Lite. 순위 및 요약

광고

  • Rating:
  • 특허:
  • GPL v3
  • 게시자 이름:
  • Roger Pettett
  • 게시자 웹사이트:
  • http://search.cpan.org/~rpettett/

www :: scraper :: Lite. 태그


www :: scraper :: Lite. 설명

검색 엔진에서 결과를 긁어 모으기위한 프레임 워크입니다 www :: 스크래퍼 :: Lite는 Perl.Synopsis 내 $ domain = 'http : //devsite.local/'로 작성된 HTTP 스크레이퍼 모듈입니다. 내 $ scraper = www :: scraper :: lite-> new (); $ scraper-> crawl ($ domain, { '// a'tags tags a 모든 'tags 내 ($ scraper, $ nodes) = @_; $ scraper-> entqueue (grep {$ _ = ~ m {^ $ domain}}} #이 도메인 맵 {$ scraper-> URL_REMOVE_ANCHOR ($ _) # anchor 맵없는 페이지 만 인덱스 페이지 만 {$ scraper-> url_make_absolute ($ _make_absolute ($ _)} # 인덱서는 절대 URL 맵 필요 { $ _-> {href}} # 'a'dom node @ {$ nodes});}, '/ *'=> 모든 내용에 대한 하위 {# 핸들러 내 ($ 스크레이퍼, $ nodes) = @ _, $ scraper -> {clent} -> {Response} -> 콘텐츠; # http response},}; 요구 사항 : · Perl. · 엄격한 · 경고 · LWP :: UserAgent. · HTML :: TreeBuilder :: XPath.


www :: scraper :: Lite. 관련 소프트웨어

회사 소개