 | pyparallellcurl.스레드가없는 URL 자원을 병렬로 가져 오는 간단한 인터페이스 |
| 지금 다운로드 | |
pyparallellcurl. 순위 및 요약
광고
pyparallellcurl. 태그
pyparallellcurl. 설명
스레드가없는 URL 자원을 병렬로 가져 오는 간단한 인터페이스 PypaRallElcurl은 Thread.에서 테스트 중이거나,이 폴더에,이 폴더에 명령 행, CD로 이동하여 RUN./TEST에서 실행하기 위해 사용하기 쉬운 인터페이스를 제공하는 파이썬 모듈입니다. .pythis는 Google의 API를 통해 100 개의 검색을 실행하여 결과를 인쇄해야합니다. 병렬 요청을 실행하는 일종의 성능 차이를 확인하려면 선택적 스크립트 인수를 사용하여 병렬로 실행중인 10 개의 요청의 기본값을 변경하고 각각의 시간이 걸리는 시간 :/test.py 1 시간 ./test.py 20the 먼저 한 번에 한 번에 하나의 요청 만 실행할 수있게 해주는 호출을 직렬화 할 수 있습니다. 나는 이것을 100 초가 걸리는 것을 본다. 두 번째 실행은 한 번에 20 초 동안 비행 중 20 초가 소요됩니다! 경고를 받으십시오. 그렇지 않으면 즉시 너무 많은 요청을 발사하면 대상을 압도 할 수 있습니다. 해당 서버에 액세스하지 못하고 다른 API 제한을 누르면 다음을 시작하기 전에 마침을 기다리지 않고 여러 개의 CURL 요청을 쉽게 실행할 수 있도록 설계되어 있습니다. 후드 아래에서 CURL_MULTI_EXEC를 사용하지만, 나는 통증이 혼란스럽게 혼란스럽게 혼란스럽게 혼란스럽게 생각하기 때문에, 그것을 사용하려는 작업에 해당하는 것을 원했습니다. easy_install pycurl, import pyparallelcurl을 가져 와서 parallelcurl objectualcurl (10) ) 생성자에 대한 첫 번째 인수는 차단하기 전에 충전하기 위해 차단하기 전에 허용 할 수있는 최대 수의 최대 수입니다. setMaxRequests ()를 사용하여 나중에 변경할 수 있습니다. cucl_setopt_array () 다음에 사용하는 형식의 컬 옵션의 배열입니다. URL 가져 오기 : parallelcurl.starrtRequest ( 'http://example.com', on_request_done, on_request_done, { 'somekekey': 'somevalue'}) 첫 번째 인수는 요청이 완료되면 콜백 함수가 임의의 데이터를 포함 할 수있는 '쿠키'가 일단 실행되면 실행될 콜백 함수입니다. CallbackThis StartRequest 호출에 전달하면 최대 요청 수보다 적은만큼 적은 경우 즉시 반환됩니다. 요청이 완료되면 콜백 함수는 on_request_done (content, 'http://example.com', ch, { 'somekekey': 'somevalue'}) 4 개의 인수를 가져 가야합니다. 첫 번째는 URL에서 발견 된 내용을 포함하는 문자열입니다. 두 번째는 요청 된 원래 URL이며, 세 번째는 결과를 얻기 위해 쿼리 할 수있는 요청의 컬 핸들이며, 네 번째는이 개체와 관련된 임의의 '쿠키'값입니다. 이 쿠키에는 사용자 정의 Data.SInce 스크립트가 끝날 때 탁월한 요청이있을 수 있으므로 종료하기 전에 callpalellcurl.finishallRequests ()해야합니다. 그렇지 않으면 최종 요청은 처리되지 않게 남겨 둘 수 있습니다! 이것은 실제로 클래스의 소멸자에서 호출되지만이를 설명하는 것이 가장 좋은 방법입니다. 요구 사항 : · 파이썬
pyparallellcurl. 관련 소프트웨어
