텍스트 :: ngrams. TEXT :: NGRAMS는 유연한 NGRAM 분석 (문자, 단어 등)입니다.
지금 다운로드

텍스트 :: ngrams. 순위 및 요약

텍스트 :: ngrams. 태그

캐릭터 단어 NGRAM 분석 문자 분석기 단어 분석기 N- 그램

텍스트 :: ngrams. 설명

텍스트 :: NGRAMS는 유연한 NGRAM 분석 (문자, 단어 등)입니다. 텍스트 :: NGRAM은 유연한 NGRAM 분석 (문자, 단어 등)입니다. 식별자의 기본 문자 String의 N-gram 분석 : 텍스트 :: Ngrams; MY $ NG3 = 텍스트 :: NGRAMS-> NEW; $ NG3-> process_text ( 'abcdefg1235678hijklmnop'); $ NG3-> to_string 인쇄; my @ngramsarray = $ NG3-> get_ngrams; 하나는 토큰을 수동으로 공급 할 수도 있습니다. 텍스트 :: ngrams; MY $ NG3 = 텍스트 :: NGRAMS-> NEW; $ NG3-> feed_tokens ( 'a'); $ NG3-> feed_tokens ( 'b'); $ NG3-> feed_tokens ( 'c'); $ NG3-> feed_tokens ( 'd'); $ NG3-> feed_tokens ( 'e'); $ NG3-> feed_tokens ( 'f'); $ NG3-> feed_tokens ( 'g'); $ ng3-> feed_tokens ( 'h'); 우리는 다양한 크기의 n- 그램을 선택할 수 있습니다. 예 : My $ ng = text :: ngrams-> new (windowsize => 6); 또는 다른 유형의 n-grams, 예를 들어, : 내 $ ng = text :: ngrams-> new (type => byte); 내 $ ng = text :: ngrams-> new (type => word); $ ng = text :: ngrams-> new (type => utf8); $ ng-> process_files ( 'somefile.txt', 'otherfile.txt', 'otherfile.txt');이 모듈은 텍스트를 구현합니다 n- 그램 분석, 문자 및 단어 n-grams.The 모듈 텍스트를 포함한 여러 유형의 분석을 지원합니다 :: Ngram은 매우 유연합니다. 예를 들어, 사용자는 수동으로 모든 토큰 시퀀스를 공급할 수 있습니다. 여러 유형의 토큰 (문자, 단어)을 처리하며 자동 인식 및 토큰의 공급 및 N-Gram에서 결합되는 방식으로 많은 유연성을 허용합니다. 최대 지정된 길이까지 모든 n-gram 주파수를 계산합니다. 출력 형식은 매우 많은 사람이 읽을 수있는 반면서 모듈에 의해도 적을 가능합니다. 패키지와 함께 제공된 스크립트 ngrams.pl 스크립트를 통해 명령 줄에서 모듈을 사용할 수 있습니다. · 사용자가 유형을 사용자 정의하는 경우, 결과적으로 n-gram이 모호하게 될 수도 있습니다. 이러한 방식으로, 상이한 n- 그램에 하나씩 계산 될 수있다. 미리 정의 된 유형의 n-gram을 사용하면이 일이 일어나지 않아야합니다. 예를 들어 사용자가 토큰을 공백을 포함하고 공백을 n-gram 분리기로 사용하는 경우이 "x x x x"와 같은 트리그램은 모호합니다. · 메소드 process_file은 기본적으로 다중 행 토큰을 처리하지 않습니다. 이것은 수정 될 수 있지만 코드 합병증의 가치가있는 것으로 보입니다. 하나의 토큰이 필요하면이 주위에 다양한 방법이 있습니다. 한 가지 방법은 그들을 전처리하는 것입니다. 또 다른 방법은 멀티 라인 토큰을 처리하는 process_text를 사용하여 필요한 경우 필요에 따라 많은 텍스트를 읽는 것입니다. 요구 사항 : · Perl.

텍스트 :: ngrams. 관련 소프트웨어