문자열 :: 토큰 화제 String :: Tokenizer는 간단한 문자열 토큰 화제입니다.
지금 다운로드

문자열 :: 토큰 화제 순위 및 요약

문자열 :: 토큰 화제 태그

Perl 모듈 끈 Perl 확장자 토큰 화제 문자열 토큰 화제

문자열 :: 토큰 화제 설명

String :: Tokenizer는 간단한 문자열 토큰 화제입니다. String :: Tokenizer는 간단한 문자열 Tokenizer입니다. Synopsis 문자열 :: 토큰 화제를 사용합니다. # 토큰 나이저 만들기 및 토큰 화 내 $ Tokenizer = 문자열 :: 토큰 화이자 -> 새 ( "(("(( "((((("(( "(((("(((( "((((("(((( "(((("((((( "() '+ * ()'); # tokenizer 만들기 My $ Tokenizer = 문자열 :: 토큰 화제 -> new (); # ... 다음 $ Tokenizer-> 토큰 화 ( "(("(( "(("(( "(("(( "(("( "());)를 토큰 화합니다. # '(, (, 5, +, 5,), -, 10,)'인쇄 가입 ","=> $ tokenizer-> getToKens ()를 인쇄합니다. # 공백을 보유하는 토큰 나이저 만들기 My $ st = 문자열 :: 토큰 화이저 -> 새 ( '이것은 테스트, (Signifigant) 공백', ',' ', string :: tokenizer-> retain_whiteSpace); # 이것은 인쇄 할 것입니다 : # '' '', '는', '', 'a' ','test ',' ',' ',' ','( ',', '', '', ' ) ',' '' ','공백 '인쇄' ''. (가입 ", '"=> $ Tokenizer-> getToKens ()). "" "; # 토큰 반복자 가져 오기 My $ i = $ Tokenizer-> iterator (); while ($ i-> hasnexttoken ()) {My $ next = $ i-> nextToken (); # 내 다음 토큰에서 앞으로 앞서 나의 $ look_ahead = $ i-> lookAheadToken (); # ... # 다음 2 토큰 $ i-> 스킵 펜스 (2); # ... 다음 Backtrack 1 토큰 My $ privity = $ i-> prevtoken (); # ... # 현재 토큰 가져 오기 MY $ 현재 = $ i-> currentToken (); # ...} 문자열을 가져 와서 공백에 쪼개는 간단한 문자열 토큰 나이저입니다. 또한 선택적으로 구분 기호로 사용할 문자열 문자열을 사용하고 토큰 세트로이를 반환합니다. 이를 통해 여러 가지 방법으로 문자열을 분할 할 수 있습니다. 이는 매우 기본적인 토큰 나이저 이므로이 모듈에서 생성 된 출력의 사용자 정의 작성 토큰 나이저 또는 사후 처리로 더 복잡한 요구 사항을 더 복잡하게해야합니다. 기본적으로 이것은 모든 멀티 필수를 채우지 않지만 훨씬 더 크고 복잡한 모듈과 관련된 간단한 분할 / /, $ string과 다른 옵션 사이의 격차가 발생합니다. 또한 이것은 어휘 분석기가 아니라는 것입니다. 많은 사람들이 토큰 화를 어휘 분석으로 혼동합니다. 토큰 나이저는 그 입력을 특정 덩어리로 섞어서 어휘 분석기가 해당 청크를 분류합니다. 때로는이 두 단계가 결합되지만 여기에는 아닙니다. · Perl 요구 사항 : · Perl.

문자열 :: 토큰 화제 관련 소프트웨어