jtokeniser. 직관적으로 자연 언어로 다루는 세트의 토큰 세트를 결합한 자유 소프트웨어 솔루션
지금 다운로드

jtokeniser. 순위 및 요약

jtokeniser. 태그

나뉘다 자연 사운드 세트 문자열 토큰 화제 토큰을 결합하십시오 문자열 분배기 토큰 화 토큰 화제 자연어 자연 언어 인터페이스 자연 언어 처리 자연 언어를 처리하십시오 자연 언어 툴킷 자연 언어 도구 세트 무료 언어

jtokeniser. 설명

토큰 링 문자열은 구성 토큰 / 단어로 인한 사소한 예가 까다로울 수 있습니다. 특히 자연 언어를 다루는 경우 단어를 격리하기 위해 구두점을 고려해야합니다. 각 토큰저는 클래스를 인스턴스화하고 토큰을 추출하는 방법의 관점에서 java.util.StringTokenizer와 유사한 구조를 채택합니다. 즉, 사용하기가 간단합니다. 입력하고 복사 및 붙여 넣기를 입력하거나 텍스트 파일을 응용 프로그램에 넣을 수 있습니다. 토큰 디저가 선택할 수있는 선택 (및 관심 옵션)을 선택한 다음 토큰 화 버튼을 누릅니다. 결과가 처리되는 즉시 결과가 표시되고 선택한 경우 결과를 파일에 저장할 수있는 옵션이 있습니다. GUI는 특히 NLP 과정과 같은 교수 환경에서 토큰 화 방법으로 실험하는 데 유용합니다. JTokeniser 도서관을 사용하고자하는 사람들에게도 관심이 없지만 코드를 직접 활용하는 Java 프로그래밍 경험이 없습니다. jTokeniser는 모든 토큰 세이저로 구성된 4 개의 토큰 세이저로 구성되어 있습니다. · WhitespaceTokeniser - 공백, 뉴라인, 탭 및 LineFeed가 포함 된 공백이 포함 된 모든 공백 발생시 문자열을 분리합니다. · StringTokeniser - 기본적으로 java.util.StringTokenizer와 동일한 방법으로 동일한 메소드 (토크 테이저에서 확장됩니다). 그러나 기본 동작은 WhitesPaceTokenizer로 작동하는 것입니다. 그러나 단어 구분 기호를 나타내는 데 사용할 문자 집합을 지정할 수 있습니다. · regextokeniser -이 토큰 메이저는 정규 표현식을 사용하여 토큰이 무엇인지 정의 할 수있는 것처럼 훨씬 유연합니다. 그래서 "\ w +"는 하나 이상의 글자와 일치 할 때마다 단어를 고려할 것입니다. 기본적으로 공백 토큰 디저와 동일한 정규 표현식을 사용합니다. · regexseparatortokeniser - 이것은 고급 StringTokeiser로 생각할 수 있습니다. StringTokeiser는 개별 문자 집합으로 구분 기호를 정의하는 것으로 제한되는 반면, RegexseParatokeoceniser는 더 풍부하고 유연한 접근 방식을 위해 정규 표현식을 활용할 수 있습니다. · Breakiteratorokeniser - 라이브러리의 가장 정교한 토큰 세이저 중 하나는 자연스러운 언어 문자열에만 단어를 격리해야합니다. 또한 단어를 찾는 방법, 구두점을 무시하는 방법을 아는 방법에 대한 내장 된 규칙이 제공됩니다. · SentenceTokeniser - 이것은 또한 위와 같은 breachiterater를 사용하지만 문장 경계를 찾는쪽으로 조정됩니다. 이 kokeniser의 "토큰"은 사실 개별 문장입니다.

jtokeniser. 관련 소프트웨어