Metadata
Author: ParaCrawl Corpus
Data
English[en]
In order to do that, it uses word tokenizers to identify and separate expressions into individual groups of inseparable characters (words).
Korean[ko]
이를 위해, 표현을 분리될 수 없는 문자들의 개별 그룹(단어)으로 식별하고 분리하는 단어 토큰 분리기를 사용합니다.