Difference between revisions of "Tokenizer"
Jump to navigation
Jump to search
(New page: Ein '''Tokenizer''' segmentiert einen Strom linguistischer Daten (in der Regel: einen Text) in eine Folge von (textuellen) Grundeinheiten: Wortformen und Interpunktionszeichen. {{w...) |
(No difference)
|
Revision as of 07:50, 8 July 2007
Ein Tokenizer segmentiert einen Strom linguistischer Daten (in der Regel: einen Text) in eine Folge von (textuellen) Grundeinheiten: Wortformen und Interpunktionszeichen.
