Ergebnisse für *

Es wurden 1 Ergebnisse gefunden.

Zeige Ergebnisse 1 bis 1 von 1.

Sortieren

1. Matrix and double-array representations for efficient finite state tokenization

   Autor*in: Diewald, Nils

   Erschienen: 2022

   Verlag:  Paris : European Language Resources Association (ELRA) ; Mannheim : Leibniz-Institut für Deutsche Sprache (IDS)

   This paper presents an algorithm and an implementation for efficient tokenization of texts of space-delimited languages based on a deterministic finite state automaton. Two representations of the underlying data structure are presented and a model... mehr

   • Bibliographische Angaben
   • Zugang
   • Beschreibung

   Volltext:	https://ids-pub.bsz-bw.de/frontdoor/index/index/docId/11109 https://ids-pub.bsz-bw.de/files/11109/Diewald_Matrix_and_double_array_representations_2022.pdf
   Zitierfähiger Link:	https://nbn-resolving.org/urn:nbn:de:bsz:mh39-111091

   This paper presents an algorithm and an implementation for efficient tokenization of texts of space-delimited languages based on a deterministic finite state automaton. Two representations of the underlying data structure are presented and a model implementation for German is compared with state-of-the-art approaches. The presented solution is faster than other tools while maintaining comparable quality.

   Export in Literaturverwaltung

   Quelle:	BASE Fachausschnitt Germanistik
   Sprache:	Englisch
   Medientyp:	Konferenzveröffentlichung
   Format:	Online
   DDC Klassifikation:	Sprache (400)
   Schlagworte:	Algorithmus; Endlicher Zustandsraum; Datenstruktur; Deutsch; Korpus
   Lizenz:	creativecommons.org/licenses/by-nc/4.0/ ; info:eu-repo/semantics/openAccess