tokenization
Engelska redigera
Substantiv redigera
Böjningar av tokenization | Singular | Plural |
---|---|---|
Nominativ | tokenization | tokenizations |
Genitiv | tokenization's | tokenizations' |
- (lingvistik) lexikalanalys, tokenisering; uppdelning av en text (programkod) i 'tokens' (ord, symboler, lexikala element)