subword

Engelska redigera

(lingvistik) orddels-, som rör enheter som är mindre än ord (orddelar)
Modern subword tokenizers are designed such that frequently used words are not decomposed while rare words are split into meaningful tokens.
Moderna orddels-tokenizers är konstruerade så att vanligen förekommande ord inte uppdelas medan sällsynta ord delas upp i meningsfulla tokens.