feat(ebook): add junk tokens for improved phrase matching
This commit is contained in:
@@ -0,0 +1,66 @@
|
||||
tokens = [
|
||||
"said",
|
||||
"asked",
|
||||
"replied",
|
||||
"answered",
|
||||
"looked",
|
||||
"nodded",
|
||||
"turned",
|
||||
"shook",
|
||||
"smiled",
|
||||
"shrugged",
|
||||
"pointed",
|
||||
"continued",
|
||||
"repeated",
|
||||
"stared",
|
||||
"agreed",
|
||||
"glanced",
|
||||
"walked",
|
||||
"told",
|
||||
"thought",
|
||||
"knew",
|
||||
"wanted",
|
||||
"muttered",
|
||||
"whispered",
|
||||
"laughed",
|
||||
"sighed",
|
||||
"paused",
|
||||
"gestured",
|
||||
"waved",
|
||||
"frowned",
|
||||
"grinned",
|
||||
"i'm",
|
||||
"i've",
|
||||
"i'd",
|
||||
"i'll",
|
||||
"it's",
|
||||
"that's",
|
||||
"don't",
|
||||
"didn't",
|
||||
"doesn't",
|
||||
"can't",
|
||||
"won't",
|
||||
"wouldn't",
|
||||
"couldn't",
|
||||
"shouldn't",
|
||||
"isn't",
|
||||
"wasn't",
|
||||
"aren't",
|
||||
"weren't",
|
||||
"you're",
|
||||
"you've",
|
||||
"you'll",
|
||||
"we're",
|
||||
"we've",
|
||||
"we'll",
|
||||
"they're",
|
||||
"they've",
|
||||
"he's",
|
||||
"she's",
|
||||
"there's",
|
||||
"what's",
|
||||
"let's",
|
||||
"who's",
|
||||
"he'd",
|
||||
"she'd",
|
||||
]
|
||||
Reference in New Issue
Block a user