adding phrase matching to ebook rag engen #36
@@ -27,4 +27,5 @@ tokens = [
|
|||||||
"will",
|
"will",
|
||||||
"with",
|
"with",
|
||||||
"would",
|
"would",
|
||||||
|
"did",
|
||||||
]
|
]
|
||||||
|
|||||||
@@ -1,5 +1,27 @@
|
|||||||
tokens = [
|
tokens = [
|
||||||
"a",
|
"a",
|
||||||
"an",
|
"an",
|
||||||
|
"did",
|
||||||
|
"didn't",
|
||||||
|
"he",
|
||||||
|
"here",
|
||||||
|
"how",
|
||||||
|
"i",
|
||||||
|
"it",
|
||||||
|
"she",
|
||||||
|
"that",
|
||||||
"the",
|
"the",
|
||||||
|
"there",
|
||||||
|
"they",
|
||||||
|
"this",
|
||||||
|
"we",
|
||||||
|
"what",
|
||||||
|
"when",
|
||||||
|
"where",
|
||||||
|
"which",
|
||||||
|
"who",
|
||||||
|
"whom",
|
||||||
|
"whose",
|
||||||
|
"why",
|
||||||
|
"you",
|
||||||
]
|
]
|
||||||
|
|||||||
@@ -1,18 +1,71 @@
|
|||||||
phrases = [
|
phrases = [
|
||||||
"ended up",
|
"a little",
|
||||||
"had a",
|
|
||||||
"across the",
|
"across the",
|
||||||
|
"and she",
|
||||||
"anyone in",
|
"anyone in",
|
||||||
"are you",
|
"are you",
|
||||||
"around him",
|
"around him",
|
||||||
"around the",
|
"around the",
|
||||||
"as much",
|
"as much",
|
||||||
"as soon",
|
"as soon",
|
||||||
|
"at all",
|
||||||
|
"at least",
|
||||||
"before the",
|
"before the",
|
||||||
"behind him",
|
"behind him",
|
||||||
"between the",
|
"between the",
|
||||||
|
"but she",
|
||||||
|
"could not",
|
||||||
|
"did he",
|
||||||
|
"did i",
|
||||||
|
"did it",
|
||||||
|
"did not believe",
|
||||||
|
"did not care",
|
||||||
|
"did not even",
|
||||||
|
"did not know what",
|
||||||
|
"did not know",
|
||||||
|
"did not like",
|
||||||
|
"did not look",
|
||||||
|
"did not mean",
|
||||||
|
"did not move",
|
||||||
|
"did not need",
|
||||||
|
"did not see",
|
||||||
|
"did not seem",
|
||||||
|
"did not think",
|
||||||
|
"did not understand",
|
||||||
|
"did not want",
|
||||||
|
"did not",
|
||||||
|
"did she",
|
||||||
|
"did so",
|
||||||
|
"did that",
|
||||||
|
"did the",
|
||||||
|
"did they",
|
||||||
|
"did what",
|
||||||
"did you",
|
"did you",
|
||||||
|
"didn't answer",
|
||||||
|
"didn't care",
|
||||||
|
"didn't even",
|
||||||
|
"didn't expect",
|
||||||
|
"didn't feel",
|
||||||
|
"didn't get",
|
||||||
|
"didn't i",
|
||||||
|
"didn't know",
|
||||||
|
"didn't like",
|
||||||
|
"didn't look",
|
||||||
|
"didn't make",
|
||||||
|
"didn't mean",
|
||||||
|
"didn't need",
|
||||||
|
"didn't really",
|
||||||
|
"didn't say",
|
||||||
|
"didn't see",
|
||||||
|
"didn't seem",
|
||||||
|
"didn't think",
|
||||||
|
"didn't want",
|
||||||
|
"didn't you",
|
||||||
"end up",
|
"end up",
|
||||||
|
"ended up",
|
||||||
|
"had a",
|
||||||
|
"had been",
|
||||||
|
"have been",
|
||||||
"he asked",
|
"he asked",
|
||||||
"he concluded",
|
"he concluded",
|
||||||
"he continued",
|
"he continued",
|
||||||
@@ -49,26 +102,34 @@ phrases = [
|
|||||||
"how many",
|
"how many",
|
||||||
"i am",
|
"i am",
|
||||||
"i don't",
|
"i don't",
|
||||||
|
"i said",
|
||||||
"i was",
|
"i was",
|
||||||
"i wouldn't",
|
"i wouldn't",
|
||||||
"i'm not",
|
"i'm not",
|
||||||
|
"if he",
|
||||||
|
"if they",
|
||||||
"is in",
|
"is in",
|
||||||
"is not",
|
"is not",
|
||||||
"is that",
|
"is that",
|
||||||
"is the",
|
"is the",
|
||||||
"it had",
|
"it had",
|
||||||
"it had",
|
"it had",
|
||||||
|
"it is",
|
||||||
"it was",
|
"it was",
|
||||||
"it wasn't",
|
"it wasn't",
|
||||||
"it wasn't",
|
"it wasn't",
|
||||||
|
"no one",
|
||||||
"of course",
|
"of course",
|
||||||
"of force",
|
"of force",
|
||||||
|
"of it",
|
||||||
"of magic",
|
"of magic",
|
||||||
"of marines",
|
"of marines",
|
||||||
"of power",
|
"of power",
|
||||||
"of those",
|
"of those",
|
||||||
"old man",
|
"old man",
|
||||||
"older man",
|
"older man",
|
||||||
|
"one of",
|
||||||
|
"out of",
|
||||||
"set up",
|
"set up",
|
||||||
"she admitted",
|
"she admitted",
|
||||||
"she asked",
|
"she asked",
|
||||||
@@ -84,7 +145,22 @@ phrases = [
|
|||||||
"tell you",
|
"tell you",
|
||||||
"that had",
|
"that had",
|
||||||
"that is",
|
"that is",
|
||||||
|
"that she",
|
||||||
"that was",
|
"that was",
|
||||||
|
"the dark",
|
||||||
|
"the door",
|
||||||
|
"the first",
|
||||||
|
"the last",
|
||||||
|
"the man",
|
||||||
|
"the one",
|
||||||
|
"the only",
|
||||||
|
"the other",
|
||||||
|
"the rest",
|
||||||
|
"the room",
|
||||||
|
"the same",
|
||||||
|
"the two",
|
||||||
|
"the way",
|
||||||
|
"the world",
|
||||||
"there are",
|
"there are",
|
||||||
"there was",
|
"there was",
|
||||||
"there were",
|
"there were",
|
||||||
@@ -98,6 +174,7 @@ phrases = [
|
|||||||
"through his",
|
"through his",
|
||||||
"through the",
|
"through the",
|
||||||
"to find",
|
"to find",
|
||||||
|
"to get",
|
||||||
"to keep",
|
"to keep",
|
||||||
"to stay",
|
"to stay",
|
||||||
"to stop",
|
"to stop",
|
||||||
@@ -129,6 +206,7 @@ phrases = [
|
|||||||
"you are",
|
"you are",
|
||||||
"you can't",
|
"you can't",
|
||||||
"you don't",
|
"you don't",
|
||||||
|
"you know",
|
||||||
"you need",
|
"you need",
|
||||||
"you were",
|
"you were",
|
||||||
]
|
]
|
||||||
|
|||||||
Reference in New Issue
Block a user