Changeset ff6f080b9c3c3ca054c9bbce77571f813aee457a

Show
Ignore:
Timestamp:
11/26/08 11:48:42 (6 weeks ago)
Author:
David Balmain <dbalmain@…>
Parents:
a249f609ee1784b37b8bce802dfa88406cc2c3fd
Children:
e568134a40007eb90af70259c20cfbe6eeb4bd1c
git-committer:
David Balmain <dbalmain@gmail.com> / 2008-11-26T11:48:42Z+1100
Message:

Cleaned formatting of stopwords.c

Files:
1 modified

Legend:

Unmodified
Added
Removed

  • c/src/stopwords.c

    rb0a45e rff6f080  
    1212const char *ENGLISH_STOP_WORDS[] = { 
    1313    "a", "an", "and", "are", "as", "at", "be", "but", "by", "for", "if", "in", 
    14     "into", "is", "it", "no", "not", "of", "on", "or", "such", "that", 
    15     "the", "their", "then", "there", "these", "they", "this", "to", "was", 
    16     "with", NULL 
     14    "into", "is", "it", "no", "not", "of", "on", "or", "such", "that", "the", 
     15    "their", "then", "there", "these", "they", "this", "to", "was", "with", 
     16    NULL 
    1717}; 
    1818 
    … …  
    2323    "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't", 
    2424    "doing", "don't", "down", "during", "each", "few", "for", "from", 
    25         "further", 
    26     "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he", 
    27         "he'd", 
    28     "he'll", "her", "here", "here's", "hers", "herself", "he's", "him", 
    29     "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in", 
    30     "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's", 
    31         "me", 
    32     "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of", 
    33         "off", 
    34     "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves", 
    35     "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's", 
    36     "should", "shouldn't", "so", "some", "such", "than", "that", "that's", 
    37     "the", "their", "theirs", "them", "themselves", "then", "there", 
    38         "there's", 
    39     "these", "they", "they'd", "they'll", "they're", "they've", "this", 
    40         "those", 
    41     "through", "to", "too", "under", "until", "up", "very", "was", "wasn't", 
    42     "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what", 
    43     "what's", "when", "when's", "where", "where's", "which", "while", "who", 
    44     "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't", 
    45     "you", "you'd", "you'll", "your", "you're", "yours", "yourself", 
    46     "yourselves", "you've", NULL 
     25    "further", "had", "hadn't", "has", "hasn't", "have", "haven't", "having", 
     26    "he", "he'd", "he'll", "her", "here", "here's", "hers", "herself", "he's", 
     27    "him", "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", 
     28    "in", "into", "is", "isn't", "it", "its", "it's", "itself", "i've", 
     29    "let's", "me", "more", "most", "mustn't", "my", "myself", "no", "nor", 
     30    "not", "of", "off", "on", "once", "only", "or", "other", "ought", "our", 
     31    "ours", "ourselves", "out", "over", "own", "same", "shan't", "she", 
     32    "she'd", "she'll", "she's", "should", "shouldn't", "so", "some", "such", 
     33    "than", "that", "that's", "the", "their", "theirs", "them", "themselves", 
     34    "then", "there", "there's", "these", "they", "they'd", "they'll", 
     35    "they're", "they've", "this", "those", "through", "to", "too", "under", 
     36    "until", "up", "very", "was", "wasn't", "we", "we'd", "we'll", "were", 
     37    "we're", "weren't", "we've", "what", "what's", "when", "when's", "where", 
     38    "where's", "which", "while", "who", "whom", "who's", "why", "why's", 
     39    "with", "won't", "would", "wouldn't", "you", "you'd", "you'll", "your", 
     40    "you're", "yours", "yourself", "yourselves", "you've", 
     41    NULL 
    4742}; 
    4843 
    … …  
    5348    "can't", "could", "couldn't", "did", "didn't", "do", "does", "doesn't", 
    5449    "doing", "don't", "down", "during", "each", "few", "for", "from", 
    55         "further", 
    56     "had", "hadn't", "has", "hasn't", "have", "haven't", "having", "he", 
    57         "he'd", 
    58     "he'll", "her", "here", "here's", "hers", "herself", "he's", "him", 
    59     "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", "in", 
    60     "into", "is", "isn't", "it", "its", "it's", "itself", "i've", "let's", 
    61         "me", 
    62     "more", "most", "mustn't", "my", "myself", "no", "nor", "not", "of", 
    63         "off", 
    64     "on", "once", "only", "or", "other", "ought", "our", "ours", "ourselves", 
    65     "out", "over", "own", "same", "shan't", "she", "she'd", "she'll", "she's", 
    66     "should", "shouldn't", "so", "some", "such", "than", "that", "that's", 
    67     "the", "their", "theirs", "them", "themselves", "then", "there", 
    68         "there's", 
    69     "these", "they", "they'd", "they'll", "they're", "they've", "this", 
    70         "those", 
    71     "through", "to", "too", "under", "until", "up", "very", "was", "wasn't", 
    72     "we", "we'd", "we'll", "were", "we're", "weren't", "we've", "what", 
    73     "what's", "when", "when's", "where", "where's", "which", "while", "who", 
    74     "whom", "who's", "why", "why's", "with", "won't", "would", "wouldn't", 
    75     "you", "you'd", "you'll", "your", "you're", "yours", "yourself", 
    76     "yourselves", "you've", 
     50    "further", "had", "hadn't", "has", "hasn't", "have", "haven't", "having", 
     51    "he", "he'd", "he'll", "her", "here", "here's", "hers", "herself", "he's", 
     52    "him", "himself", "his", "how", "how's", "i", "i'd", "if", "i'll", "i'm", 
     53    "in", "into", "is", "isn't", "it", "its", "it's", "itself", "i've", 
     54    "let's", "me", "more", "most", "mustn't", "my", "myself", "no", "nor", 
     55    "not", "of", "off", "on", "once", "only", "or", "other", "ought", "our", 
     56    "ours", "ourselves", "out", "over", "own", "same", "shan't", "she", 
     57    "she'd", "she'll", "she's", "should", "shouldn't", "so", "some", "such", 
     58    "than", "that", "that's", "the", "their", "theirs", "them", "themselves", 
     59    "then", "there", "there's", "these", "they", "they'd", "they'll", 
     60    "they're", "they've", "this", "those", "through", "to", "too", "under", 
     61    "until", "up", "very", "was", "wasn't", "we", "we'd", "we'll", "were", 
     62    "we're", "weren't", "we've", "what", "what's", "when", "when's", "where", 
     63    "where's", "which", "while", "who", "whom", "who's", "why", "why's", 
     64    "with", "won't", "would", "wouldn't", "you", "you'd", "you'll", "your", 
     65    "you're", "yours", "yourself", "yourselves", "you've", 
    7766 
    7867    /* Most common words in the English Language */ 
    7968    "one", "every", "least", "less", "many", "now", "ever", "never", "say", 
    8069    "says", "said", "also", "get", "go", "goes", "just", "made", "make", 
    81         "put", 
    82     "see", "seen", "whether", "like", "well", "back", "even", "still", "way", 
    83     "take", "since", "another", "however", "two", "three", "four", "five", 
    84     "first", "second", "new", "old", "high", "long", NULL 
     70    "put", "see", "seen", "whether", "like", "well", "back", "even", "still", 
     71    "way", "take", "since", "another", "however", "two", "three", "four", 
     72    "five", "first", "second", "new", "old", "high", "long", 
     73    NULL 
    8574}; 
    8675 
    … …  
    9180    "par", "pas", "pour", "qu", "que", "qui", "sa", "se", "ses", "son", "sur", 
    9281    "ta", "te", "tes", "toi", "ton", "tu", "un", "une", "vos", "votre", 
    93         "vous", 
    94     "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée", 
    95         "étées", 
    96     "étés", "étant", "étante", "étants", "étantes", "suis", "es", "est", 
    97     "sommes", "êtes", "sont", "serai", "seras", "sera", "serons", "serez", 
    98     "seront", "serais", "serait", "serions", "seriez", "seraient", "étais", 
    99     "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes", 
    100         "fûtes", 
    101     "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", "fusses", 
    102     "fût", "fussions", "fussiez", "fussent", "ayant", "ayante", "ayantes", 
    103     "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", "avez", "ont", 
    104     "aurai", "auras", "aura", "aurons", "aurez", "auront", "aurais", "aurait", 
    105     "aurions", "auriez", "auraient", "avais", "avait", "avions", "aviez", 
    106     "avaient", "eut", "eûmes", "eûtes", "eurent", "aie", "aies", "ait", 
    107         "ayons", 
    108     "ayez", "aient", "eusse", "eusses", "eût", "eussions", "eussiez", 
    109         "eussent", 
     82    "vous", "c", "d", "j", "l", "à", "m", "n", "s", "t", "y", "été", "étée", 
     83    "étées", "étés", "étant", "étante", "étants", "étantes", "suis", "es", 
     84    "est", "sommes", "êtes", "sont", "serai", "seras", "sera", "serons", 
     85    "serez", "seront", "serais", "serait", "serions", "seriez", "seraient", 
     86    "étais", "était", "étions", "étiez", "étaient", "fus", "fut", "fûmes", 
     87    "fûtes", "furent", "sois", "soit", "soyons", "soyez", "soient", "fusse", 
     88    "fusses", "fût", "fussions", "fussiez", "fussent", "ayant", "ayante", 
     89    "ayantes", "ayants", "eu", "eue", "eues", "eus", "ai", "as", "avons", 
     90    "avez", "ont", "aurai", "auras", "aura", "aurons", "aurez", "auront", 
     91    "aurais", "aurait", "aurions", "auriez", "auraient", "avais", "avait", 
     92    "avions", "aviez", "avaient", "eut", "eûmes", "eûtes", "eurent", "aie", 
     93    "aies", "ait", "ayons", "ayez", "aient", "eusse", "eusses", "eût", 
     94    "eussions", "eussiez", "eussent", 
    11095    NULL 
    11196}; 
    … …  
    11398const char *FULL_SPANISH_STOP_WORDS[] = { 
    11499    "de", "la", "que", "el", "en", "y", "a", "los", "del", "se", "las", "por", 
    115     "un", "para", "con", "no", "una", "su", "al", "lo", "como", "más", 
    116         "pero", 
    117     "sus", "le", "ya", "o", "este", "sí", "porque", "esta", "entre", 
    118         "cuando", 
     100    "un", "para", "con", "no", "una", "su", "al", "lo", "como", "más", "pero", 
     101    "sus", "le", "ya", "o", "este", "sí", "porque", "esta", "entre", "cuando", 
    119102    "muy", "sin", "sobre", "también", "me", "hasta", "hay", "donde", "quien", 
    120103    "desde", "todo", "nos", "durante", "todos", "uno", "les", "ni", "contra", 
    … …  
    123106    "esa", "estos", "mucho", "quienes", "nada", "muchos", "cual", "poco", 
    124107    "ella", "estar", "estas", "algunas", "algo", "nosotros", "mi", "mis", 
    125         "tú", 
    126     "te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros", "vosostras", 
    127     "os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos", "tuyas", 
    128     "suyo", "suya", "suyos", "suyas", "nuestro", "nuestra", "nuestros", 
    129     "nuestras", "vuestro", "vuestra", "vuestros", "vuestras", "esos", "esas", 
    130     "estoy", "estás", "está", "estamos", "estáis", "están", "esté", 
    131         "estés", 
    132     "estemos", "estéis", "estén", "estaré", "estarás", "estará", 
    133         "estaremos", 
    134     "estaréis", "estarán", "estaría", "estarías", "estaríamos", 
    135         "estaríais", 
    136     "estarían", "estaba", "estabas", "estábamos", "estabais", "estaban", 
    137     "estuve", "estuviste", "estuvo", "estuvimos", "estuvisteis", "estuvieron", 
    138     "estuviera", "estuvieras", "estuviéramos", "estuvierais", "estuvieran", 
    139     "estuviese", "estuvieses", "estuviésemos", "estuvieseis", "estuviesen", 
    140     "estando", "estado", "estada", "estados", "estadas", "estad", "he", "has", 
    141     "ha", "hemos", "habéis", "han", "haya", "hayas", "hayamos", "hayáis", 
    142     "hayan", "habré", "habrás", "habrá", "habremos", "habréis", "habrán", 
    143     "habría", "habrías", "habríamos", "habríais", "habrían", "había", 
    144         "habías", 
    145     "habíamos", "habíais", "habían", "hube", "hubiste", "hubo", "hubimos", 
    146     "hubisteis", "hubieron", "hubiera", "hubieras", "hubiéramos", 
    147         "hubierais", 
    148     "hubieran", "hubiese", "hubieses", "hubiésemos", "hubieseis", "hubiesen", 
    149     "habiendo", "habido", "habida", "habidos", "habidas", "soy", "eres", "es", 
    150     "somos", "sois", "son", "sea", "seas", "seamos", "seáis", "sean", 
    151         "seré", 
    152     "serás", "será", "seremos", "seréis", "serán", "sería", "serías", 
    153     "seríamos", "seríais", "serían", "era", "eras", "éramos", "erais", 
    154         "eran", 
    155     "fui", "fuiste", "fue", "fuimos", "fuisteis", "fueron", "fuera", "fueras", 
    156     "fuéramos", "fuerais", "fueran", "fuese", "fueses", "fuésemos", 
    157         "fueseis", 
    158     "fuesen", "sintiendo", "sentido", "sentida", "sentidos", "sentidas", 
    159     "siente", "sentid", "tengo", "tienes", "tiene", "tenemos", "tenéis", 
    160     "tienen", "tenga", "tengas", "tengamos", "tengáis", "tengan", "tendré", 
    161     "tendrás", "tendrá", "tendremos", "tendréis", "tendrán", "tendría", 
    162     "tendrías", "tendríamos", "tendríais", "tendrían", "tenía", 
    163         "tenías", 
    164     "teníamos", "teníais", "tenían", "tuve", "tuviste", "tuvo", "tuvimos", 
    165     "tuvisteis", "tuvieron", "tuviera", "tuvieras", "tuviéramos", 
    166         "tuvierais", 
    167     "tuvieran", "tuviese", "tuvieses", "tuviésemos", "tuvieseis", "tuviesen", 
    168     "teniendo", "tenido", "tenida", "tenidos", "tenidas", "tened", NULL 
     108    "tú", "te", "ti", "tu", "tus", "ellas", "nosotras", "vosostros", 
     109    "vosostras", "os", "mío", "mía", "míos", "mías", "tuyo", "tuya", "tuyos", 
     110    "tuyas", "suyo", "suya", "suyos", "suyas", "nuestro", "nuestra", 
     111    "nuestros", "nuestras", "vuestro", "vuestra", "vuestros", "vuestras", 
     112    "esos", "esas", "estoy", "estás", "está", "estamos", "estáis", "están", 
     113    "esté", "estés", "estemos", "estéis", "estén", "estaré", "estarás", 
     114    "estará", "estaremos", "estaréis", "estarán", "estaría", "estarías", 
     115    "estaríamos", "estaríais", "estarían", "estaba", "estabas", "estábamos", 
     116    "estabais", "estaban", "estuve", "estuviste", "estuvo", "estuvimos", 
     117    "estuvisteis", "estuvieron", "estuviera", "estuvieras", "estuviéramos", 
     118    "estuvierais", "estuvieran", "estuviese", "estuvieses", "estuviésemos", 
     119    "estuvieseis", "estuviesen", "estando", "estado", "estada", "estados", 
     120    "estadas", "estad", "he", "has", "ha", "hemos", "habéis", "han", "haya", 
     121    "hayas", "hayamos", "hayáis", "hayan", "habré", "habrás", "habrá", 
     122    "habremos", "habréis", "habrán", "habría", "habrías", "habríamos", 
     123    "habríais", "habrían", "había", "habías", "habíamos", "habíais", "habían", 
     124    "hube", "hubiste", "hubo", "hubimos", "hubisteis", "hubieron", "hubiera", 
     125    "hubieras", "hubiéramos", "hubierais", "hubieran", "hubiese", "hubieses", 
     126    "hubiésemos", "hubieseis", "hubiesen", "habiendo", "habido", "habida", 
     127    "habidos", "habidas", "soy", "eres", "es", "somos", "sois", "son", "sea", 
     128    "seas", "seamos", "seáis", "sean", "seré", "serás", "será", "seremos", 
     129    "seréis", "serán", "sería", "serías", "seríamos", "seríais", "serían", 
     130    "era", "eras", "éramos", "erais", "eran", "fui", "fuiste", "fue", 
     131    "fuimos", "fuisteis", "fueron", "fuera", "fueras", "fuéramos", "fuerais", 
     132    "fueran", "fuese", "fueses", "fuésemos", "fueseis", "fuesen", "sintiendo", 
     133    "sentido", "sentida", "sentidos", "sentidas", "siente", "sentid", "tengo", 
     134    "tienes", "tiene", "tenemos", "tenéis", "tienen", "tenga", "tengas", 
     135    "tengamos", "tengáis", "tengan", "tendré", "tendrás", "tendrá", 
     136    "tendremos", "tendréis", "tendrán", "tendría", "tendrías", "tendríamos", 
     137    "tendríais", "tendrían", "tenía", "tenías", "teníamos", "teníais", 
     138    "tenían", "tuve", "tuviste", "tuvo", "tuvimos", "tuvisteis", "tuvieron", 
     139    "tuviera", "tuvieras", "tuviéramos", "tuvierais", "tuvieran", "tuviese", 
     140    "tuvieses", "tuviésemos", "tuvieseis", "tuviesen", "teniendo", "tenido", 
     141    "tenida", "tenidos", "tenidas", "tened", 
     142    NULL 
    169143}; 
    170144 
    … …  
    173147    "uma", "os", "no", "se", "na", "por", "mais", "as", "dos", "como", "mas", 
    174148    "ao", "ele", "das", "à", "seu", "sua", "ou", "quando", "muito", "nos", 
    175         "já", 
    176     "eu", "também", "só", "pelo", "pela", "até", "isso", "ela", "entre", 
     149    "já", "eu", "também", "só", "pelo", "pela", "até", "isso", "ela", "entre", 
    177150    "depois", "sem", "mesmo", "aos", "seus", "quem", "nas", "me", "esse", 
    178151    "eles", "você", "essa", "num", "nem", "suas", "meu", "às", "minha", 
    179         "numa", 
    180     "pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses", 
    181         "pelas", 
    182     "este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus", "minhas", 
    183         "teu", 
    184     "tua", "teus", "tuas", "nosso", "nossa", "nossos", "nossas", "dela", 
    185     "delas", "esta", "estes", "estas", "aquele", "aquela", "aqueles", 
    186         "aquelas", 
    187     "isto", "aquilo", "estou", "está", "estamos", "estão", "estive", 
    188         "esteve", 
    189     "estivemos", "estiveram", "estava", "estávamos", "estavam", "estivera", 
    190     "estivéramos", "esteja", "estejamos", "estejam", "estivesse", 
    191     "estivéssemos", "estivessem", "estiver", "estivermos", "estiverem", 
    192         "hei", 
    193     "há", "havemos", "hão", "houve", "houvemos", "houveram", "houvera", 
    194     "houvéramos", "haja", "hajamos", "hajam", "houvesse", "houvéssemos", 
    195     "houvessem", "houver", "houvermos", "houverem", "houverei", "houverá", 
    196     "houveremos", "houverão", "houveria", "houveríamos", "houveriam", "sou", 
    197     "somos", "são", "era", "éramos", "eram", "fui", "foi", "fomos", "foram", 
    198     "fora", "fÃŽramos", "seja", "sejamos", "sejam", "fosse", "fÃŽssemos", 
    199     "fossem", "for", "formos", "forem", "serei", "será", "seremos", "serão", 
    200     "seria", "seríamos", "seriam", "tenho", "tem", "temos", "tém", "tinha", 
    201     "tínhamos", "tinham", "tive", "teve", "tivemos", "tiveram", "tivera", 
    202     "tivéramos", "tenha", "tenhamos", "tenham", "tivesse", "tivéssemos", 
    203     "tivessem", "tiver", "tivermos", "tiverem", "terei", "terá", "teremos", 
    204     "terão", "teria", "teríamos", "teriam", NULL 
     152    "numa", "pelos", "elas", "qual", "nós", "lhe", "deles", "essas", "esses", 
     153    "pelas", "este", "dele", "tu", "te", "vocês", "vos", "lhes", "meus", 
     154    "minhas", "teu", "tua", "teus", "tuas", "nosso", "nossa", "nossos", 
     155    "nossas", "dela", "delas", "esta", "estes", "estas", "aquele", "aquela", 
     156    "aqueles", "aquelas", "isto", "aquilo", "estou", "está", "estamos", 
     157    "estão", "estive", "esteve", "estivemos", "estiveram", "estava", 
     158    "estávamos", "estavam", "estivera", "estivéramos", "esteja", "estejamos", 
     159    "estejam", "estivesse", "estivéssemos", "estivessem", "estiver", 
     160    "estivermos", "estiverem", "hei", "há", "havemos", "hão", "houve", 
     161    "houvemos", "houveram", "houvera", "houvéramos", "haja", "hajamos", 
     162    "hajam", "houvesse", "houvéssemos", "houvessem", "houver", "houvermos", 
     163    "houverem", "houverei", "houverá", "houveremos", "houverão", "houveria", 
     164    "houveríamos", "houveriam", "sou", "somos", "são", "era", "éramos", 
     165    "eram", "fui", "foi", "fomos", "foram", "fora", "fÃŽramos", "seja", 
     166    "sejamos", "sejam", "fosse", "fÃŽssemos", "fossem", "for", "formos", 
     167    "forem", "serei", "será", "seremos", "serão", "seria", "seríamos", 
     168    "seriam", "tenho", "tem", "temos", "tém", "tinha", "tínhamos", "tinham", 
     169    "tive", "teve", "tivemos", "tiveram", "tivera", "tivéramos", "tenha", 
     170    "tenhamos", "tenham", "tivesse", "tivéssemos", "tivessem", "tiver", 
     171    "tivermos", "tiverem", "terei", "terá", "teremos", "terão", "teria", 
     172    "teríamos", "teriam", 
     173    NULL 
    205174}; 
    206175 
    … …  
    208177    "ad", "al", "allo", "ai", "agli", "all", "agl", "alla", "alle", "con", 
    209178    "col", "coi", "da", "dal", "dallo", "dai", "dagli", "dall", "dagl", 
    210         "dalla", 
    211     "dalle", "di", "del", "dello", "dei", "degli", "dell", "degl", "della", 
    212     "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", "nella", 
    213     "nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl", "sulla", 
    214     "sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi", "voi", 
    215     "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", "suo", 
    216     "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", "vostro", 
    217     "vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo", "la", "li", 
    218     "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se", "perché", 
    219     "anche", "come", "dov", "dove", "che", "chi", "cui", "non", "più", 
    220         "quale", 
    221     "quanto", "quanti", "quanta", "quante", "quello", "quelli", "quella", 
    222     "quelle", "questo", "questi", "questa", "queste", "si", "tutto", "tutti", 
    223     "a", "c", "e", "i", "l", "o", "ho", "hai", "ha", "abbiamo", "avete", 
    224     "hanno", "abbia", "abbiate", "abbiano", "avrò", "avrai", "avrà", 
    225         "avremo", 
    226     "avrete", "avranno", "avrei", "avresti", "avrebbe", "avremmo", "avreste", 
    227     "avrebbero", "avevo", "avevi", "aveva", "avevamo", "avevate", "avevano", 
    228     "ebbi", "avesti", "ebbe", "avemmo", "aveste", "ebbero", "avessi", 
    229         "avesse", 
    230     "avessimo", "avessero", "avendo", "avuto", "avuta", "avuti", "avute", 
    231     "sono", "sei", "Ú", "siamo", "siete", "sia", "siate", "siano", "sarò", 
    232     "sarai", "sarà", "saremo", "sarete", "saranno", "sarei", "saresti", 
    233     "sarebbe", "saremmo", "sareste", "sarebbero", "ero", "eri", "era", 
    234     "eravamo", "eravate", "erano", "fui", "fosti", "fu", "fummo", "foste", 
    235     "furono", "fossi", "fosse", "fossimo", "fossero", "essendo", "faccio", 
    236     "fai", "facciamo", "fanno", "faccia", "facciate", "facciano", "farò", 
    237     "farai", "farà", "faremo", "farete", "faranno", "farei", "faresti", 
    238     "farebbe", "faremmo", "fareste", "farebbero", "facevo", "facevi", 
    239         "faceva", 
    240     "facevamo", "facevate", "facevano", "feci", "facesti", "fece", "facemmo", 
    241     "faceste", "fecero", "facessi", "facesse", "facessimo", "facessero", 
    242     "facendo", "sto", "stai", "sta", "stiamo", "stanno", "stia", "stiate", 
    243     "stiano", "starò", "starai", "starà", "staremo", "starete", "staranno", 
    244     "starei", "staresti", "starebbe", "staremmo", "stareste", "starebbero", 
    245     "stavo", "stavi", "stava", "stavamo", "stavate", "stavano", "stetti", 
    246     "stesti", "stette", "stemmo", "steste", "stettero", "stessi", "stesse", 
    247     "stessimo", "stessero", "stando", NULL 
     179    "dalla", "dalle", "di", "del", "dello", "dei", "degli", "dell", "degl", 
     180    "della", "delle", "in", "nel", "nello", "nei", "negli", "nell", "negl", 
     181    "nella", "nelle", "su", "sul", "sullo", "sui", "sugli", "sull", "sugl", 
     182    "sulla", "sulle", "per", "tra", "contro", "io", "tu", "lui", "lei", "noi", 
     183    "voi", "loro", "mio", "mia", "miei", "mie", "tuo", "tua", "tuoi", "tue", 
     184    "suo", "sua", "suoi", "sue", "nostro", "nostra", "nostri", "nostre", 
     185    "vostro", "vostra", "vostri", "vostre", "mi", "ti", "ci", "vi", "lo", 
     186    "la", "li", "le", "gli", "ne", "il", "un", "uno", "una", "ma", "ed", "se", 
     187    "perché", "anche", "come", "dov", "dove", "che", "chi", "cui", "non", 
     188    "più", "quale", "quanto", "quanti", "quanta", "quante", "quello", 
     189    "quelli", "quella", "quelle", "questo", "questi", "questa", "queste", 
     190    "si", "tutto", "tutti", "a", "c", "e", "i", "l", "o", "ho", "hai", "ha", 
     191    "abbiamo", "avete", "hanno", "abbia", "abbiate", "abbiano", "avrò", 
     192    "avrai", "avrà", "avremo", "avrete", "avranno", "avrei", "avresti", 
     193    "avrebbe", "avremmo", "avreste", "avrebbero", "avevo", "avevi", "aveva", 
     194    "avevamo", "avevate", "avevano", "ebbi", "avesti", "ebbe", "avemmo", 
     195    "aveste", "ebbero", "avessi", "avesse", "avessimo", "avessero", "avendo", 
     196    "avuto", "avuta", "avuti", "avute", "sono", "sei", "Ú", "siamo", "siete", 
     197    "sia", "siate", "siano", "sarò", "sarai", "sarà", "saremo", "sarete", 
     198    "saranno", "sarei", "saresti", "sarebbe", "saremmo", "sareste", 
     199    "sarebbero", "ero", "eri", "era", "eravamo", "eravate", "erano", "fui", 
     200    "fosti", "fu", "fummo", "foste", "furono", "fossi", "fosse", "fossimo", 
     201    "fossero", "essendo", "faccio", "fai", "facciamo", "fanno", "faccia", 
     202    "facciate", "facciano", "farò", "farai", "farà", "faremo", "farete", 
     203    "faranno", "farei", "faresti", "farebbe", "faremmo", "fareste", 
     204    "farebbero", "facevo", "facevi", "faceva", "facevamo", "facevate", 
     205    "facevano", "feci", "facesti", "fece", "facemmo", "faceste", "fecero", 
     206    "facessi", "facesse", "facessimo", "facessero", "facendo", "sto", "stai", 
     207    "sta", "stiamo", "stanno", "stia", "stiate", "stiano", "starò", "starai", 
     208    "starà", "staremo", "starete", "staranno", "starei", "staresti", 
     209    "starebbe", "staremmo", "stareste", "starebbero", "stavo", "stavi", 
     210    "stava", "stavamo", "stavate", "stavano", "stetti", "stesti", "stette", 
     211    "stemmo", "steste", "stettero", "stessi", "stesse", "stessimo", 
     212    "stessero", "stando", 
     213    NULL 
    248214}; 
    249215 
    … …  
    252218    "an", "ander", "andere", "anderem", "anderen", "anderer", "anderes", 
    253219    "anderm", "andern", "anderr", "anders", "auch", "auf", "aus", "bei", 
    254         "bin", 
    255     "bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem", "die", 
    256     "das", "daß", "derselbe", "derselben", "denselben", "desselben", 
     220    "bin", "bis", "bist", "da", "damit", "dann", "der", "den", "des", "dem", 
     221    "die", "das", "daß", "derselbe", "derselben", "denselben", "desselben", 
    257222    "demselben", "dieselbe", "dieselben", "dasselbe", "dazu", "dein", "deine", 
    258223    "deinem", "deinen", "deiner", "deines", "denn", "derer", "dessen", "dich", 
    259224    "dir", "du", "dies", "diese", "diesem", "diesen", "dieser", "dieses", 
    260225    "doch", "dort", "durch", "ein", "eine", "einem", "einen", "einer", 
    261         "eines", 
    262     "einig", "einige", "einigem", "einigen", "einiger", "einiges", "einmal", 
    263     "er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem", "euren", 
    264     "eurer", "eures", "fÃŒr", "gegen", "gewesen", "hab", "habe", "haben", 
    265         "hat", 
    266     "hatte", "hatten", "hier", "hin", "hinter", "ich", "mich", "mir", "ihr", 
    267     "ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im", "in", "indem", 
    268     "ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes", "jene", "jenem", 
    269     "jenen", "jener", "jenes", "jetzt", "kann", "kein", "keine", "keinem", 
    270     "keinen", "keiner", "keines", "können", "könnte", "machen", "man", 
    271         "manche", 
    272     "manchem", "manchen", "mancher", "manches", "mein", "meine", "meinem", 
    273     "meinen", "meiner", "meines", "mit", "muss", "musste", "nach", "nicht", 
    274     "nichts", "noch", "nun", "nur", "ob", "oder", "ohne", "sehr", "sein", 
    275     "seine", "seinem", "seinen", "seiner", "seines", "selbst", "sich", "sie", 
    276     "ihnen", "sind", "so", "solche", "solchem", "solchen", "solcher", 
    277         "solches", 
    278     "soll", "sollte", "sondern", "sonst", "ÃŒber", "um", "und", "uns", "unse", 
    279     "unsem", "unsen", "unser", "unses", "unter", "viel", "vom", "von", "vor", 
    280     "wÀhrend", "war", "waren", "warst", "was", "weg", "weil", "weiter", 
    281     "welche", "welchem", "welchen", "welcher", "welches", "wenn", "werde", 
    282     "werden", "wie", "wieder", "will", "wir", "wird", "wirst", "wo", "wollen", 
    283     "wollte", "wÃŒrde", "wÃŒrden", "zu", "zum", "zur", "zwar", "zwischen", 
    284         NULL 
     226    "eines", "einig", "einige", "einigem", "einigen", "einiger", "einiges", 
     227    "einmal", "er", "ihn", "ihm", "es", "etwas", "euer", "eure", "eurem", 
     228    "euren", "eurer", "eures", "fÃŒr", "gegen", "gewesen", "hab", "habe", 
     229    "haben", "hat", "hatte", "hatten", "hier", "hin", "hinter", "ich", "mich", 
     230    "mir", "ihr", "ihre", "ihrem", "ihren", "ihrer", "ihres", "euch", "im", 
     231    "in", "indem", "ins", "ist", "jede", "jedem", "jeden", "jeder", "jedes", 
     232    "jene", "jenem", "jenen", "jener", "jenes", "jetzt", "kann", "kein", 
     233    "keine", "keinem", "keinen", "keiner", "keines", "können", "könnte", 
     234    "machen", "man", "manche", "manchem", "manchen", "mancher", "manches", 
     235    "mein", "meine", "meinem", "meinen", "meiner", "meines", "mit", "muss", 
     236    "musste", "nach", "nicht", "nichts", "noch", "nun", "nur", "ob", "oder", 
     237    "ohne", "sehr", "sein", "seine", "seinem", "seinen", "seiner", "seines", 
     238    "selbst", "sich", "sie", "ihnen", "sind", "so", "solche", "solchem", 
     239    "solchen", "solcher", "solches", "soll", "sollte", "sondern", "sonst", 
     240    "ÃŒber", "um", "und", "uns", "unse", "unsem", "unsen", "unser", "unses", 
     241    "unter", "viel", "vom", "von", "vor", "wÀhrend", "war", "waren", "warst", 
     242    "was", "weg", "weil", "weiter", "welche", "welchem", "welchen", "welcher", 
     243    "welches", "wenn", "werde", "werden", "wie", "wieder", "will", "wir", 
     244    "wird", "wirst", "wo", "wollen", "wollte", "wÃŒrde", "wÃŒrden", "zu", "zum", 
     245    "zur", "zwar", "zwischen", 
     246    NULL 
    285247}; 
    286248 
    … …  
    288250    "de", "en", "van", "ik", "te", "dat", "die", "in", "een", "hij", "het", 
    289251    "niet", "zijn", "is", "was", "op", "aan", "met", "als", "voor", "had", 
    290         "er", 
    291     "maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men", "dit", 
    292         "zo", 
    293     "door", "over", "ze", "zich", "bij", "ook", "tot", "je", "mij", "uit", 
    294     "der", "daar", "haar", "naar", "heb", "hoe", "heeft", "hebben", "deze", 
    295         "u", 
    296     "want", "nog", "zal", "me", "zij", "nu", "ge", "geen", "omdat", "iets", 
    297     "worden", "toch", "al", "waren", "veel", "meer", "doen", "toen", "moet", 
    298     "ben", "zonder", "kan", "hun", "dus", "alles", "onder", "ja", "eens", 
    299     "hier", "wie", "werd", "altijd", "doch", "wordt", "wezen", "kunnen", 
    300         "ons", 
    301     "zelf", "tegen", "na", "reeds", "wil", "kon", "niets", "uw", "iemand", 
    302     "geweest", "andere", NULL 
     252    "er", "maar", "om", "hem", "dan", "zou", "of", "wat", "mijn", "men", 
     253    "dit", "zo", "door", "over", "ze", "zich", "bij", "ook", "tot", "je", 
     254    "mij", "uit", "der", "daar", "haar", "naar", "heb", "hoe", "heeft", 
     255    "hebben", "deze", "u", "want", "nog", "zal", "me", "zij", "nu", "ge", 
     256    "geen", "omdat", "iets", "worden", "toch", "al", "waren", "veel", "meer", 
     257    "doen", "toen", "moet", "ben", "zonder", "kan", "hun", "dus", "alles", 
     258    "onder", "ja", "eens", "hier", "wie", "werd", "altijd", "doch", "wordt", 
     259    "wezen", "kunnen", "ons", "zelf", "tegen", "na", "reeds", "wil", "kon", 
     260    "niets", "uw", "iemand", "geweest", "andere", 
     261    NULL 
    303262}; 
    304263 
    … …  
    306265    "och", "det", "att", "i", "en", "jag", "hon", "som", "han", "pÃ¥", "den", 
    307266    "med", "var", "sig", "för", "sÃ¥", "till", "Àr", "men", "ett", "om", 
    308         "hade", 
    309     "de", "av", "icke", "mig", "du", "henne", "dÃ¥", "sin", "nu", "har", 
    310         "inte", 
    311     "hans", "honom", "skulle", "hennes", "dÀr", "min", "man", "ej", "vid", 
    312     "kunde", "nÃ¥got", "frÃ¥n", "ut", "nÀr", "efter", "upp", "vi", "dem", 
    313         "vara", 
    314     "vad", "över", "Àn", "dig", "kan", "sina", "hÀr", "ha", "mot", "alla", 
    315     "under", "nÃ¥gon", "eller", "allt", "mycket", "sedan", "ju", "denna", 
    316     "sjÀlv", "detta", "Ã¥t", "utan", "varit", "hur", "ingen", "mitt", "ni", 
    317     "bli", "blev", "oss", "din", "dessa", "nÃ¥gra", "deras", "blir", "mina", 
    318     "samma", "vilken", "er", "sÃ¥dan", "vÃ¥r", "blivit", "dess", "inom", 
    319         "mellan", 
    320     "sÃ¥dant", "varför", "varje", "vilka", "ditt", "vem", "vilket", "sitta", 
    321     "sÃ¥dana", "vart", "dina", "vars", "vÃ¥rt", "vÃ¥ra", "ert", "era", 
    322         "vilkas", 
     267    "hade", "de", "av", "icke", "mig", "du", "henne", "dÃ¥", "sin", "nu", 
     268    "har", "inte", "hans", "honom", "skulle", "hennes", "dÀr", "min", "man", 
     269    "ej", "vid", "kunde", "nÃ¥got", "frÃ¥n", "ut", "nÀr", "efter", "upp", "vi", 
     270    "dem", "vara", "vad", "över", "Àn", "dig", "kan", "sina", "hÀr", "ha", 
     271    "mot", "alla", "under", "nÃ¥gon", "eller", "allt", "mycket", "sedan", "ju", 
     272    "denna", "sjÀlv", "detta", "Ã¥t", "utan", "varit", "hur", "ingen", "mitt", 
     273    "ni", "bli", "blev", "oss", "din", "dessa", "nÃ¥gra", "deras", "blir", 
     274    "mina", "samma", "vilken", "er", "sÃ¥dan", "vÃ¥r", "blivit", "dess", "inom", 
     275    "mellan", "sÃ¥dant", "varför", "varje", "vilka", "ditt", "vem", "vilket", 
     276    "sitta", "sÃ¥dana", "vart", "dina", "vars", "vÃ¥rt", "vÃ¥ra", "ert", "era", 
     277    "vilkas", 
    323278    NULL 
    324279}; 
    … …  
    327282const char *FULL_NORWEGIAN_STOP_WORDS[] = { 
    328283    "og", "i", "jeg", "det", "at", "en", "et", "den", "til", "er", "som", 
    329         "pÃ¥", 
    330     "de", "med", "han", "av", "ikke", "ikkje", "der", "sÃ¥", "var", "meg", 
    331         "seg", 
    332     "men", "ett", "har", "om", "vi", "min", "mitt", "ha", "hadde", "hun", 
    333         "nÃ¥", 
    334     "over", "da", "ved", "fra", "du", "ut", "sin", "dem", "oss", "opp", "man", 
    335     "kan", "hans", "hvor", "eller", "hva", "skal", "selv", "sjÞl", "her", 
    336     "alle", "vil", "bli", "ble", "blei", "blitt", "kunne", "inn", "nÃ¥r", 
    337         "vÊre", 
    338     "kom", "noen", "noe", "ville", "dere", "som", "deres", "kun", "ja", 
    339         "etter", 
    340     "ned", "skulle", "denne", "for", "deg", "si", "sine", "sitt", "mot", "Ã¥", 
    341     "meget", "hvorfor", "dette", "disse", "uten", "hvordan", "ingen", "din", 
    342     "ditt", "blir", "samme", "hvilken", "hvilke", "sÃ¥nn", "inni", "mellom", 
    343     "vÃ¥r", "hver", "hvem", "vors", "hvis", "bÃ¥de", "bare", "enn", "fordi", 
    344     "fÞr", "mange", "ogsÃ¥", "slik", "vÊrt", "vÊre", "bÃ¥e", "begge", 
    345         "siden", 
    346     "dykk", "dykkar", "dei", "deira", "deires", "deim", "di", "dÃ¥", "eg", 
    347         "ein", 
    348     "eit", "eitt", "elles", "honom", "hjÃ¥", "ho", "hoe", "henne", "hennar", 
    349     "hennes", "hoss", "hossen", "ikkje", "ingi", "inkje", "korleis", "korso", 
    350     "kva", "kvar", "kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi", 
    351     "mine", "mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si", 
    352     "sia", "sidan", "so", "somt", "somme", "um", "upp", "vere", "vore", 
    353         "verte", 
    354     "vort", "varte", "vart", NULL 
     284    "pÃ¥", "de", "med", "han", "av", "ikke", "ikkje", "der", "sÃ¥", "var", 
     285    "meg", "seg", "men", "ett", "har", "om", "vi", "min", "mitt", "ha", 
     286    "hadde", "hun", "nÃ¥", "over", "da", "ved", "fra", "du", "ut", "sin", 
     287    "dem", "oss", "opp", "man", "kan", "hans", "hvor", "eller", "hva", "skal", 
     288    "selv", "sjÞl", "her", "alle", "vil", "bli", "ble", "blei", "blitt", 
     289    "kunne", "inn", "nÃ¥r", "vÊre", "kom", "noen", "noe", "ville", "dere", 
     290    "som", "deres", "kun", "ja", "etter", "ned", "skulle", "denne", "for", 
     291    "deg", "si", "sine", "sitt", "mot", "Ã¥", "meget", "hvorfor", "dette", 
     292    "disse", "uten", "hvordan", "ingen", "din", "ditt", "blir", "samme", 
     293    "hvilken", "hvilke", "sÃ¥nn", "inni", "mellom", "vÃ¥r", "hver", "hvem", 
     294    "vors", "hvis", "bÃ¥de", "bare", "enn", "fordi", "fÞr", "mange", "ogsÃ¥", 
     295    "slik", "vÊrt", "vÊre", "bÃ¥e", "begge", "siden", "dykk", "dykkar", "dei", 
     296    "deira", "deires", "deim", "di", "dÃ¥", "eg", "ein", "eit", "eitt", 
     297    "elles", "honom", "hjÃ¥", "ho", "hoe", "henne", "hennar", "hennes", "hoss", 
     298    "hossen", "ikkje", "ingi", "inkje", "korleis", "korso", "kva", "kvar", 
     299    "kvarhelst", "kven", "kvi", "kvifor", "me", "medan", "mi", "mine", 
     300    "mykje", "no", "nokon", "noka", "nokor", "noko", "nokre", "si", "sia", 
     301    "sidan", "so", "somt", "somme", "um", "upp", "vere", "vore", "verte", 
     302    "vort", "varte", "vart", 
     303    NULL 
    355304}; 
    356305 
    357306const char *FULL_DANISH_STOP_WORDS[] = { 
    358307    "og", "i", "jeg", "det", "at", "en", "den", "til", "er", "som", "pÃ¥", 
    359         "de", 
    360     "med", "han", "af", "for", "ikke", "der", "var", "mig", "sig", "men", 
    361         "et", 
    362     "har", "om", "vi", "min", "havde", "ham", "hun", "nu", "over", "da", 
    363         "fra", 
    364     "du", "ud", "sin", "dem", "os", "op", "man", "hans", "hvor", "eller", 
    365     "hvad", "skal", "selv", "her", "alle", "vil", "blev", "kunne", "ind", 
    366         "nÃ¥r", 
    367     "vÊre", "dog", "noget", "ville", "jo", "deres", "efter", "ned", "skulle", 
    368     "denne", "end", "dette", "mit", "ogsÃ¥", "under", "have", "dig", "anden", 
    369     "hende", "mine", "alt", "meget", "sit", "sine", "vor", "mod", "disse", 
    370     "hvis", "din", "nogle", "hos", "blive", "mange", "ad", "bliver", "hendes", 
    371     "vÊret", "thi", "jer", "sÃ¥dan", NULL 
     308    "de", "med", "han", "af", "for", "ikke", "der", "var", "mig", "sig", 
     309    "men", "et", "har", "om", "vi", "min", "havde", "ham", "hun", "nu", 
     310    "over", "da", "fra", "du", "ud", "sin", "dem", "os", "op", "man", "hans", 
     311    "hvor", "eller", "hvad", "skal", "selv", "her", "alle", "vil", "blev", 
     312    "kunne", "ind", "nÃ¥r", "vÊre", "dog", "noget", "ville", "jo", "deres", 
     313    "efter", "ned", "skulle", "denne", "end", "dette", "mit", "ogsÃ¥", "under", 
     314    "have", "dig", "anden", "hende", "mine", "alt", "meget", "sit", "sine", 
     315    "vor", "mod", "disse", "hvis", "din", "nogle", "hos", "blive", "mange", 
     316    "ad", "bliver", "hendes", "vÊret", "thi", "jer", "sÃ¥dan", 
     317    NULL 
    372318}; 
    373319 
    … …  
    386332    "тПлькП", "тПЌ", "ты", "у", "уже", "Ñ 
    387333Птя", "чегП", "чей", "чеЌ", "чтП", 
    388     "чтПбы", "чье", "чья", "эта", "этО", "этП", "я", NULL 
     334    "чтПбы", "чье", "чья", "эта", "этО", "этП", "я", 
     335    NULL 
    389336}; 
    390337 
    … …  
    436383Í", "ÞÔÏ", 
    437384    "ÞÔÏÂÙ", "ÞØà
    438 ", "ÞØÑ", "ÜÔÁ", "ÜÔÉ", "ÜÔÏ", "Ñ", NULL 
     385", "ÞØÑ", "ÜÔÁ", "ÜÔÉ", "ÜÔÏ", "Ñ", 
     386    NULL 
    439387}; 
    440388 
    … …  
    470418    "ettÀ", "ja", "jos", "koska", "kuin", "mutta", "niin", "sekÀ", "sillÀ", 
    471419    "tai", "vaan", "vai", "vaikka", "kanssa", "mukaan", "noin", "poikki", 
    472     "yli", "kun", "niin", "nyt", "itse", NULL 
     420    "yli", "kun", "niin", "nyt", "itse", 
     421    NULL 
    473422}; 
    474423 
    … …  
    498447    "újra", "után", "utána", "utolsó", "vagy", "vagyis", "valaki", "valami", 
    499448    "valamint", "való", "vagyok", "van", "vannak", "volt", "voltam", "voltak", 
    500     "voltunk", "vissza", "vele", "viszont", "volna", NULL 
    501 }; 
     449    "voltunk", "vissza", "vele", "viszont", "volna", 
     450    NULL 
     451};