Получение "триграмм" в Java

У меня возникли проблемы с получением trigrams на Яве. Моя программа в настоящее время может получить bigrams хорошо, но когда я пытаюсь реализовать ту же структуру метода и изменить его, чтобы получить trigrams кажется, не работает так же хорошо. Я хочу trigrams чтобы получить любую возможную комбинацию слов в пределах arraylistнапример,

Original = [eye, test, find, free, nhs]
Trigram = [eye test find, 2, eye test free, 3, eye test nhs, 4, eye find free, 3, eye find nhs, 4, eye free nhs, 5, etc...]

Числа определяют расстояние между первым словом и последним словом и должны получить каждую комбинацию слов из 3 в arraylist, В настоящее время это прекрасно работает для bigrams...

Original = [eye, test, find, free, nhs]
Bigram = [eye test, 1, eye find, 2, eye free, 3, eye nhs, 4, test find, 1, test free, 2, test nhs, 3, find free, 1, etc..]

Вот методы

public ArrayList<String> bagOfWords;
public ArrayList<String> bigramList = new ArrayList<String>();
public ArrayList<String> trigramList = new ArrayList<String>();


public void trigram() throws FileNotFoundException{
    PrintWriter tg = new PrintWriter(new File(trigramFile));
    // CREATES THE TRIGRAM
    for (int i = 0; i < bagOfWords.size() - 1; i++) {
        for (int j = 1; j < bagOfWords.size() - 1; j++) {
            for(int k = j + 1; k < bagOfWords.size(); k++){
                int distance = (k - i);
                if (distance < 4){
                    trigramList.add(bagOfWords.get(i) + " " + bagOfWords.get(j) + " " + bagOfWords.get(k) + ", " + distance);
                }
            }
        }
    }


public void bigram() throws FileNotFoundException{
    // CREATES THE BIGRAM
    PrintWriter bg = new PrintWriter(new File(bigramFile));
    for (int i = 0; i < bagOfWords.size() - 1; i++) {
        for (int j = i + 1; j < bagOfWords.size(); j++) {
            int distance = (j - i);
            if (distance < 4){
                bigramList.add(bagOfWords.get(i) + " " + bagOfWords.get(j) + ", " + distance);
            }
        }
    }

Может кто-нибудь помочь мне изменить trigram() способ создать соответствующий trigram для чего мне нужно? Спасибо за любую помощь.

Источник

2 ответа

Решение

Ты хочешь j начать с i+1не так ли? Кроме того, я думаю, что вы позволяете i рассчитывать на далеко. Это должно остановиться на bagOfWords.size() - 2, Я не уверен, почему вы проверяете distance < 4, Это будет выбрасывать действительные группы.

public void trigram() throws FileNotFoundException{
PrintWriter tg = new PrintWriter(new File(trigramFile));
// CREATES THE TRIGRAM
for (int i = 0; i < bagOfWords.size() - 2; i++) {
    for (int j = i + 1; j < bagOfWords.size() - 1; j++) {
        for(int k = j + 1; k < bagOfWords.size(); k++){
            int distance = (k - i);
            trigramList.add(bagOfWords.get(i) + " " + bagOfWords.get(j) + " " + bagOfWords.get(k) + ", " + distance);
        }
    }
}
Источник

Ответ @bradimus совершенно правильный. Я просто покажу другой подход. Вы заметили, что ваши методы очень похожи? Итак, почему бы не попробовать объединить его в один универсальный метод? Что-то вроде следующего:

public List<String> anygram(List<String> bagOfWords, int gramCount){

     List<String> result = new ArrayList<String>();

     for(int i=0;i<=bagOfWords.size()-gramCount; i++){
         for(int j=i; j+gramCount<=bagOfWords.size(); j++){
            StringBuilder builder = new StringBuilder();
            builder.append(bagOfWords.get(i));
            int k = j+1;
            for(; k<j+gramCount; k++){
                builder.append(" ");
                builder.append(bagOfWords.get(k));
            }
            builder.append(", ").append(k-i-1);
            result.add(builder.toString());
        }
    }

    return result;
}

Мой ответ не для рейтинга. Я просто заинтересовался этой задачей и пришел к этому решению.

Источник
Другие вопросы по тегам