Описание тега stringtokenizer

StringTokenizer - это класс Java, который разбивает строку на токены.
2 ответа

В Java, как я могу прочитать текстовый файл, состоящий из "слова<пробел>номер<пробел>номер"?

У меня есть текстовый файл с этими типами значений (пример): 5 Dog 23 45 Cat 97 23 Mouse 13 23 Bird 10 23 Dog 99 18 Первая цифра "5" - это общее количество объектов массива, которые мне нужно разбить на токены. Я хочу, чтобы, когда я токенизировал т…
26 окт '14 в 23:35
2 ответа

N-грамм с частотным числом с использованием упругого поиска

Я использовал токенайзер n-грамм для создания n-грамм в эластичном поиске, но я не могу получить частоту каждого грамм, будь то биграмм или триграмм. Как мне это сделать?
15 сен '15 в 18:39
10 ответов

Производительность класса StringTokenizer против метода String.split в Java

В моем программном обеспечении мне нужно разбить строку на слова. В настоящее время у меня есть более 19 000 000 документов, каждый из которых содержит более 30 слов. Какой из следующих двух способов является лучшим способом сделать это (с точки зре…
11 май '11 в 14:19
2 ответа

Как изменить Stringtokenizer на String

У меня есть мой код, который хотел бы изменить Stringtokenizer на String, потому что информация, которую я получаю, находится в предложении, и я хотел бы сократить ее до определенной части. StringTokenizer numberOfPost_string = new StringTokenizer( …
24 окт '13 в 16:07
1 ответ

Разбор "стоп-слов" с использованием списка массивов

Я использую простой код с тремя циклами for для получения предложений из списка массивов, их токенизации, удаления стоп-слов и хранения остальных в двумерном массиве. SentenceList - это ArrayList. Стоп-слова - это массив, содержащий список стоп-слов…
26 мар '15 в 18:35
8 ответов

Почему StringTokenizer устарел?

Документация Java, кажется, не упоминает ничего об устаревании для StringTokenizerТем не менее, я продолжаю слышать о том, как это давно устарело. Было ли это устаревшим, потому что он имел ошибки / ошибки, или String.split() просто лучше использова…
08 авг '11 в 14:44
1 ответ

Записать строку Tokenized в текстовый файл?

Я пытаюсь сохранить токенизированную строку в файл.txt... Например, в Read.txt является: She sells, sea shells, by the sea shore. У меня есть программа для токенизации, но я не могу сохранить строку токена в Write.txt В Write.txt Я просто получаю: S…
1 ответ

Вызов валидации из другого класса JAVA

Я работаю над проектом, который имеет 5 классов. Одним из которых является класс проверки. Я проверил данные в контрольном классе, но профессор хочет получить их в отдельном классе. Вот пример моего кода. Пользователь вводит информацию в токены. Раб…
0 ответов

Токенизация не английского текста в предложениях Python

У меня есть арабский текстовый файл, который выглядит следующим образом اغاني و اغانياخلاق تربطنا ساخنه بن الخطاب حريم منتدى نضال و امراه اخرى قابيل و قوموا جميعا حاله الجو متى و انا نحن احبابك رامي مرض النقرس ماذا تاكل. افضل من قلب راشد ليش اتعب دا…
23 ноя '18 в 18:05
3 ответа

StringTokenizer в JAVA

StringTokenizer используется для токенизации теговой строки в JAVA. Строка помечается с использованием Parts Of Speech MaxentTagger из Стэнфорда. Подстрока тегового текста используется для итеративного отображения только тега POS и только слова. Вот…
04 апр '15 в 09:49
1 ответ

Как правильно использовать StringTokenizer

Как я должен использовать StringTokenizer так что, когда разделители появляются последовательно несколько раз, StringTokenizer будет распознавать пустое пространство между ними как пустую строку и печатать пустую строку? Кроме того, как я могу испол…
08 фев '16 в 13:29
4 ответа

Почему я не могу получить доступ к первому токену, возвращенному из Java StringTokenizer?

Я использую Buffered Reader для передачи отдельных строк файла в Java StringTokenizer, Файл структурирован следующим образом: "2,0";"foo";"foo.doc";"12345" "2,4";"foo";"foo.doc";"34567";"foo7";"foo7.doc";"45678";"foo6";"foo6.doc";"56789";"foo5";"foo…
04 окт '13 в 14:10
3 ответа

Переверните каждое предложение

Скажи, что мой вклад сейчас время для все хорошие люди, чтобы прийти на помощь партии Выход будет: время пришло партия помощи, чтобы прийти к людям хорошо все Я разобрался, как перевернуть каждый текстовый файл целиком, но мне нужно сделать это пред…
23 ноя '12 в 00:37
3 ответа

Проверьте строку на заглавную букву и найдите позицию

Мне нужно проверить, есть ли в моей строке "сэр" некоторые заглавные буквы, если да, мне нужно присвоить значение этой буквы другой строке, а затем удалить букву. моя первая часть выглядит так: Pattern p = Pattern.compile("[^A-Z]", Pattern.CASE_INSE…
09 сен '13 в 18:52
1 ответ

Как я могу разобрать BigInteger, но с помощью StringTokenizer

public static void main(String[] args) throws FileNotFoundException { // SPLASH // OBJECTS File file1 = new File ("DATA11.txt"); File file2 = new File ("OUT11.txt"); Scanner scanner = new Scanner(file1); PrintWriter writer = new PrintWriter(file2); …
08 ноя '18 в 01:09
3 ответа

Лучше использовать регулярное выражение или Stringtokenizer, чтобы найти автора и название книги в этом: Уильям Фолкнер - "Light In August"

Это лучше использовать regex или же Stringtokenizer разделить автора и заголовок в этой строке: William Faulkner - 'Light In August' Это самый простой regex это будет работать? Pattern pattern = Pattern.compile("^\\s*([^-]+)-.*$"); Matcher matcher =…
18 окт '10 в 19:35
1 ответ

Получение неверного вывода для инфикса / постфикса в Java с использованием стеков

Для входа (1+3)*(1+3) я получаю 1 3 + * 1 3 + для выхода, когда оно должно быть 1 3 + 1 3 + *. Я отладил и не могу понять, почему умножение не держится до конца. Я не сравниваю это правильно в checkOp()? public String infixToPostfix() throws StackEm…
1 ответ

Минус StringTokenizer является ошибкой?

У меня есть код, чтобы продолжить и получить минимум StringTokenizer но результат min = 999999, public static double minStringTokenizer(StringTokenizer stz) { double min = 999999; while (stz.hasMoreTokens()) { String temp1 = stz.nextToken(); double …
09 окт '15 в 13:41
0 ответов

Исключение в потоке "main" java.util.NoSuchElementException в java.util.StringTokenizer.nextToken(неизвестный источник)

Я не знаю, почему он продолжает говорить об этой ошибке в заголовке. Мой вопрос "почему мой StringTokenizer не работает?" Хотя он работает при первом вводе "когда пользователь вводит X", но при "a[i] = Integer.parseInt(st.nextToken());" это не работ…
25 июл '18 в 23:19
3 ответа

Написание интерпретатора в Java с использованием нескольких массивов или массивов с stringtokenizer

В настоящее время я работаю над заданием по созданию базового интерпретатора с 8 ключевыми словами (без учета регистра) и 4 арифметическими операторами. Программа на этом языке будет выглядеть примерно так (похоже на синтаксис BASIC): # (signals sta…
10 янв '12 в 17:38