Лучший способ убрать пунктуацию из строки в Python
Кажется, что должен быть более простой способ, чем:
import string
s = "string. With. Punctuation?" # Sample string
out = s.translate(string.maketrans("",""), string.punctuation)
Есть?
34 ответа
С точки зрения эффективности, вы не будете бить
s.translate(None, string.punctuation)
Он выполняет необработанные строковые операции в C с помощью справочной таблицы - не так много, что побьет это, кроме написания собственного кода на C.
Если скорость не беспокоит, другой вариант:
exclude = set(string.punctuation)
s = ''.join(ch for ch in s if ch not in exclude)
Это быстрее, чем s.replace для каждого символа, но не будет работать так же хорошо, как и подходы с не-чистым питоном, такие как регулярные выражения или string.translate, как вы можете видеть из приведенных ниже моментов времени. Для такого типа проблем окупаемость на минимально возможном уровне.
Сроки код:
import re, string, timeit
s = "string. With. Punctuation"
exclude = set(string.punctuation)
table = string.maketrans("","")
regex = re.compile('[%s]' % re.escape(string.punctuation))
def test_set(s):
return ''.join(ch for ch in s if ch not in exclude)
def test_re(s): # From Vinko's solution, with fix.
return regex.sub('', s)
def test_trans(s):
return s.translate(table, string.punctuation)
def test_repl(s): # From S.Lott's solution
for c in string.punctuation:
s=s.replace(c,"")
return s
print "sets :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000)
print "regex :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000)
print "translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000)
print "replace :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000)
Это дает следующие результаты:
sets : 19.8566138744
regex : 6.86155414581
translate : 2.12455511093
replace : 28.4436721802
Регулярные выражения достаточно просты, если вы их знаете.
import re
s = "string. With. Punctuation?"
s = re.sub(r'[^\w\s]','',s)
Для удобства использования я суммирую примечание о чередовании знаков препинания в строке как в Python 2, так и в Python 3. Пожалуйста, обратитесь к другим ответам для подробного описания.
Python 2
import string
s = "string. With. Punctuation?"
table = string.maketrans("","")
new_s = s.translate(table, string.punctuation) # Output: string without punctuation
Python 3
import string
s = "string. With. Punctuation?"
table = str.maketrans({key: None for key in string.punctuation})
new_s = s.translate(table) # Output: string without punctuation
string.punctuation только ASCII! Более правильным (но также и гораздо более медленным) способом является использование модуля unicodedata:
# -*- coding: utf-8 -*-
from unicodedata import category
s = u'String — with - «punctation »...'
s = ''.join(ch for ch in s if category(ch)[0] != 'P')
print 'stripped', s
Не обязательно проще, но по-другому, если вы больше знакомы с семьей.
import re, string
s = "string. With. Punctuation?" # Sample string
out = re.sub('[%s]' % re.escape(string.punctuation), '', s)
Я обычно использую что-то вроде этого:
>>> s = "string. With. Punctuation?" # Sample string
>>> import string
>>> for c in string.punctuation:
... s= s.replace(c,"")
...
>>> s
'string With Punctuation'
Для Python 3 str или Python 2 unicode ценности, str.translate() берет только словарь; в этом отображении ищутся кодовые точки (целые числа) и все, что сопоставлено None устранен.
Чтобы удалить (некоторые?) Знаки препинания, используйте:
import string
remove_punct_map = dict.fromkeys(map(ord, string.punctuation))
s.translate(remove_punct_map)
dict.fromkeys() Метод класса упрощает создание отображения, устанавливая все значения в None на основе последовательности клавиш.
Чтобы удалить все знаки препинания, а не только знаки препинания ASCII, ваш стол должен быть немного больше; см . ответ Дж.Ф. Себастьяна (версия Python 3):
import unicodedata
import sys
remove_punct_map = dict.fromkeys(i for i in range(sys.maxunicode)
if unicodedata.category(chr(i)).startswith('P'))
string.punctuation пропускает множество знаков препинания, которые обычно используются в реальном мире. Как насчет решения, которое работает для пунктуации без ASCII?
import regex
s = u"string. With. Some・Really Weird、Non？ASCII。 「（Punctuation）」?"
remove = regex.compile(ur'[\p{C}|\p{M}|\p{P}|\p{S}|\p{Z}]+', regex.UNICODE)
remove.sub(u" ", s).strip()
Лично я считаю, что это лучший способ удалить пунктуацию из строки в Python, потому что:
- Удаляет все знаки препинания Unicode
- Это легко изменить, например, вы можете удалить
\{S}если вы хотите убрать знаки препинания, но оставить символы, такие как$, - Вы можете получить действительно конкретную информацию о том, что вы хотите сохранить и что вы хотите удалить, например
\{Pd}удалит только тире. - Это регулярное выражение также нормализует пробелы. Он отображает вкладки, возврат каретки и другие странности в красивые, одиночные пробелы.
При этом используются свойства символов Юникода, о которых вы можете прочитать подробнее в Википедии.
Я еще не видел этот ответ. Просто используйте регулярное выражение; удаляет все символы кроме символов слова (\w) и цифры символов (\d), за которым следует символ пробела (\s):
import re
s = "string. With. Punctuation?" # Sample string
out = re.sub(ur'[^\w\d\s]+', '', s)
Вот одна строка для Python 3.5:
import string
"l*ots! o(f. p@u)n[c}t]u[a'ti\"on#$^?/".translate(str.maketrans({a:None for a in string.punctuation}))
Возможно, это не лучшее решение, но я так и сделал.
import string
f = lambda x: ''.join([i for i in x if i not in string.punctuation])
import re
s = "string. With. Punctuation?" # Sample string
out = re.sub(r'[^a-zA-Z0-9\s]', '', s)
Вот функция, которую я написал. Это не очень эффективно, но это просто, и вы можете добавить или удалить любую пунктуацию по вашему желанию:
def stripPunc(wordList):
"""Strips punctuation from list of words"""
puncList = [".",";",":","!","?","/","\\",",","#","@","$","&",")","(","\""]
for punc in puncList:
for word in wordList:
wordList=[word.replace(punc,'') for word in wordList]
return wordList
Однострочник может быть полезен в не очень строгих случаях:
''.join([c for c in s if c.isalnum() or c.isspace()])
>>> s = "string. With. Punctuation?"
>>> s = re.sub(r'[^\w\s]','',s)
>>> re.split(r'\s*', s)
['string', 'With', 'Punctuation']
В качестве обновления я переписал пример @Brian в Python 3 и внес в него изменения, чтобы переместить шаг компиляции regex внутрь функции. Я думал здесь о том, чтобы рассчитывать каждый шаг, необходимый для работы функции. Возможно, вы используете распределенные вычисления и не можете разделить объект regex между вашими работниками, и вам необходимо иметь re.compile наступать на каждого работника. Кроме того, мне было интересно узнать время двух разных реализаций макетранса для Python 3
table = str.maketrans({key: None for key in string.punctuation})
против
table = str.maketrans('', '', string.punctuation)
Кроме того, я добавил другой метод для использования set, где я использую функцию пересечения, чтобы уменьшить количество итераций.
Это полный код:
import re, string, timeit
s = "string. With. Punctuation"
def test_set(s):
exclude = set(string.punctuation)
return ''.join(ch for ch in s if ch not in exclude)
def test_set2(s):
_punctuation = set(string.punctuation)
for punct in set(s).intersection(_punctuation):
s = s.replace(punct, ' ')
return ' '.join(s.split())
def test_re(s): # From Vinko's solution, with fix.
regex = re.compile('[%s]' % re.escape(string.punctuation))
return regex.sub('', s)
def test_trans(s):
table = str.maketrans({key: None for key in string.punctuation})
return s.translate(table)
def test_trans2(s):
table = str.maketrans('', '', string.punctuation)
return(s.translate(table))
def test_repl(s): # From S.Lott's solution
for c in string.punctuation:
s=s.replace(c,"")
return s
print("sets :",timeit.Timer('f(s)', 'from __main__ import s,test_set as f').timeit(1000000))
print("sets2 :",timeit.Timer('f(s)', 'from __main__ import s,test_set2 as f').timeit(1000000))
print("regex :",timeit.Timer('f(s)', 'from __main__ import s,test_re as f').timeit(1000000))
print("translate :",timeit.Timer('f(s)', 'from __main__ import s,test_trans as f').timeit(1000000))
print("translate2 :",timeit.Timer('f(s)', 'from __main__ import s,test_trans2 as f').timeit(1000000))
print("replace :",timeit.Timer('f(s)', 'from __main__ import s,test_repl as f').timeit(1000000))
Это мои результаты:
sets : 3.1830138750374317
sets2 : 2.189873124472797
regex : 7.142953420989215
translate : 4.243278483860195
translate2 : 2.427158243022859
replace : 4.579746678471565
Я искал действительно простое решение. вот что у меня получилось:
import re
s = "string. With. Punctuation?"
s = re.sub(r'[\W\s]', ' ', s)
print(s)
'string With Punctuation '
Вот решение без регулярных выражений.
import string
input_text = "!where??and!!or$$then:)"
punctuation_replacer = string.maketrans(string.punctuation, ' '*len(string.punctuation))
print ' '.join(input_text.translate(punctuation_replacer).split()).strip()
Output>> where and or then
- Заменяет знаки препинания с пробелами
- Заменить несколько пробелов между словами одним пробелом
- Удалите завершающие пробелы, если они есть, с помощью полосы ()
Почему никто из вас этим не пользуется?
''.join(filter(str.isalnum, s))
Слишком медленно?
Вот еще один простой способ сделать это с помощью RegEx
import re
punct = re.compile(r'(\w+)')
sentence = 'This ! is : a # sample $ sentence.' # Text with punctuation
tokenized = [m.group() for m in punct.finditer(sentence)]
sentence = ' '.join(tokenized)
print(sentence)
'This is a sample sentence'
#FIRST METHOD
#Storing all punctuations in a variable
punctuation='!?,.:;"\')(_-'
newstring='' #Creating empty string
word=raw_input("Enter string: ")
for i in word:
if(i not in punctuation):
newstring+=i
print "The string without punctuation is",newstring
#SECOND METHOD
word=raw_input("Enter string: ")
punctuation='!?,.:;"\')(_-'
newstring=word.translate(None,punctuation)
print "The string without punctuation is",newstring
#Output for both methods
Enter string: hello! welcome -to_python(programming.language)??,
The string without punctuation is: hello welcome topythonprogramminglanguage
with open('one.txt','r')as myFile:
str1=myFile.read()
print(str1)
punctuation = ['(', ')', '?', ':', ';', ',', '.', '!', '/', '"', "'"]
for i in punctuation:
str1 = str1.replace(i," ")
myList=[]
myList.extend(str1.split(" "))
print (str1)
for i in myList:
print(i,end='\n')
print ("____________")
В вопросе не так много конкретики, поэтому мой подход заключается в том, чтобы найти решение с самой простой интерпретацией проблемы: просто удалите знаки препинания.
Обратите внимание, что представленные решения не учитывают сокращенные слова (например,
you're) или слова через дефис (например,
anal-retentive) ... который обсуждается относительно того, следует ли их рассматривать как знаки препинания ... или учитывать неанглийский набор символов или что-то в этом роде ... потому что эти особенности не были упомянуты в вопросе. Кто-то утверждал, что пробел - это пунктуация, что технически правильно ... но для меня это не имеет смысла в контексте рассматриваемого вопроса.
# using lambda
''.join(filter(lambda c: c not in string.punctuation, s))
# using list comprehension
''.join('' if c in string.punctuation else c for c in s)
Для серьезной обработки естественного языка (NLP) вы должны позволить библиотеке, такой как SpaCy, обрабатывать пунктуацию посредством токенизации , которую затем вы можете вручную настроить в соответствии со своими потребностями.
Например, как вы хотите обрабатывать дефисы в словах? Исключительные случаи, такие как сокращения? Начало и конец кавычек? URL-адреса? В НЛП часто бывает полезно разделить сокращение типа «давайте» на «пусть» и «с» для дальнейшей обработки.
По-видимому, я не могу внести изменения в выбранный ответ, поэтому вот обновление, которое работает для Python 3. Подходы и по-прежнему самые быстрые, но
regex сейчас бьет
translate на Python 3.7.3, хотя и ненамного.
Благодарим @Brian выше за первоначальную тяжелую работу.
#!/usr/bin/env python3
"""
Determination of most efficient way to remove punctuation in Python 3.
Results in Python 3.7.3 on my laptop:
set : 2.222888
regex : 0.766476
translate : 0.935940
replace : 3.499120
"""
import re
import string
import timeit
s = "string. With. Punctuation"
exclude = set(string.punctuation)
table = str.maketrans("", "", string.punctuation)
regex = re.compile(f"[{re.escape(string.punctuation)}]")
def test_set(s):
return "".join(ch for ch in s if ch not in exclude)
def test_regex(s): # From Vinko's solution, with fix.
return regex.sub("", s)
def test_translate(s):
return s.translate(table)
def test_replace(s): # From S.Lott's solution
for c in string.punctuation:
s = s.replace(c, "")
return s
opts = dict(globals=globals(), number=1000000)
solutions = "set", "regex", "translate", "replace"
for solution in solutions:
elapsed = timeit.timeit(f"test_{solution}(s)", **opts)
print(f"{solution:<10}: {elapsed:f}")
Когда вы имеете дело со строками Unicode, я предлагаю использовать PyPi
regexмодуль, потому что он поддерживает оба класса свойств Unicode (например,
\p{X}/
\P{X}) и классы символов POSIX (например,
[:name:]).
Просто установите пакет, набрав
pip install regex(или же
pip3 install regex) в вашем терминале и нажмите ENTER.
Если вам нужно удалить знаки препинания и любые символы (то есть все, кроме букв, цифр и пробелов), вы можете использовать
regex.sub(r'[\p{P}\p{S}]', '', text) # to remove one by one
regex.sub(r'[\p{P}\p{S}]+', '', text) # to remove all consecutive punctuation/symbols with one go
regex.sub(r'[[:punct:]]+', '', text) # Same with a POSIX character class
См. демонстрацию Python онлайн:
import regex
text = 'भारत India <><>^$.,,! 002'
new_text = regex.sub(r'[\p{P}\p{S}\s]+', ' ', text).lower().strip()
# OR
# new_text = regex.sub(r'[[:punct:]\s]+', ' ', text).lower().strip()
print(new_text)
# => भारत india 002
Здесь я добавил пробел
\sшаблон для класса символов
Выполните поиск и замену, используя функции регулярных выражений, как показано здесь., Если вам приходится многократно выполнять операцию, вы можете хранить скомпилированную копию шаблона регулярных выражений (пунктуацию), что немного ускорит процесс.
Учитывая юникод. Код проверен в python3.
from unicodedata import category
text = 'hi, how are you?'
text_without_punc = ''.join(ch for ch in text if not category(ch).startswith('P'))