Фильтр "плохие слова"
Не очень технически, но... Я должен внедрить фильтр плохих слов в новый сайт, который мы разрабатываем. Так что мне нужен "хороший" список плохих слов, чтобы прокормить мою БД... любым намеком / направлением? Оглядываясь с помощью Google, я нашел это, и это начало, но не более того.
Да, я знаю, что этот вид фильтров легко избежать... но клиент будет клиентом!!!:-)
На сайте нужно будет отфильтровать как английские, так и итальянские слова, но для итальянского я могу попросить моих коллег помочь мне с составленным сообществом списком "parolacce":-) - подойдет электронное письмо.
Спасибо за любую помощь.
10 ответов
Я не видел ни одного указанного языка, но вы можете использовать его для PHP, он будет генерировать RegEx для каждой указанной работы, так что даже преднамеренное неправильное написание (например, @ss, i3itch) также будет обнаружено.
<?php
/**
* @author unkwntech@unkwndesign.com
**/
if($_GET['act'] == 'do')
{
$pattern['a'] = '/[a]/'; $replace['a'] = '[a A @]';
$pattern['b'] = '/[b]/'; $replace['b'] = '[b B I3 l3 i3]';
$pattern['c'] = '/[c]/'; $replace['c'] = '(?:[c C (]|[k K])';
$pattern['d'] = '/[d]/'; $replace['d'] = '[d D]';
$pattern['e'] = '/[e]/'; $replace['e'] = '[e E 3]';
$pattern['f'] = '/[f]/'; $replace['f'] = '(?:[f F]|[ph pH Ph PH])';
$pattern['g'] = '/[g]/'; $replace['g'] = '[g G 6]';
$pattern['h'] = '/[h]/'; $replace['h'] = '[h H]';
$pattern['i'] = '/[i]/'; $replace['i'] = '[i I l ! 1]';
$pattern['j'] = '/[j]/'; $replace['j'] = '[j J]';
$pattern['k'] = '/[k]/'; $replace['k'] = '(?:[c C (]|[k K])';
$pattern['l'] = '/[l]/'; $replace['l'] = '[l L 1 ! i]';
$pattern['m'] = '/[m]/'; $replace['m'] = '[m M]';
$pattern['n'] = '/[n]/'; $replace['n'] = '[n N]';
$pattern['o'] = '/[o]/'; $replace['o'] = '[o O 0]';
$pattern['p'] = '/[p]/'; $replace['p'] = '[p P]';
$pattern['q'] = '/[q]/'; $replace['q'] = '[q Q 9]';
$pattern['r'] = '/[r]/'; $replace['r'] = '[r R]';
$pattern['s'] = '/[s]/'; $replace['s'] = '[s S $ 5]';
$pattern['t'] = '/[t]/'; $replace['t'] = '[t T 7]';
$pattern['u'] = '/[u]/'; $replace['u'] = '[u U v V]';
$pattern['v'] = '/[v]/'; $replace['v'] = '[v V u U]';
$pattern['w'] = '/[w]/'; $replace['w'] = '[w W vv VV]';
$pattern['x'] = '/[x]/'; $replace['x'] = '[x X]';
$pattern['y'] = '/[y]/'; $replace['y'] = '[y Y]';
$pattern['z'] = '/[z]/'; $replace['z'] = '[z Z 2]';
$word = str_split(strtolower($_POST['word']));
$i=0;
while($i < count($word))
{
if(!is_numeric($word[$i]))
{
if($word[$i] != ' ' || count($word[$i]) < '1')
{
$word[$i] = preg_replace($pattern[$word[$i]], $replace[$word[$i]], $word[$i]);
}
}
$i++;
}
//$word = "/" . implode('', $word) . "/";
echo implode('', $word);
}
if($_GET['act'] == 'list')
{
$link = mysql_connect('localhost', 'username', 'password', '1');
mysql_select_db('peoples');
$sql = "SELECT word FROM filters";
$result = mysql_query($sql, $link);
$i=0;
while($i < mysql_num_rows($result))
{
echo mysql_result($result, $i, 'word') . "<br />";
$i++;
}
echo '<hr>';
}
?>
<html>
<head>
<title>RegEx Generator</title>
</head>
<body>
<form action='badword.php?act=do' method='post'>
Word: <input type='text' name='word' /><br />
<input type='submit' value='Generate' />
</form>
<a href="badword.php?act=list">List Words</a>
</body>
</html>
Остерегайтесь грубых ошибок.
"Apple сделала грубую ошибку, вытеснив их провидца - я имею в виду, посмотрите, что задумал NeXT!"
Хм. "Clbuttic".
Гугл "clbuttic" - тысячи просмотров!
Есть кто-то, кто называет его машину "clbuttic".
Есть доски объявлений "Clbuttic Steam Engine".
Словарь Вебстера - не поможет.
Хм. Что это может быть?
СОВЕТ: Люди, которые делают ложные предположения относительно своих сценариев регулярных выражений, будут смущены, когда они повторят эту неразборчивую ошибку.
У Shutterstock есть репозиторий Github со списком плохих слов, используемых для фильтрации.
Вы можете проверить это здесь: https://github.com/shutterstock/List-of-Dirty-Naughty-Obscene-and-Otherwise-Bad-Words
Если кому-то нужен API, Google в настоящее время предоставляет индикатор плохого слова.
http://www.wdyl.com/profanity?q=naughtyword
{
response: "false"
}
Обновление: Google сейчас удалил этот сервис.
Я бы сказал, просто удаляйте посты по мере их появления и блокируйте пользователей, которые слишком явно выражают свои посты. Вы можете говорить очень оскорбительные вещи, не используя никаких ругательств. Если вы заблокируете слово "задница" (он же "осел"), люди просто наберу $$ или /\55, или что-то еще, что им нужно ввести, чтобы пройти фильтр.
+1 к ошибке Clbuttic, я думаю, что для фильтров "плохого слова" важно сканировать как начальные, так и конечные пробелы (например, "задница"), а не только точную строку, чтобы у нас не было слов вроде clbuttic clbuttes, buttert, buttess и т. д.
В Википедии ClueBot есть фильтр плохих слов, прочитайте его источник.
Вы всегда можете убедить клиента провести сеанс пользователей, просто постоянно публикуя ругательства и сделать простое решение, чтобы добавить их в систему. Это большая работа, но, вероятно, она будет более представительной для сообщества.
Исследуя эту тему, я решил, что нужно больше, чем просто список, который выполняет произвольные замены. Я создал веб-сервис, который позволяет вам определять уровень "чистоты", который вы желаете. Он также прилагает усилия для выявления ложных срабатываний - то есть когда слово может быть плохим в одном контексте, но не в других. Взгляните на http://filterlanguage.com/
Недавно я нашел эту бесплатную онлайн-службу фильтрации плохих слов. Они допускают WCF и посты в формате JSON. Это работает действительно хорошо, и мне не нужно обновлять список, так как их список постоянно обновляется. у них есть бесплатные и доступные услуги премиум-класса.
это стоит посмотреть.