Быстрый выбор случайной строки из большой таблицы в MySQL
Какой быстрый способ выбрать случайную строку из большой таблицы MySQL?
Я работаю в php, но мне интересно любое решение, даже если оно на другом языке.
24 ответа
Возьмите все идентификаторы, выберите случайный из них и получите полную строку.
Если вы знаете, что идентификаторы являются последовательными без дырок, вы можете просто взять максимум и вычислить случайный идентификатор.
Если здесь и там есть дыры, но в основном последовательные значения, и вам не важна слегка искаженная случайность, возьмите максимальное значение, рассчитайте идентификатор и выберите первую строку с идентификатором, равным или превышающим вычисленный вами. Причина перекоса заключается в том, что у следующих идентификаторов такие дыры будут иметь больше шансов быть выбранными, чем у тех, которые следуют за другим идентификатором.
Если вы сделаете заказ случайным образом, у вас будет ужасное сканирование таблицы, и слово " быстрое" не относится к такому решению.
Не делайте этого, и вы не должны заказывать по GUID, у него та же проблема.
Я знал, что должен быть способ сделать это в одном запросе быстрым способом. И вот оно:
Быстрый путь без привлечения внешнего кода, слава
http://jan.kneschke.de/projects/mysql/order-by-rand/
SELECT name
FROM random AS r1 JOIN
(SELECT (RAND() *
(SELECT MAX(id)
FROM random)) AS id)
AS r2
WHERE r1.id >= r2.id
ORDER BY r1.id ASC
LIMIT 1;
MediaWiki использует интересный трюк (для функции Wikipedia Special:Random): в таблице со статьями есть дополнительный столбец со случайным числом (генерируется при создании статьи). Чтобы получить случайную статью, сгенерируйте случайное число и получите статью со следующим большим или меньшим (не помню, какое) значением в столбце случайного числа. С индексом это может быть очень быстро. (И MediaWiki написан на PHP и разработан для MySQL.)
Этот подход может вызвать проблему, если получающиеся числа плохо распределены; IIRC, это было исправлено в MediaWiki, поэтому, если вы решите сделать это таким образом, вам следует взглянуть на код, чтобы увидеть, как это делается в настоящее время (возможно, они периодически восстанавливают столбец случайных чисел).
Вот решение, которое выполняется довольно быстро, и оно получает лучшее случайное распределение, не зависящее от того, что значения id являются смежными или начинаются с 1.
SET @r := (SELECT ROUND(RAND() * (SELECT COUNT(*) FROM mytable)));
SET @sql := CONCAT('SELECT * FROM mytable LIMIT ', @r, ', 1');
PREPARE stmt1 FROM @sql;
EXECUTE stmt1;
Может быть, вы могли бы сделать что-то вроде:
SELECT * FROM table
WHERE id=
(FLOOR(RAND() *
(SELECT COUNT(*) FROM table)
)
);
Это при условии, что все ваши идентификационные номера последовательны без пробелов.
Добавьте столбец, содержащий вычисленное случайное значение, в каждую строку и используйте его в предложении упорядочения, ограничиваясь одним результатом при выборе. Это работает быстрее, чем сканирование таблицы, ORDER BY RANDOM() вызывает.
Обновление: Вам все еще нужно вычислить некоторое случайное значение до выдачи SELECT заявление на поиск, конечно, например,
SELECT * FROM `foo` WHERE `foo_rand` >= {some random value} LIMIT 1
Существует другой способ получения случайных строк, используя только запрос и без упорядочения с помощью rand(). Он включает в себя пользовательские переменные. Посмотрите, как получить случайные строки из таблицы
Если вы не удалите строку в этой таблице, самый эффективный способ:
(если вы знаете идентификатор mininum, просто пропустите его)
SELECT MIN(id) AS minId, MAX(id) AS maxId FROM table WHERE 1
$randId=mt_rand((int)$row['minId'], (int)$row['maxId']);
SELECT id,name,... FROM table WHERE id=$randId LIMIT 1
В псевдокоде:
sql "select id from table"
store result in list
n = random(size of list)
sql "select * from table where id=" + list[n]
Это предполагает, что id является уникальным (первичным) ключом.
Простой, но медленный способ (хорошо для небольших столов)
SELECT * from TABLE order by RAND() LIMIT 1
Чтобы найти случайные строки из таблицы, не используйте ORDER BY RAND(), потому что это заставляет MySQL выполнять полную сортировку файлов и только затем получать требуемое количество строк. Чтобы избежать такой полной сортировки файлов, используйте функцию RAND () только в предложении where. Он остановится, как только достигнет необходимого количества строк. Смотрите http://www.rndblog.com/how-to-select-random-rows-in-mysql/
Для выбора нескольких случайных строк из данной таблицы (скажем, "слова") наша команда придумала такую красоту:
SELECT * FROM
`words` AS r1 JOIN
(SELECT MAX(`WordID`) as wid_c FROM `words`) as tmp1
WHERE r1.WordID >= (SELECT (RAND() * tmp1.wid_c) AS id) LIMIT n
Я вижу здесь много решений. Один или два кажется нормальным, но другие решения имеют некоторые ограничения. Но следующее решение будет работать для любой ситуации
select a.* from random_data a, (select max(id)*rand() randid from random_data) b
where a.id >= b.randid limit 1;
Здесь идентификатор не должен быть последовательным. Это может быть любой столбец первичного ключа / уникального / автоинкремента. Пожалуйста, посмотрите следующий быстрый способ выбрать случайную строку из большой таблицы MySQL
Спасибо Zillur - http://www.techinfobest.com/
Используйте запрос ниже, чтобы получить случайную строку
SELECT user_firstname ,
COUNT(DISTINCT usr_fk_id) cnt
FROM userdetails
GROUP BY usr_fk_id
ORDER BY cnt ASC
LIMIT 1
Я использовал это, и работа была сделана ссылка отсюда
SELECT * FROM myTable WHERE RAND()<(SELECT ((30/COUNT(*))*10) FROM myTable) ORDER BY RAND() LIMIT 30;
Я столкнулся с проблемой, когда мои идентификаторы не были последовательными. Что я придумал с этим.
SELECT * FROM products WHERE RAND()<=(5/(SELECT COUNT(*) FROM products)) LIMIT 1
Возвращенные строки примерно 5, но я ограничиваю его до 1.
Если вы хотите добавить еще одно предложение WHERE, оно станет немного интереснее. Скажем, вы хотите искать товары со скидкой.
SELECT * FROM products WHERE RAND()<=(100/(SELECT COUNT(*) FROM pt_products)) AND discount<.2 LIMIT 1
Что вам нужно сделать, так это убедиться, что вы возвращаете достаточно результатов, поэтому я установил его на 100. Наличие условия WHERE discount<.2 в подзапросе было в 10 раз медленнее, поэтому лучше возвращать больше результатов и ограничивать.
Создайте функцию, чтобы сделать это, скорее всего, лучшим ответом и самым быстрым ответом здесь!
Плюсы - работает даже с зазорами и очень быстро.
<?
$sqlConnect = mysqli_connect('localhost','username','password','database');
function rando($data,$find,$max = '0'){
global $sqlConnect; // Set as mysqli connection variable, fetches variable outside of function set as GLOBAL
if($data == 's1'){
$query = mysqli_query($sqlConnect, "SELECT * FROM `yourtable` ORDER BY `id` DESC LIMIT {$find},1");
$fetched_data = mysqli_fetch_assoc($query);
if(mysqli_num_rows($fetched_data>0){
return $fetch_$data;
}else{
rando('','',$max); // Start Over the results returned nothing
}
}else{
if($max != '0'){
$irand = rand(0,$max);
rando('s1',$irand,$max); // Start rando with new random ID to fetch
}else{
$query = mysqli_query($sqlConnect, "SELECT `id` FROM `yourtable` ORDER BY `id` DESC LIMIT 0,1");
$fetched_data = mysqli_fetch_assoc($query);
$max = $fetched_data['id'];
$irand = rand(1,$max);
rando('s1',$irand,$max); // Runs rando against the random ID we have selected if data exist will return
}
}
}
$your_data = rando(); // Returns listing data for a random entry as a ASSOC ARRAY
?>
Пожалуйста, имейте в виду, что этот код не был протестирован, но он является рабочей концепцией для возврата случайных записей даже с пробелами. Пока пробелы недостаточно велики, чтобы вызвать проблему времени загрузки.
Я немного новичок в SQL, но как насчет генерации случайного числа в PHP и использования
SELECT * FROM the_table WHERE primary_key >= $randNr
это не решает проблему с отверстиями в столе.
Но вот поворот предложения lassevks:
SELECT primary_key FROM the_table
Используйте mysql_num_rows() в PHP, чтобы создать случайное число на основе приведенного выше результата:
SELECT * FROM the_table WHERE primary_key = rand_number
На заметку о том, насколько медленно SELECT * FROM the_table:
Создание случайного числа на основе mysql_num_rows() а затем переместить указатель данных в эту точку mysql_data_seek(), Насколько медленно это будет на больших таблицах, скажем, с миллионами строк?
Взгляните на эту ссылку Яна Кнешке или на этот SO-ответ, поскольку они оба обсуждают один и тот же вопрос. Ответ SO также включает в себя различные варианты и предлагает несколько хороших предложений в зависимости от ваших потребностей. Ян рассматривает все различные варианты и характеристики производительности каждого. Он заканчивает следующим для наиболее оптимизированного метода, чтобы сделать это в выборе MySQL:
SELECT name
FROM random AS r1 JOIN
(SELECT (RAND() *
(SELECT MAX(id)
FROM random)) AS id)
AS r2
WHERE r1.id >= r2.id
ORDER BY r1.id ASC
LIMIT 1;
НТН,
-Dipin
Классический "SELECT ID FROM таблицы ORDER BY RAND() LIMIT 1" на самом деле в порядке.
Смотрите следующую выдержку из руководства MySQL:
Если вы используете LIMIT row_count с ORDER BY, MySQL завершает сортировку, как только он найдет первые строки row_count отсортированного результата, а не сортирует весь результат.
С заказом вы сделаете полную таблицу сканирования. Лучше всего, если вы выберете счетчик (*), а затем получите случайную строку =rownum между 0 и последним регистром
В моем случае моя таблица имеет идентификатор в качестве первичного ключа, автоинкремент без пробелов, поэтому я могу использовать COUNT(*) или же MAX(id) чтобы получить количество строк.
Я сделал этот скрипт для проверки самой быстрой операции:
logTime();
query("SELECT COUNT(id) FROM tbl");
logTime();
query("SELECT MAX(id) FROM tbl");
logTime();
query("SELECT id FROM tbl ORDER BY id DESC LIMIT 1");
logTime();
Результаты:
- Количество:
36.8418693542479 ms - Максимум:
0.241041183472 ms - Заказ:
0.216960906982 ms
Ответ с помощью метода заказа:
SELECT FLOOR(RAND() * (
SELECT id FROM tbl ORDER BY id DESC LIMIT 1
)) n FROM tbl LIMIT 1
...
SELECT * FROM tbl WHERE id = $result;
Быстрый и грязный метод:
SET @COUNTER=SELECT COUNT(*) FROM your_table;
SELECT PrimaryKey
FROM your_table
LIMIT 1 OFFSET (RAND() * @COUNTER);
Сложность первого запроса O(1) для таблиц MyISAM.
Второй запрос сопровождает полную проверку таблицы. Сложность = O(n)
Грязный и быстрый метод:
Держите отдельную таблицу только для этой цели. Вы также должны вставлять те же строки в эту таблицу при вставке в исходную таблицу. Предположение: нет УДАЛЕНИЯ.
CREATE TABLE Aux(
MyPK INT AUTO_INCREMENT,
PrimaryKey INT
);
SET @MaxPK = (SELECT MAX(MyPK) FROM Aux);
SET @RandPK = CAST(RANDOM() * @MaxPK, INT)
SET @PrimaryKey = (SELECT PrimaryKey FROM Aux WHERE MyPK = @RandPK);
Если удаляются,
SET @delta = CAST(@RandPK/10, INT);
SET @PrimaryKey = (SELECT PrimaryKey
FROM Aux
WHERE MyPK BETWEEN @RandPK - @delta AND @RandPK + @delta
LIMIT 1);
Общая сложность O(1).