Быстрый выбор случайной строки из большой таблицы в MySQL

Какой быстрый способ выбрать случайную строку из большой таблицы MySQL?

Я работаю в php, но мне интересно любое решение, даже если оно на другом языке.

24 ответа

Решение

Возьмите все идентификаторы, выберите случайный из них и получите полную строку.

Если вы знаете, что идентификаторы являются последовательными без дырок, вы можете просто взять максимум и вычислить случайный идентификатор.

Если здесь и там есть дыры, но в основном последовательные значения, и вам не важна слегка искаженная случайность, возьмите максимальное значение, рассчитайте идентификатор и выберите первую строку с идентификатором, равным или превышающим вычисленный вами. Причина перекоса заключается в том, что у следующих идентификаторов такие дыры будут иметь больше шансов быть выбранными, чем у тех, которые следуют за другим идентификатором.

Если вы сделаете заказ случайным образом, у вас будет ужасное сканирование таблицы, и слово " быстрое" не относится к такому решению.

Не делайте этого, и вы не должны заказывать по GUID, у него та же проблема.

Я знал, что должен быть способ сделать это в одном запросе быстрым способом. И вот оно:

Быстрый путь без привлечения внешнего кода, слава

http://jan.kneschke.de/projects/mysql/order-by-rand/

SELECT name
  FROM random AS r1 JOIN
       (SELECT (RAND() *
                     (SELECT MAX(id)
                        FROM random)) AS id)
        AS r2
 WHERE r1.id >= r2.id
 ORDER BY r1.id ASC
 LIMIT 1;

MediaWiki использует интересный трюк (для функции Wikipedia Special:Random): в таблице со статьями есть дополнительный столбец со случайным числом (генерируется при создании статьи). Чтобы получить случайную статью, сгенерируйте случайное число и получите статью со следующим большим или меньшим (не помню, какое) значением в столбце случайного числа. С индексом это может быть очень быстро. (И MediaWiki написан на PHP и разработан для MySQL.)

Этот подход может вызвать проблему, если получающиеся числа плохо распределены; IIRC, это было исправлено в MediaWiki, поэтому, если вы решите сделать это таким образом, вам следует взглянуть на код, чтобы увидеть, как это делается в настоящее время (возможно, они периодически восстанавливают столбец случайных чисел).

Вот решение, которое выполняется довольно быстро, и оно получает лучшее случайное распределение, не зависящее от того, что значения id являются смежными или начинаются с 1.

SET @r := (SELECT ROUND(RAND() * (SELECT COUNT(*) FROM mytable)));
SET @sql := CONCAT('SELECT * FROM mytable LIMIT ', @r, ', 1');
PREPARE stmt1 FROM @sql;
EXECUTE stmt1;

Может быть, вы могли бы сделать что-то вроде:

SELECT * FROM table 
  WHERE id=
    (FLOOR(RAND() * 
           (SELECT COUNT(*) FROM table)
          )
    );

Это при условии, что все ваши идентификационные номера последовательны без пробелов.

Добавьте столбец, содержащий вычисленное случайное значение, в каждую строку и используйте его в предложении упорядочения, ограничиваясь одним результатом при выборе. Это работает быстрее, чем сканирование таблицы, ORDER BY RANDOM() вызывает.

Обновление: Вам все еще нужно вычислить некоторое случайное значение до выдачи SELECT заявление на поиск, конечно, например,

SELECT * FROM `foo` WHERE `foo_rand` >= {some random value} LIMIT 1

Существует другой способ получения случайных строк, используя только запрос и без упорядочения с помощью rand(). Он включает в себя пользовательские переменные. Посмотрите, как получить случайные строки из таблицы

Если вы не удалите строку в этой таблице, самый эффективный способ:

(если вы знаете идентификатор mininum, просто пропустите его)

SELECT MIN(id) AS minId, MAX(id) AS maxId FROM table WHERE 1

$randId=mt_rand((int)$row['minId'], (int)$row['maxId']);

SELECT id,name,... FROM table WHERE id=$randId LIMIT 1

В псевдокоде:

sql "select id from table"
store result in list
n = random(size of list)
sql "select * from table where id=" + list[n]

Это предполагает, что id является уникальным (первичным) ключом.

Простой, но медленный способ (хорошо для небольших столов)

SELECT * from TABLE order by RAND() LIMIT 1

Чтобы найти случайные строки из таблицы, не используйте ORDER BY RAND(), потому что это заставляет MySQL выполнять полную сортировку файлов и только затем получать требуемое количество строк. Чтобы избежать такой полной сортировки файлов, используйте функцию RAND () только в предложении where. Он остановится, как только достигнет необходимого количества строк. Смотрите http://www.rndblog.com/how-to-select-random-rows-in-mysql/

Для выбора нескольких случайных строк из данной таблицы (скажем, "слова") наша команда придумала такую ​​красоту:

SELECT * FROM
`words` AS r1 JOIN 
(SELECT  MAX(`WordID`) as wid_c FROM `words`) as tmp1
WHERE r1.WordID >= (SELECT (RAND() * tmp1.wid_c) AS id) LIMIT n

Я вижу здесь много решений. Один или два кажется нормальным, но другие решения имеют некоторые ограничения. Но следующее решение будет работать для любой ситуации

select a.* from random_data a, (select max(id)*rand() randid  from random_data) b
     where a.id >= b.randid limit 1;

Здесь идентификатор не должен быть последовательным. Это может быть любой столбец первичного ключа / уникального / автоинкремента. Пожалуйста, посмотрите следующий быстрый способ выбрать случайную строку из большой таблицы MySQL

Спасибо Zillur - http://www.techinfobest.com/

Используйте запрос ниже, чтобы получить случайную строку

SELECT user_firstname ,
COUNT(DISTINCT usr_fk_id) cnt
FROM userdetails 
GROUP BY usr_fk_id 
ORDER BY cnt ASC  
LIMIT 1

Я использовал это, и работа была сделана ссылка отсюда

SELECT * FROM myTable WHERE RAND()<(SELECT ((30/COUNT(*))*10) FROM myTable) ORDER BY RAND() LIMIT 30;

Я столкнулся с проблемой, когда мои идентификаторы не были последовательными. Что я придумал с этим.

SELECT * FROM products WHERE RAND()<=(5/(SELECT COUNT(*) FROM products)) LIMIT 1

Возвращенные строки примерно 5, но я ограничиваю его до 1.

Если вы хотите добавить еще одно предложение WHERE, оно станет немного интереснее. Скажем, вы хотите искать товары со скидкой.

SELECT * FROM products WHERE RAND()<=(100/(SELECT COUNT(*) FROM pt_products)) AND discount<.2 LIMIT 1

Что вам нужно сделать, так это убедиться, что вы возвращаете достаточно результатов, поэтому я установил его на 100. Наличие условия WHERE discount<.2 в подзапросе было в 10 раз медленнее, поэтому лучше возвращать больше результатов и ограничивать.

Создайте функцию, чтобы сделать это, скорее всего, лучшим ответом и самым быстрым ответом здесь!

Плюсы - работает даже с зазорами и очень быстро.

<?

$sqlConnect = mysqli_connect('localhost','username','password','database');

function rando($data,$find,$max = '0'){
   global $sqlConnect; // Set as mysqli connection variable, fetches variable outside of function set as GLOBAL
   if($data == 's1'){
     $query = mysqli_query($sqlConnect, "SELECT * FROM `yourtable` ORDER BY `id` DESC LIMIT {$find},1");

     $fetched_data = mysqli_fetch_assoc($query);
      if(mysqli_num_rows($fetched_data>0){
       return $fetch_$data;
      }else{
       rando('','',$max); // Start Over the results returned nothing
      }
   }else{
     if($max != '0'){
        $irand = rand(0,$max); 
        rando('s1',$irand,$max); // Start rando with new random ID to fetch
     }else{

        $query = mysqli_query($sqlConnect, "SELECT `id` FROM `yourtable` ORDER BY `id` DESC LIMIT 0,1");
        $fetched_data = mysqli_fetch_assoc($query);
        $max = $fetched_data['id'];
        $irand = rand(1,$max);
        rando('s1',$irand,$max); // Runs rando against the random ID we have selected if data exist will return
     }
   }
 }

 $your_data = rando(); // Returns listing data for a random entry as a ASSOC ARRAY
?>

Пожалуйста, имейте в виду, что этот код не был протестирован, но он является рабочей концепцией для возврата случайных записей даже с пробелами. Пока пробелы недостаточно велики, чтобы вызвать проблему времени загрузки.

Я немного новичок в SQL, но как насчет генерации случайного числа в PHP и использования

SELECT * FROM the_table WHERE primary_key >= $randNr

это не решает проблему с отверстиями в столе.

Но вот поворот предложения lassevks:

SELECT primary_key FROM the_table

Используйте mysql_num_rows() в PHP, чтобы создать случайное число на основе приведенного выше результата:

SELECT * FROM the_table WHERE primary_key = rand_number

На заметку о том, насколько медленно SELECT * FROM the_table:
Создание случайного числа на основе mysql_num_rows() а затем переместить указатель данных в эту точку mysql_data_seek(), Насколько медленно это будет на больших таблицах, скажем, с миллионами строк?

Взгляните на эту ссылку Яна Кнешке или на этот SO-ответ, поскольку они оба обсуждают один и тот же вопрос. Ответ SO также включает в себя различные варианты и предлагает несколько хороших предложений в зависимости от ваших потребностей. Ян рассматривает все различные варианты и характеристики производительности каждого. Он заканчивает следующим для наиболее оптимизированного метода, чтобы сделать это в выборе MySQL:

SELECT name
  FROM random AS r1 JOIN
       (SELECT (RAND() *
                     (SELECT MAX(id)
                        FROM random)) AS id)
        AS r2
 WHERE r1.id >= r2.id
 ORDER BY r1.id ASC
 LIMIT 1;

НТН,

-Dipin

Классический "SELECT ID FROM таблицы ORDER BY RAND() LIMIT 1" на самом деле в порядке.

Смотрите следующую выдержку из руководства MySQL:

Если вы используете LIMIT row_count с ORDER BY, MySQL завершает сортировку, как только он найдет первые строки row_count отсортированного результата, а не сортирует весь результат.

С заказом вы сделаете полную таблицу сканирования. Лучше всего, если вы выберете счетчик (*), а затем получите случайную строку =rownum между 0 и последним регистром

В моем случае моя таблица имеет идентификатор в качестве первичного ключа, автоинкремент без пробелов, поэтому я могу использовать COUNT(*) или же MAX(id) чтобы получить количество строк.

Я сделал этот скрипт для проверки самой быстрой операции:

logTime();
query("SELECT COUNT(id) FROM tbl");
logTime();
query("SELECT MAX(id) FROM tbl");
logTime();
query("SELECT id FROM tbl ORDER BY id DESC LIMIT 1");
logTime();

Результаты:

  • Количество: 36.8418693542479 ms
  • Максимум: 0.241041183472 ms
  • Заказ: 0.216960906982 ms

Ответ с помощью метода заказа:

SELECT FLOOR(RAND() * (
    SELECT id FROM tbl ORDER BY id DESC LIMIT 1
)) n FROM tbl LIMIT 1

...
SELECT * FROM tbl WHERE id = $result;

Быстрый и грязный метод:

SET @COUNTER=SELECT COUNT(*) FROM your_table;

SELECT PrimaryKey
FROM your_table
LIMIT 1 OFFSET (RAND() * @COUNTER);

Сложность первого запроса O(1) для таблиц MyISAM.

Второй запрос сопровождает полную проверку таблицы. Сложность = O(n)

Грязный и быстрый метод:

Держите отдельную таблицу только для этой цели. Вы также должны вставлять те же строки в эту таблицу при вставке в исходную таблицу. Предположение: нет УДАЛЕНИЯ.

CREATE TABLE Aux(
  MyPK INT AUTO_INCREMENT,
  PrimaryKey INT
);

SET @MaxPK = (SELECT MAX(MyPK) FROM Aux);
SET @RandPK = CAST(RANDOM() * @MaxPK, INT)
SET @PrimaryKey = (SELECT PrimaryKey FROM Aux WHERE MyPK = @RandPK);

Если удаляются,

SET @delta = CAST(@RandPK/10, INT);

SET @PrimaryKey = (SELECT PrimaryKey
                   FROM Aux
                   WHERE MyPK BETWEEN @RandPK - @delta AND @RandPK + @delta
                   LIMIT 1);

Общая сложность O(1).

SELECT DISTINCT * FROM yourTable WHERE 4 = 4 LIMIT 1;

Другие вопросы по тегам