Как выполнить SQL-подобное объединение в Perl?

Question

Как выполнить SQL-подобное объединение в Perl?

Я должен обработать некоторые данные путем объединения двух разных файлов. У обоих из них есть два столбца, которые образуют первичный ключ, который я могу использовать, чтобы сопоставлять их рядом. Файлы в вопросах огромные (около 5 ГБ с 20 миллионами строк), поэтому мне нужен эффективный код. Как бы я сделал это в Perl?

Я приведу пример:

Если файл A содержит столбцы

id, name, lastname, dob, school

Файл B содержит столбцы

address, id, postcode, dob, email

Мне нужно объединить эти два файла, сопоставив id и dob в двух файлах, чтобы получить выходной файл со столбцами:

 id, name, lastname, dob, school, address, postcode, email

8

perl file-processing filemerge

Источник

user213334 03 янв '12 в 12:21

6 ответов

Другие вопросы по тегам perl file-processing filemerge

user268539 03 янв '12 в 12:53 2012-01-03 12:53 · Answer 1 · 2012-01-03 12:53

Думаю, я бы просто создал новую базу данных mysql/sqlite/what и вставил строки. Должно быть ~20 строк perl.

Это, конечно, требует легкого доступа к БД.

Думаю, вы также можете отсортировать файлы по интересующим полям, а затем для каждой строки в file1 найти и распечатать соответствующие строки в file2.

user597305 03 янв '12 в 17:09 2012-01-03 17:09 · Answer 2 · 2012-01-03 17:09

Старый способ сделать это - использовать системные утилиты для сортировки обоих файлов в последовательности ключей, а затем сопоставлять их построчно. Прочитайте оба файла, если ключи совпадают, выведите данные. Если они не совпадают, читайте файл с меньшим ключом, пока они не совпадут. Установите бесконечно высокий ключ для файла, если он нажмет eof. Когда оба ключа бесконечно высоки, все готово.

user275358 09 янв '12 в 12:41 2012-01-09 12:41 · Answer 3 · 2012-01-09 12:41

Также вы можете попробовать DBD::AnyData

0

Источник

user275358 09 янв '12 в 12:41

user268539 04 янв '12 в 10:54 2012-01-04 10:54 · Answer 4 · 2012-01-04 10:54

Я на самом деле не пробовал это, но более креативное решение может быть:

Прочитайте каждый файл один раз и создайте карту между уникальными комбинациями id+dob и их позициями в файле. Используйте скажи ().
Создать карту в Perl
Чтение фактических данных из файлов с использованием позиций на карте и sysread()
Запишите данные в новый файл

user279600 03 янв '12 в 16:29 2012-01-03 16:29 · Answer 5 · 2012-01-03 16:29

Или просмотрите эту прекрасную статью Techrepublic. Тем не менее, вам все еще может потребоваться 5 ГБ памяти. Интересно, где бы вы могли использовать утилиты сортировки / объединения CLI unix/linux? Просто мысль.

0

Источник

user279600 03 янв '12 в 16:29

user1138086 09 янв '12 в 06:10 2012-01-09 06:10 · Answer 6 · 2012-01-09 06:10

Вы также можете использовать мой 3-летний модуль CPAN Set::Relation, который предназначен для таких вещей, что позволяет вам выполнять все функции SQL, такие как join в Perl. Создайте объект Set::Relation для каждого файла, а затем используйте метод join(). Тем не менее, этот реализованный модуль будет хранить все ваши операнды и приводить к памяти, поэтому он ограничен вашей оперативной памятью. Но вы все равно можете посмотреть в его источнике, как работает join(), а затем реализовать на его основе более эффективную версию для ваших целей.