Удалить кортеж и создать новый отсортированный список

Question

У меня есть RDD, который я создал, используя PySpark, и его размеры около 600 ГБ после соединения по значению ключа, которое выглядит именно так.

[('43.72_-70.08', (('0744632', -70.08, 43.72, '2.4'), '18090865')),
 ('43.72_-70.08', (('0744632', -70.08, 43.72, '2.4'), '18090865')),
 ('43.25_-67.58', (('0753877', -67.58, 43.25, '7.2'), '18050868')),
 ('43.01_-75.24', (('0750567', -75.24, 43.01, '7.2'), '18042872'))]

Я хочу что-то вроде этого и отсортировано по первому элементу:

['0744632', '18090865', '2.4',
'0744632', '18090865', '2.4',
'0750567', '18042872', '7.2',
'0753877', '18050868', '7.2']

Есть ли способ, которым я могу получить данные из кортежей и получить вывод в требуемом формате.

Примечание. Это СДР емкостью 600 ГБ с более чем миллионными значениями в первом столбце и приблиз. 15 миллиардов строк, я бы очень признателен за оптимизированный способ, если это возможно.

Answer 1

Сделайте это в вашем искровом кластере, например:

In []:
(rdd.map(lambda x: (x[1][0][0], x[1][1], x[1][0][2]))
 .sortBy(lambda x: x[0])
 .flatMap(lambda x: x)
 .collect())

Out[]:
['0744632', '18090865', 43.72, '0744632', '18090865', 43.72, '0750567', 
 '18042872', 43.01, '0753877', '18050868', 43.25]

альтернативно

In []:
import operator as op

(rdd.map(lambda x: (x[1][0][0], x[1][1], x[1][0][2]))
 .sortBy(lambda x: x[0])
 .reduce(op.add))

Out[]:
('0744632', '18090865', 43.72, '0744632', '18090865', 43.72, '0750567', 
 '18042872', 43.01, '0753877', '18050868', 43.25)

Это выглядит довольно громоздкой структурой: если вы имели в виду список кортежей, просто удалите flatMap():

In []:
(rdd.map(lambda x: (x[1][0][0], x[1][1], x[1][0][2]))
 .sortBy(lambda x: x[0])
 .collect())

Out[]:
[('0744632', '18090865', 43.72),
 ('0744632', '18090865', 43.72),
 ('0750567', '18042872', 43.01),
 ('0753877', '18050868', 43.25)]

Answer 2

Аналогично другому ответу Spark:

rdd=rdd.map(lambda (a,(b,c)): [b[0], c, b[3]])\
       .sortBy(lambda row: row[0])

Вы также можете использовать уменьшение вместо flatMap:

rdd.reduce(lambda x,y: x+y)

Answer 3

Это простое однострочное решение

sorted([(x[1][0][0], x[1][1], x[1][0][3]) for x in your_list]) 

Я думаю, что это немного быстрее, чем лямбда-решение на основе этого поста. В чем разница между этими двумя решениями - лямбда или петля - Python