Индекс дубликатов элементов в списке Python
Кто-нибудь знает, как я могу получить индекс позиции дубликатов элементов в списке Python? Я пытался сделать это, и он продолжает давать мне только индекс первого вхождения элемента в списке.
List = ['A', 'B', 'A', 'C', 'E']
Я хочу, чтобы это дало мне:
index 0: A
index 2: A
25 ответов
Вы хотите передать необязательный второй параметр index, место, где вы хотите, чтобы index начал искать. После того, как вы найдете каждое совпадение, сбросьте этот параметр в местоположение сразу после найденного совпадения.
def list_duplicates_of(seq,item):
start_at = -1
locs = []
while True:
try:
loc = seq.index(item,start_at+1)
except ValueError:
break
else:
locs.append(loc)
start_at = loc
return locs
source = "ABABDBAAEDSBQEWBAFLSAFB"
print(list_duplicates_of(source, 'B'))
Печать:
[1, 3, 5, 11, 15, 22]
Вы можете найти все дубликаты одновременно за один проход через источник, используя defaultdict, чтобы сохранить список всех просмотренных местоположений для любого элемента, и возвращая те элементы, которые были просмотрены более одного раза.
from collections import defaultdict
def list_duplicates(seq):
tally = defaultdict(list)
for i,item in enumerate(seq):
tally[item].append(i)
return ((key,locs) for key,locs in tally.items()
if len(locs)>1)
for dup in sorted(list_duplicates(source)):
print(dup)
Печать:
('A', [0, 2, 6, 7, 16, 20])
('B', [1, 3, 5, 11, 15, 22])
('D', [4, 9])
('E', [8, 13])
('F', [17, 21])
('S', [10, 19])
Если вы хотите выполнить повторное тестирование различных ключей в одном и том же источнике, вы можете использовать functools.partial для создания новой переменной функции, используя "частично полный" список аргументов, то есть, указав seq, но пропуская элемент для поиска. за:
from functools import partial
dups_in_source = partial(list_duplicates_of, source)
for c in "ABDEFS":
print(c, dups_in_source(c))
Печать:
A [0, 2, 6, 7, 16, 20]
B [1, 3, 5, 11, 15, 22]
D [4, 9]
E [8, 13]
F [17, 21]
S [10, 19]
>>> def duplicates(lst, item):
... return [i for i, x in enumerate(lst) if x == item]
...
>>> duplicates(List, "A")
[0, 2]
Чтобы получить все дубликаты, вы можете использовать метод ниже, но он не очень эффективен. Если эффективность важна, вы должны рассмотреть решение Игнасио вместо этого.
>>> dict((x, duplicates(List, x)) for x in set(List) if List.count(x) > 1)
{'A': [0, 2]}
Что касается решения с помощью index метод list вместо этого этот метод принимает второй необязательный аргумент, указывающий, с чего начать, поэтому вы можете просто несколько раз вызвать его с предыдущим индексом плюс 1.
>>> List.index("A")
0
>>> List.index("A", 1)
2
РЕДАКТИРОВАТЬ Исправлена проблема, поднятая в комментариях.
Я сделал тест всех предложенных здесь решений, а также добавил еще одно решение этой проблемы (описано в конце ответа).
Ориентиры
Во-первых, ориентиры. Я инициализирую список n случайные числа в диапазоне [1, n/2] а затем позвоните timeit по всем алгоритмам
Решения @ PaulMcG и @ Ignacio Vazquez-Abrams работают примерно вдвое быстрее, чем остальные в списке из 100 дюймов:
Testing algorithm on the list of 100 items using 10000 loops
Algorithm: dupl_eat
Timing: 1.46247477189
####################
Algorithm: dupl_utdemir
Timing: 2.93324529055
####################
Algorithm: dupl_lthaulow
Timing: 3.89198786645
####################
Algorithm: dupl_pmcguire
Timing: 0.583058259784
####################
Algorithm: dupl_ivazques_abrams
Timing: 0.645062989076
####################
Algorithm: dupl_rbespal
Timing: 1.06523873786
####################
Если вы измените количество предметов на 1000, разница станет намного больше (кстати, я буду рад, если кто-нибудь сможет объяснить почему):
Testing algorithm on the list of 1000 items using 1000 loops
Algorithm: dupl_eat
Timing: 5.46171654555
####################
Algorithm: dupl_utdemir
Timing: 25.5582547323
####################
Algorithm: dupl_lthaulow
Timing: 39.284285326
####################
Algorithm: dupl_pmcguire
Timing: 0.56558489513
####################
Algorithm: dupl_ivazques_abrams
Timing: 0.615980005148
####################
Algorithm: dupl_rbespal
Timing: 1.21610942322
####################
В больших списках решение @ PaulMcG остается наиболее эффективным, и у моего алгоритма возникают проблемы.
Testing algorithm on the list of 1000000 items using 1 loops
Algorithm: dupl_pmcguire
Timing: 1.5019953958
####################
Algorithm: dupl_ivazques_abrams
Timing: 1.70856155898
####################
Algorithm: dupl_rbespal
Timing: 3.95820421595
####################
Полный код теста здесь
Другой алгоритм
Вот мое решение той же проблемы:
def dupl_rbespal(c):
alreadyAdded = False
dupl_c = dict()
sorted_ind_c = sorted(range(len(c)), key=lambda x: c[x]) # sort incoming list but save the indexes of sorted items
for i in xrange(len(c) - 1): # loop over indexes of sorted items
if c[sorted_ind_c[i]] == c[sorted_ind_c[i+1]]: # if two consecutive indexes point to the same value, add it to the duplicates
if not alreadyAdded:
dupl_c[c[sorted_ind_c[i]]] = [sorted_ind_c[i], sorted_ind_c[i+1]]
alreadyAdded = True
else:
dupl_c[c[sorted_ind_c[i]]].append( sorted_ind_c[i+1] )
else:
alreadyAdded = False
return dupl_c
Хотя это не самое лучшее, это позволило мне создать немного другую структуру, необходимую для моей проблемы (мне нужно было что-то вроде связанного списка индексов с одинаковым значением)
dups = collections.defaultdict(list)
for i, e in enumerate(L):
dups[e].append(i)
for k, v in sorted(dups.iteritems()):
if len(v) >= 2:
print '%s: %r' % (k, v)
И экстраполировать оттуда.
Я думаю, я нашел простое решение после большого раздражения:
if elem in string_list:
counter = 0
elem_pos = []
for i in string_list:
if i == elem:
elem_pos.append(counter)
counter = counter + 1
print(elem_pos)
Это распечатывает список с указанием индексов определенного элемента ("elem")
Использование нового класса "Counter" в модуле коллекций на основе ответа Lazyr:
>>> import collections
>>> def duplicates(n): #n="123123123"
... counter=collections.Counter(n) #{'1': 3, '3': 3, '2': 3}
... dups=[i for i in counter if counter[i]!=1] #['1','3','2']
... result={}
... for item in dups:
... result[item]=[i for i,j in enumerate(n) if j==item]
... return result
...
>>> duplicates("123123123")
{'1': [0, 3, 6], '3': [2, 5, 8], '2': [1, 4, 7]}
from collections import Counter, defaultdict
def duplicates(lst):
cnt= Counter(lst)
return [key for key in cnt.keys() if cnt[key]> 1]
def duplicates_indices(lst):
dup, ind= duplicates(lst), defaultdict(list)
for i, v in enumerate(lst):
if v in dup: ind[v].append(i)
return ind
lst= ['a', 'b', 'a', 'c', 'b', 'a', 'e']
print duplicates(lst) # ['a', 'b']
print duplicates_indices(lst) # ..., {'a': [0, 2, 5], 'b': [1, 4]})
Немного более ортогональная (и, следовательно, более полезная) реализация будет:
from collections import Counter, defaultdict
def duplicates(lst):
cnt= Counter(lst)
return [key for key in cnt.keys() if cnt[key]> 1]
def indices(lst, items= None):
items, ind= set(lst) if items is None else items, defaultdict(list)
for i, v in enumerate(lst):
if v in items: ind[v].append(i)
return ind
lst= ['a', 'b', 'a', 'c', 'b', 'a', 'e']
print indices(lst, duplicates(lst)) # ..., {'a': [0, 2, 5], 'b': [1, 4]})
В одной строке с
pandas 1.2.2 а также
numpy:
import numpy as np
import pandas as pd
idx = np.where(pd.DataFrame(List).duplicated(keep=False))
Аргумент
keep=False будет отмечать каждый дубликат как и
np.where() вернет массив с индексами, в которых элемент в массиве был
True.
Вау, ответ у всех такой длинный. Я просто использовал pandas dataframe, маскировку и дублированную функцию (keep=False помечает все дубликаты как Trueне только первый или последний)
import pandas as pd
import numpy as np
np.random.seed(42) # make results reproducible
int_df = pd.DataFrame({'int_list': np.random.randint(1, 20, size=10)})
dupes = int_df['int_list'].duplicated(keep=False)
print(int_df['int_list'][dupes].index)
Это должно вернуться Int64Index([0, 2, 3, 4, 6, 7, 9], dtype='int64'),
def index(arr, num):
for i, x in enumerate(arr):
if x == num:
print(x, i)
#index(List, 'A')
string_list = ['A', 'B', 'C', 'B', 'D', 'B']
pos_list = []
for i in range(len(string_list)):
if string_list[i] = ='B':
pos_list.append(i)
print pos_list
Уже есть много ответов, но мне очень нравится это решение, и оно действительно быстрое (оно использует pandas.Series, поскольку их создавать быстрее, чем pd.DataFrames).
Преимущество этого метода в том, что он игнорирует первый элемент всех повторов.
import numpy as np
import pandas as pd
lst = [0, 1, 1, 2, 2, 2, 3, 4, 5, 6, 6, 7, 8, 9, 9]
#index 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14
#duplicates | | | | |
indices = np.where(pd.Series(lst).duplicated())[0]
print(indices)
# [ 2 4 5 10 14]
Это хороший вопрос, и есть много способов ответить на него.
Код ниже является одним из способов сделать это
letters = ["a", "b", "c", "d", "e", "a", "a", "b"]
lettersIndexes = [i for i in range(len(letters))] # i created a list that contains the indexes of my previous list
counter = 0
for item in letters:
if item == "a":
print(item, lettersIndexes[counter])
counter += 1 # for each item it increases the counter which means the index
Другой способ получить индексы, но на этот раз сохраненный в списке
letters = ["a", "b", "c", "d", "e", "a", "a", "b"]
lettersIndexes = [i for i in range(len(letters)) if letters[i] == "a" ]
print(lettersIndexes) # as you can see we get a list of the indexes that we want.
Добрый день
def dup_list(my_list, value):
'''
dup_list(list,value)
This function finds the indices of values in a list including duplicated values.
list: the list you are working on
value: the item of the list you want to find the index of
NB: if a value is duplcated, its indices are stored in a list
If only one occurence of the value, the index is stored as an integer.
Therefore use isinstance method to know how to handle the returned value
'''
value_list = []
index_list = []
index_of_duped = []
if my_list.count(value) == 1:
return my_list.index(value)
elif my_list.count(value) < 1:
return 'Your argument is not in the list'
else:
for item in my_list:
value_list.append(item)
length = len(value_list)
index = length - 1
index_list.append(index)
if item == value:
index_of_duped.append(max(index_list))
return index_of_duped
# function call eg dup_list(my_list, 'john')
Здесь есть много отличных ответов. Я хотел бы добавить свое. Я сделал это с меньшим количеством строк кода, используя класс Counter модуля коллекций . Я также использовал range(len(list)) как альтернативный способ использования функции перечисления.
import collections as col
lett_list = ['A', 'B', 'A', 'C', 'E']
lett_dict = {}
counter = col.Counter(lett_list)
elements = [i for i in counter]
for elem in elements:
lett_dict[elem]=[i for i in range(len(lett_list)) if lett_list[i]==elem]
print(lett_dict)
Выход:{'A': [0, 2], 'B': [1], 'C': [3], 'E': [4]}
def duplicates(list,dup):
a=[list.index(dup)]
for i in list:
try:
a.append(list.index(dup,a[-1]+1))
except:
for i in a:
print(f'index {i}: '+dup)
break
duplicates(['A', 'B', 'A', 'C', 'E'],'A')
Я думаю, что это самый быстрый из всех (я проверил затраченное время, так как указанный выше пользователь дал время для некоторых условий).
Output:
index 0: A
index 2: A
Если вы хотите получить индекс всех повторяющихся элементов разных типов, вы можете попробовать это решение:
# note: below list has more than one kind of duplicates
List = ['A', 'B', 'A', 'C', 'E', 'E', 'A', 'B', 'A', 'A', 'C']
d1 = {item:List.count(item) for item in List} # item and their counts
elems = list(filter(lambda x: d1[x] > 1, d1)) # get duplicate elements
d2 = dict(zip(range(0, len(List)), List)) # each item and their indices
# item and their list of duplicate indices
res = {item: list(filter(lambda x: d2[x] == item, d2)) for item in elems}
Теперь, если ты
print(res) вы увидите это:
{'A': [0, 2, 6, 8, 9], 'B': [1, 7], 'C': [3, 10], 'E': [4, 5]}
Использование словарного подхода, основанного на методе экземпляра.
List = ['A', 'B', 'A', 'C', 'B', 'E', 'B']
# keep track of all indices of every term
duplicates = {}
for i, key in enumerate(List):
duplicates.setdefault(key, []).append(i)
# print only those terms with more than one index
template = 'index {}: {}'
for k, v in duplicates.items():
if len(v) > 1:
print(template.format(k, str(v).strip('][')))
Примечание:Counter,defaultdictи другой класс контейнера изcollectionsявляются подклассамиdictследовательно, поделитесьsetdefaultметод также
Вот тот, который работает с несколькими дубликатами, и вам не нужно указывать какие-либо значения:
List = ['A', 'B', 'A', 'C', 'E', 'B'] # duplicate two 'A's two 'B's
ix_list = []
for i in range(len(List)):
try:
dup_ix = List[(i+1):].index(List[i]) + (i + 1) # dup onwards + (i + 1)
ix_list.extend([i, dup_ix]) # if found no error, add i also
except:
pass
ix_list.sort()
print(ix_list)
[0, 1, 2, 5]
def find_duplicate(list_):
duplicate_list=[""]
for k in range(len(list_)):
if duplicate_list.__contains__(list_[k]):
continue
for j in range(len(list_)):
if k == j:
continue
if list_[k] == list_[j]:
duplicate_list.append(list_[j])
print("duplicate "+str(list_.index(list_[j]))+str(list_.index(list_[k])))
Вы также можете использовать списочные выражения следующим образом:
List = ['A', 'B', 'A', 'C', 'E']
## you could pass a variable instead of "A"
idx = [i for i in range(len(List)) if List[i] == "A"]
print(idx)
[0, 2]
a= [2,3,4,5,6,2,3,2,4,2]
search=2
pos=0
positions=[]
while (search in a):
pos+=a.index(search)
positions.append(pos)
a=a[a.index(search)+1:]
pos+=1
print "search found at:",positions
Я упомяну более очевидный способ борьбы с дубликатами в списках. С точки зрения сложности, словари - это путь, потому что каждый поиск равен O(1). Вы можете быть умнее, если вас интересуют только дубликаты...
my_list = [1,1,2,3,4,5,5]
my_dict = {}
for (ind,elem) in enumerate(my_list):
if elem in my_dict:
my_dict[elem].append(ind)
else:
my_dict.update({elem:[ind]})
for key,value in my_dict.iteritems():
if len(value) > 1:
print "key(%s) has indices (%s)" %(key,value)
который печатает следующее:
key(1) has indices ([0, 1])
key(5) has indices ([5, 6])
Привет, ребята, я просто сделаю это просто:
i = [1,2,1,3]
k = 0
for ii in i:
if ii == 1 :
print ("index of 1 = ", k)
k = k+1
выход:
индекс 1 = 0
индекс 1 = 2
>>> i = 0
>>> for letter in letters:
... print(f"{i} {letter}")
... i += 1
...
0 A
1 B
2 A
3 C
4 E
>>>