Нечеткое слияние / совпадение Python Pandas с дубликатами
У меня есть 2 кадра данных, 1 для доноров и 1 для сборщиков средств. В идеале я пытаюсь найти, пожертвовали ли какие-либо сборщики денег, и если да, скопировать часть этой информации в мой набор данных по сбору средств (имя донора, электронная почта и их первое пожертвование). Проблемы с моими данными: 1) Мне нужно сопоставить по имени и электронной почте, но у пользователя могут быть несколько разные имена (например, Кэт и Кэти). 2) Дубликаты имен для доноров и сборщиков средств. 2a) С донорами я могу получить уникальные комбинации имя / адрес электронной почты, так как я просто забочусь о дате первого пожертвования. 2b) С сборщиками денег, хотя мне нужно сохранить обе строки и не потерять данные, такие как дата.
Пример кода у меня сейчас:
import pandas as pd
import datetime
from fuzzywuzzy import fuzz
import difflib
donors = pd.DataFrame({"name": pd.Series(["John Doe","John Doe","Tom Smith","Jane Doe","Jane Doe","Kat test"]), "Email": pd.Series(['a@a.ca','a@a.ca','b@b.ca','c@c.ca','something@a.ca','d@d.ca']),"Date": (["27/03/2013 10:00:00 AM","1/03/2013 10:39:00 AM","2/03/2013 10:39:00 AM","3/03/2013 10:39:00 AM","4/03/2013 10:39:00 AM","27/03/2013 10:39:00 AM"])})
fundraisers = pd.DataFrame({"name": pd.Series(["John Doe","John Doe","Kathy test","Tes Ester", "Jane Doe"]),"Email": pd.Series(['a@a.ca','a@a.ca','d@d.ca','asdf@asdf.ca','something@a.ca']),"Date": pd.Series(["2/03/2013 10:39:00 AM","27/03/2013 11:39:00 AM","3/03/2013 10:39:00 AM","4/03/2013 10:40:00 AM","27/03/2013 10:39:00 AM"])})
donors["Date"] = pd.to_datetime(donors["Date"], dayfirst=True)
fundraisers["Date"] = pd.to_datetime(donors["Date"], dayfirst=True)
donors["code"] = donors.apply(lambda row: str(row['name'])+' '+str(row['Email']), axis=1)
idx = donors.groupby('code')["Date"].transform(min) == donors['Date']
donors = donors[idx].reset_index().drop('index',1)
Таким образом, это оставляет мне первое пожертвование от каждого донора (при условии, что любой человек с таким же именем и адресом электронной почты будет одним и тем же человеком).
в идеале я хочу, чтобы мой набор данных по сбору средств выглядел так:
Date Email name Donor Name Donor Email Donor Date
2013-03-27 10:00:00 a@a.ca John Doe John Doe a@a.ca 2013-03-27 10:00:00
2013-01-03 10:39:00 a@a.ca John Doe John Doe a@a.ca 2013-03-27 10:00:00
2013-02-03 10:39:00 d@d.ca Kathy test Kat test d@d.ca 2013-03-27 10:39:00
2013-03-03 10:39:00 asdf@asdf.ca Tes Ester
2013-04-03 10:39:00 something@a.ca Jane Doe Jane Doe something@a.ca 2013-04-03 10:39:00
Я попытался следовать этой теме: возможно ли сделать слияние нечетких совпадений с питонами пандами? но продолжайте выводить индекс из ошибок диапазона (догадываясь, что ему не нравятся повторяющиеся имена в сборщиках средств):(Так есть какие-нибудь идеи, как я могу сопоставить / объединить эти наборы данных?
делать это с помощью циклов for (что работает, но очень медленно, и я чувствую, что должен быть лучший способ)
fundraisers["donor name"] = ""
fundraisers["donor email"] = ""
fundraisers["donor date"] = ""
for donindex in range(len(donors.index)):
max = 75
for funindex in range(len(fundraisers.index)):
aname = donors["name"][donindex]
comp = fundraisers["name"][funindex]
ratio = fuzz.ratio(aname, comp)
if ratio > max:
if (donors["Email"][donindex] == fundraisers["Email"][funindex]):
ratio *= 2
max = ratio
fundraisers["donor name"][funindex] = aname
fundraisers["donor email"][funindex] = donors["Email"][donindex]
fundraisers["donor date"][funindex] = donors["Date"][donindex]
2 ответа
Вот немного более питонический (на мой взгляд) рабочий (на вашем примере) код без явных циклов:
def get_donors(row):
d = donors.apply(lambda x: fuzz.ratio(x['name'], row['name']) * 2 if row['Email'] == x['Email'] else 1, axis=1)
d = d[d >= 75]
if len(d) == 0:
v = ['']*3
else:
v = donors.ix[d.idxmax(), ['name','Email','Date']].values
return pd.Series(v, index=['donor name', 'donor email', 'donor date'])
pd.concat((fundraisers, fundraisers.apply(get_donors, axis=1)), axis=1)
Выход:
Date Email name donor name donor email donor date
0 2013-03-27 10:00:00 a@a.ca John Doe John Doe a@a.ca 2013-03-01 10:39:00
1 2013-03-01 10:39:00 a@a.ca John Doe John Doe a@a.ca 2013-03-01 10:39:00
2 2013-03-02 10:39:00 d@d.ca Kathy test Kat test d@d.ca 2013-03-27 10:39:00
3 2013-03-03 10:39:00 asdf@asdf.ca Tes Ester
4 2013-03-04 10:39:00 something@a.ca Jane Doe Jane Doe something@a.ca 2013-03-04 10:39:00
Как определить нечеткое дублирование в DataFrame с помощью Pandas
def get_ratio(row):
name = row['Name_1']
return fuzz.token_sort_ratio(name,"Ceylon Hotels Corporation")
df[df.apply(get_ratio, axis=1) > 70]
Я бы использовал Jaro-Winkler, потому что это один из наиболее эффективных и точных алгоритмов приблизительного сопоставления строк, доступных в настоящее время [ Cohen, et al. ], [ Винклер].
Вот как я бы сделал это с Jaro-Winkler из пакета медуз:
def get_closest_match(x, list_strings):
best_match = None
highest_jw = 0
for current_string in list_strings:
current_score = jellyfish.jaro_winkler(x, current_string)
if(current_score > highest_jw):
highest_jw = current_score
best_match = current_string
return best_match
df1 = pandas.DataFrame([[1],[2],[3],[4],[5]], index=['one','two','three','four','five'], columns=['number'])
df2 = pandas.DataFrame([['a'],['b'],['c'],['d'],['e']], index=['one','too','three','fours','five'], columns=['letter'])
df2.index = df2.index.map(lambda x: get_closest_match(x, df1.index))
df1.join(df2)
Выход:
number letter
one 1 a
two 2 b
three 3 c
four 4 d
five 5 e
Обновление: используйте jaro_winkler из модуля Левенштейна для повышения производительности.
from jellyfish import jaro_winkler as jf_jw
from Levenshtein import jaro_winkler as lv_jw
%timeit jf_jw("appel", "apple")
>> 339 ns ± 1.04 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
%timeit lv_jw("appel", "apple")
>> 193 ns ± 0.675 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)