Использование difflib SequenceMatcher для слияния в Pandas

Question

Я пытаюсь выяснить, есть ли способ сделать нечеткие слияния строк в Pandas, основанные на соотношении difflib SequenceMatcher. По сути, у меня есть два кадра данных, которые выглядят так:

df_a
company    address        merged
Apple     PO Box 3435       1

df_b
company     address
Apple Inc   PO Box 343

И я хочу слить так:

df_c = pd.merge(df_a, df_b, how = 'left', on = (difflib.SequenceMatcher(None, df_a['company'], df_b['company']).ratio() > .6) and (difflib.SequenceMatcher(None, df_a['address'], df_b['address']).ratio() > .6)

Есть несколько постов, которые близки к тому, что я ищу, но ни один из них не работает с тем, что я хочу сделать. Любые предложения о том, как сделать это нечеткое слияние с помощью difflib?

Answer 1

Что-то, что может сработать: проверить частичные совпадения для всех комбинаций значений столбцов. Если есть совпадение, назначьте ключ для df_b для слияния

df_a['merge_comp'] = df_a['company'] # we will use these as the merge keys
df_a['merge_addr'] = df_a['address']

for comp_a, addr_a in df_a[['company','address']].values:
    for ixb, (comp_b, addr_b) in enumerate(df_b[['company','address']].values)
        if difflib.SequenceMatcher(None,comp_a,comp_b).ratio() > .6:
            df_b.ix[ixb,'merge_comp'] = comp_a # creates a merge key in df_b
        if difflib.SequenceMatcher(None,addr_a, addr_b).ratio() > .6:
            df_b.ix[ixb,'merge_addr'] = addr_a # creates a merge key in df_b

Теперь вы можете объединить

merged_df = pandas.merge(df_a,df_b,on=['merge_addr','merge_comp'],how='inner')