Панды создают два кадра данных на основе членства в серии

Question

Я новичок и прошу прощения, если это повторение, я не могу точно ответить точным ответом, поэтому я не думаю, что это так.

У меня есть два кадра данных, первый имеет локализованные экономические данные (df1):

(index)  (index)     2000     2010  Diff   
State    Region    
NY       NYC         1000     1100   100
NY       Upstate      200      270    70
NY       Long_Island 1700     1800   100 
IL       Chicago      300      500   200
IL       South         50       35    15
IL       Suburbs      800      650  -150

Второй имеет список штатов и регионов (df2):

index   State   Region
0        NY      NYC
1        NY      Long_Island
2        IL      Chicago

В конечном итоге я пытаюсь запустить t-test на Diff столбец между государством и регионами в df2 против всех остальных в df1 которые не включены в df2, Однако мне еще не удалось разделить группы, поэтому я не могу выполнить тест.

Моя последняя попытка (из многих) выглядит так:

df1['Region', 'State'].isin(df2['Region', 'State'])

я пробовал pd.merge тоже, но не могу заставить его работать. Я думаю, что это из-за многоуровневой индексации, но я все еще не знаю, как получить состояние / регионы, которые не находятся в df2,

Заранее спасибо за помощь,

мне

Answer 1

Кажется тебе нужно difference из MultiIndexes а затем выберите loc:

print (df1.index)
MultiIndex(levels=[['IL', 'NY'], ['Chicago', 'Long_Island', 
                                  'NYC', 'South', 'Suburbs', 'Upstate']],
           labels=[[1, 1, 1, 0, 0, 0], [2, 5, 1, 0, 3, 4]],
           names=['State', 'Region'])

print (df2.index)
Int64Index([0, 1, 2], dtype='int64', name='index')

print (df1.index.names)
['State', 'Region']

---

#create index from both columns
df2 =  df2.set_index(df1.index.names)
what is same as
#df2 = df2.set_index(['State','Region'])

mux = df1.index.difference(df2.index)
print (mux)
MultiIndex(levels=[['IL', 'NY'], ['South', 'Suburbs', 'Upstate']],
           labels=[[0, 0, 1], [0, 1, 2]],
           names=['State', 'Region'],
           sortorder=0)

print (df1.loc[mux])
               2000  2010  Diff
State Region                   
IL    South      50    35    15
      Suburbs   800   650  -150
NY    Upstate   200   270    70

---

Все вместе:

df2 =  df2.set_index(df1.index.names)
df = df1.loc[df1.index.difference(df2.index)]
print (df)