Использование панд для выбора строк, условных по нескольким эквивалентам

У меня есть pandas df, и я хотел бы сделать что-то вроде этого (в терминах SQL):

SELECT * FROM df WHERE column1 = 'a' OR column2 = 'b' OR column3 = 'c' etc.

Теперь это работает для одной пары столбец / значение:

foo = df.loc[df['column']==value]

Однако я не уверен, как расширить это до нескольких пар столбец / значение

Источник

5 ответов

Решение

Вам необходимо заключить несколько скобок в скобки из-за приоритета оператора и использовать побитовое и (&) и или (|) операторы:

foo = df.ix[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]

Если вы используете and или же or, тогда панды, вероятно, будут стонать, что сравнение неоднозначно. В этом случае неясно, сравниваем ли мы каждое значение в ряду в условии и что это означает, если только 1 или все, кроме 1, соответствуют условию. Вот почему вы должны использовать побитовые операторы или NumPy np.all или же np.any указать критерии соответствия.

Существует также метод запроса: http://pandas.pydata.org/pandas-docs/dev/generated/pandas.DataFrame.query.html

но есть некоторые ограничения, в основном связанные с проблемами, в которых может быть неоднозначность между именами столбцов и значениями индексов.

Источник

Более краткий - но не обязательно более быстрый - метод заключается в использовании DataFrame.isin() а также DataFrame.any()

In [27]: n = 10

In [28]: df = DataFrame(randint(4, size=(n, 2)), columns=list('ab'))

In [29]: df
Out[29]:
   a  b
0  0  0
1  1  1
2  1  1
3  2  3
4  2  3
5  0  2
6  1  2
7  3  0
8  1  1
9  2  2

[10 rows x 2 columns]

In [30]: df.isin([1, 2])
Out[30]:
       a      b
0  False  False
1   True   True
2   True   True
3   True  False
4   True  False
5  False   True
6   True   True
7  False  False
8   True   True
9   True   True

[10 rows x 2 columns]

In [31]: df.isin([1, 2]).any(1)
Out[31]:
0    False
1     True
2     True
3     True
4     True
5     True
6     True
7    False
8     True
9     True
dtype: bool

In [32]: df.loc[df.isin([1, 2]).any(1)]
Out[32]:
   a  b
1  1  1
2  1  1
3  2  3
4  2  3
5  0  2
6  1  2
8  1  1
9  2  2

[8 rows x 2 columns]
Источник

Все соображения, высказанные @EdChum в 2014 году, остаются в силе, ноpandas.Dataframe.ixметод устарел с версии 0.0.20 для pandas. Прямо из документации:

Предупреждение: Начиная с версии 0.20.0, индексатор.ix устарел в пользу более строгих индексаторов.iloc и.loc.

В последующих версиях pandas этот метод был заменен новыми методами индексации pandas.Dataframe.loc и pandas.Dataframe.iloc.

Если вы хотите узнать больше, в этом посте вы можете найти сравнения упомянутых выше методов.

В конечном счете, на сегодняшний день (и, похоже, с этой точки зрения в грядущих версиях панд нет никаких изменений), ответ на этот вопрос следующий:

foo = df.loc[(df['column1']==value) | (df['columns2'] == 'b') | (df['column3'] == 'c')]
Источник

метод query() может сделать это очень интуитивно. Выразите свое условие в строке, которая будет оцениваться, как в следующем примере:

      df = df.query("columnNameA <= @x or columnNameB == @y")

где x и y являются объявленными переменными, на которые вы можете ссылаться с помощью @

Источник

Самый простой способ сделать это

если это полезно, нажмите стрелку вверх! Спасибо!!

students = [ ('jack1', 'Apples1' , 341) ,
             ('Riti1', 'Mangos1'  , 311) ,
             ('Aadi1', 'Grapes1' , 301) ,
             ('Sonia1', 'Apples1', 321) ,
             ('Lucy1', 'Mangos1'  , 331) ,
             ('Mike1', 'Apples1' , 351),
              ('Mik', 'Apples1' , np.nan)
              ]
#Create a DataFrame object
df = pd.DataFrame(students, columns = ['Name1' , 'Product1', 'Sale1']) 
print(df)


    Name1 Product1  Sale1
0   jack1  Apples1    341
1   Riti1  Mangos1    311
2   Aadi1  Grapes1    301
3  Sonia1  Apples1    321
4   Lucy1  Mangos1    331
5   Mike1  Apples1    351
6     Mik  Apples1    NaN

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’,
subset = df[df['Product1'] == 'Apples1']
print(subset)

 Name1 Product1  Sale1
0   jack1  Apples1    341
3  Sonia1  Apples1    321
5   Mike1  Apples1    351
6     Mik  Apples1    NA

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND notnull value in Sale

subsetx= df[(df['Product1'] == "Apples1")  & (df['Sale1'].notnull())]
print(subsetx)
    Name1   Product1    Sale1
0   jack1   Apples1      341
3   Sonia1  Apples1      321
5   Mike1   Apples1      351

# Select rows in above DataFrame for which ‘Product’ column contains the value ‘Apples’, AND Sale = 351

subsetx= df[(df['Product1'] == "Apples1")  & (df['Sale1'] == 351)]
print(subsetx)

   Name1 Product1  Sale1
5  Mike1  Apples1    351

# Another example
subsetData = df[df['Product1'].isin(['Mangos1', 'Grapes1']) ]
print(subsetData)

Name1 Product1  Sale1
1  Riti1  Mangos1    311
2  Aadi1  Grapes1    301
4  Lucy1  Mangos1    331

Вот исходная ссылка, которую я нашел. Немного редактирую - https://thispointer.com/python-pandas-select-rows-in-dataframe-by-conditions-on-multiple-columns/

Источник
Другие вопросы по тегам