Манипулирование столбцами и рядами Python Pandas
Это моя первая программа в Pandas, и я пытаюсь выполнить некоторые манипуляции csv по столбцам и строкам. У меня есть хранилище переходов из нескольких файлов. Хранилище переходов продолжает добавлять в него файл. Я пытаюсь динамически читать файлы, выполнять некоторые операции и записывать в основной файл CSV в другой папке.
вход
1. Folder_1: `Transition_Data`
Test_1.csv, Test_2.csv
Nos,Time,Count Nos,Time,Count
------------------- ------------------
2341,12:00:00,9865 1234,12:30:00,7865
7352,12:00:00,8969 8435,12:30:00,7649
2. Folder2: Data_repository:Master_2.csv
Nos,00:00:00
------------
1234,1000
8435,5243
2341,563
7352,345
3.Expected Output
Nos,00:00:00,12:00:00,12:30:00
----------------------------------
1234,1000,0,6865
8435,5243,0,2406
2341,563,9302,0
7352,345,8624,0
Читать Nos столбец из файлов transition_data и проверьте, где Nos находится в Master_2.csv Создать новый столбец с Time как новый заголовок каждый раз и вычесть col[2] файлов Transition_data с col[1] из Master_2.csv заполнить новое значение во вновь созданном столбце, если пробелы в данных будут заполнены 0, Я попытался привести несколько примеров, но я все испортил.
Обновления программы, как описано ниже, и теперь имеют проблемы с маршрутизацией логики с чтением и записью файлов
import pandas as pd
import os
import numpy as np
import glob
path_1 = '/Transition_Data/'
path_2 = 'Data_repository/Master_2.csv'
df_1 = pd.DataFrame(dict(Nos=Nos, Time=Time, Count=Count))
pivot = pd.pivot_table(path_1, '/.*CSV, index='Nos', columns='Time', values='Count')
df_master = pd.DataFrame('Master_2.csv', {'Nos':, '00:00:00':}).set_index('Nos')
result = df_master.join(pivot, how='inner')
result[result.columns[1:]] = result[result.columns[1:]].sub(result[result.columns[0]], axis=0)
result.fillna(0)
Я попробовал вышеуказанную программу и получил следующую ошибку
Traceback (most recent call last):
File "read_test.py", line 19, in <module>
df = pd.read_csv(filename, header='Count')
File "/usr/lib/python2.7/dist-packages/pandas/io/parsers.py", line 420, in parser_f
return _read(filepath_or_buffer, kwds)
File "/usr/lib/python2.7/dist-packages/pandas/io/parsers.py", line 218, in _read
parser = TextFileReader(filepath_or_buffer, **kwds)
File "/usr/lib/python2.7/dist-packages/pandas/io/parsers.py", line 502, in __init__
self._make_engine(self.engine)
File "/usr/lib/python2.7/dist-packages/pandas/io/parsers.py", line 610, in _make_engine
self._engine = CParserWrapper(self.f, **self.options)
File "/usr/lib/python2.7/dist-packages/pandas/io/parsers.py", line 972, in __init__
self._reader = _parser.TextReader(src, **kwds)
File "parser.pyx", line 476, in pandas.parser.TextReader.__cinit__ (pandas/parser.c:4538)
TypeError: an integer is required
1 ответ
Самый простой способ сделать это - объединить их в один DataFrame, отсортировать столбцы по времени, а затем сдвинуть и вычесть, чтобы получить дельту:
import pandas as pd
import os
path_1 = 'Transition_Data/'
path_2 = 'Data_repository/Master_2.csv'
# Read data, and combine "transition" data into
# single joined data frame
master = pd.read_csv(path_2)
other_data = pd.concat([
pd.read_csv(path_1 + f) for f in os.listdir(path_1)
])
# Index master data frame by Nos
master.set_index('Nos', inplace=True)
# Index transition data by Nos and Time
other_data.set_index(['Nos', 'Time'], inplace=True)
# Convert to series (to remove Count column heading)
# and unstack time to convert to columns
other_data = other_data['Count'].unstack('Time')
# Join the data sets on the Time axis
joined = pd.concat([master, other_data], axis=1)
# Sort the data sets by Time
joined = joined.sort_index(axis=1)
# Fill na values with data in previous period
joined = joined.fillna(method='pad',axis=1)
# Shift dataframe and subtract to get delta
delta = joined - joined.shift(axis=1).fillna(0)
print(delta)
Это дает желаемый результат:
00:00:00 12:00:00 12:30:00
Nos
1234 1000 0 6865
2341 563 9302 0
7352 345 8624 0
8435 5243 0 2406