Описание тега pandas-to-sql
Метод Pandas DataFrame, который записывает записи объекта в базу данных SQL
0
ответов
Невозможно записать Pandas Dataframe в Mysql
import pandas as pd import MySQLdb import mysql.connector from sqlalchemy import create_engine engine = create_engine('mysql+mysqldb://root:pwd@XX.XX.XX.XX:3306/Dbname', echo = False) ProcessDf.to_sql('MysqlProcessDf', engine, index=False, if_exists…
11 окт '17 в 08:39
0
ответов
Pandas to_sql возвращает ошибку 'отношение уже существует' при использовании if_exists='append'
Я пытаюсь ежедневно вставлять фрейм данных в таблицу в Redshift. Команда to_sql работает для создания таблицы, но возвращает ошибку, когда я пытаюсь добавить существующую таблицу даже при использовании аргумента if_exists = 'append'. Версии: pandas:…
17 янв '19 в 16:51
1
ответ
Панды, оставившие бездействующие соединения Postgres открытыми после to_sql?
Я делаю много ETL с Пандами и Постгресом. У меня тонна незанятых соединений, многие отмечены COMMIT а также ROLLBACK Я не уверен, что нельзя сидеть без дела долго, а не закрываться. Основной код, который я использую для записи в базу данных - это ис…
22 фев '19 в 16:38
0
ответов
Переименование всех столбцов во фрейме данных pandas вызывает проблемы с to_sql
Я собрал около 100 фреймов данных панд из проекта очистки селена и могу успешно перебрать все файлы.pickle в папке на моей Raspberry и вставить их в MariaDB. Проблема в том, что я допустил ошибку с именами столбцов в указанных фреймах данных, и я хо…
27 апр '18 в 16:02
3
ответа
Ошибки Pandas при записи кусков в базу данных с помощью df.to_sql()
Существующая база данных и желаемый результат: У меня есть большая база данных SQLite (12 ГБ, таблицы с 44 миллионами + строк), которую я хотел бы изменить с помощью Pandas в Python3. Пример Цель: я надеюсь прочитать одну из этих больших таблиц (44 …
28 фев '18 в 22:32
1
ответ
Ускорение метода панд to_sql
Я пытаюсь использовать метод to_sql от Pandas для загрузки нескольких CSV-файлов в соответствующие таблицы в базе данных SQL Server, просматривая их по очереди. fileLoc = r'C:\Users\hcole\Downloads\stats.csv\\' dfArray = ['file1', 'file2', 'file3', …
02 окт '18 в 02:46
1
ответ
Как загрузить данные из dataFrame в таблицу mssql
engine = sqlalchemy.create_engine('mssql+pyodbc://<Username>:<password>@<DBServername>/<DBName>', pool_pre_ping=True) У меня есть данные для загрузки в DataFrame, используя строку подключения, когда я перебираю каждую строку …
05 май '18 в 07:51
1
ответ
pyodbc к sqlalchemy соединению
Я пытаюсь переключить соединение pyodbc на sqlalchemy. Рабочее соединение pyodbc - это: import pyodbc con = 'DRIVER={ODBC Driver 11 for SQL Server};SERVER=server.com\pro;DATABASE=DBase;Trusted_Connection=yes' cnxn = pyodbc.connect(con) cursor = cnxn…
21 сен '18 в 20:23
2
ответа
Вставить игнорировать панды dataframe в MySQL
Я хочу "вставить игнорировать" весь массив данных панд в MySQL. Есть ли способ сделать это без зацикливания строк? В dataframe.to_sql я вижу только параметр if_exists 'append', но будет ли он продолжаться на дублирующих уникальных ключах?
03 июн '15 в 22:24
0
ответов
Вставить фрейм данных панд в оракула не эффективно
У меня есть датафрейм df который имеет более 1 миллиона данных, и я использую панды to_sql вставить данные в Oracle, но это ОЧЕНЬ медленно, код: from sqlalchemy import create_engine engine = create_engine("my oracle") df.to_sql('batch_tbl', con=engi…
11 сен '18 в 07:03
0
ответов
Как решить Pandas Series к ошибке хранения sql?
Я пытаюсь импортировать CSV-файлы в DataFrame pandas и записать этот Dataframe в базу данных PostgreSQL. Однако после записи Dataframe в базу данных SQL в окончательной базе данных SQL появляются строки, которых нет в Dataframe. Исходные файлы данны…
08 окт '18 в 10:03
1
ответ
Панды 0.20.2 to_sql() с использованием MySQL
Я пытаюсь записать фрейм данных в таблицу MySQL, но получаю (111 Connection refused) ошибка. Я следовал принятому ответу здесь: Запись в базу данных MySQL с помощью панд с использованием SQLAlchemy, to_sql Код ответа: import pandas as pd import mysq…
05 июл '17 в 18:39
0
ответов
('42000', '[42000] [Microsoft][Собственный клиент SQL Server 11.0][SQL Server] Ошибка преобразования типа данных varchar в bigint
Я видел, что в прошлом тоже были подобные вопросы, но, к сожалению, я не смог найти там решения. Я относительно новичок в Python. У меня есть pandas dataframe, который я хочу записать в SQL Server с помощью SQLalchemy dataframe.to_sql() Фрейм данных…
14 фев '17 в 15:59
1
ответ
Как преобразовать дату и время Python в метку времени и вставить в базу данных Oracle с помощью to_sql
Я получил DatabaseError: ORA-00904: "DAT_ULT_ALT": invalid identifier когда я пытаюсь вставить дату и время в oracle, используя to_sql из панд с движком SQL Alchemy. Мой код: import sqlalchemy as sa import datetime import itertools ... oracle_db = s…
22 ноя '18 в 14:17
0
ответов
Невозможно изменить длину VARCHAR, используя панд и sqlalchemy
Я использую панды, чтобы динамически вставлять наборы данных в базу данных Redshift. Но так как я пытаюсь изменить длину поля VARCHAR, похоже, это не работает. import pandas as pd import sqlalchemy engine = sqlalchemy.create_engine("postgresql://cre…
11 окт '18 в 17:49
1
ответ
Панды to_sql(), чтобы обновить уникальные значения в БД?
Как я могу использовать df.to_sql(if_exists = 'append') добавлять ТОЛЬКО уникальные значения между фреймом данных и базой данных. Другими словами, я хотел бы оценить дубликаты между DF и DB и удалить эти дубликаты перед записью в базу данных. Есть л…
05 сен '18 в 15:11
3
ответа
Подключение к Teradata с использованием Python
Я пытаюсь подключиться к серверу teradata и загрузить таблицу данных в таблицу, используя python. Вот мой код - import sqlalchemy engine = sqlalchemy.create_engine("teradata://username:passwor@hostname:port/") f3.to_sql(con=engine, name='sample', if…
04 мар '17 в 18:03
1
ответ
Панды to_sql делают индекс уникальным
Я читал о решениях to_sql для панд, чтобы не добавлять дубликаты записей в базу данных. Я работаю с CSV-файлами журналов, каждый раз, когда я загружаю новый файл журнала, я затем читаю данные и делаю некоторые изменения с пандами, создавая новый фре…
02 сен '17 в 18:11
3
ответа
Как записать pandas dataframe в базу данных oracle с помощью to_sql?
Я новый ученик оракула. Я пытаюсь записать кадр данных панды в таблицу оракула. Проведя онлайн-исследование, я обнаружил, что сам код очень прост, но я не знаю, почему мой код не работает. Я прочитал кадр данных панд из моего локального файла: impor…
28 ноя '17 в 21:00
2
ответа
MySQLdb: ошибка базы данных Pandas в базу данных SQL: не все аргументы преобразованы во время форматирования строки
Итак, я хотел переместить фрейм данных в базу данных в таблицу, но у меня возникло несколько проблем. Я сделал фрейм данных, используя библиотеку pandas, и хотел загрузить данные в таблицу в моей базе данных. Соответствующие фрагменты моего кода и п…
12 июн '18 в 18:50