Панды Записать таблицу в MySQL: "Невозможно выполнить откат"

Question

Мне нужна помощь, чтобы заставить это работать. у меня есть pd.DataFrame (df), который мне нужно загрузить в базу данных MySQL. Я не понимаю, что означает сообщение об ошибке и как это исправить.

Любая помощь будет высоко оценена.

Вот что я попробовал:

    import MySQLdb
    from pandas.io import sql

    #METHOD 1 
    db=MySQLdb.connect(host="***",port=***,user="***",passwd="***",db="***")
    df.to_sql(con=db, name='forecast', if_exists='replace', flavor='mysql')
    ##Also tried
    sql.write_frame(df, con=db, name='forecast', if_exists='replace', flavor='mysql')

   **DatabaseError**: Execution failed on sql: SHOW TABLES LIKE %s
   (2006, 'MySQL server has gone away')
   unable to rollback


   #METHOD 2: using sqlalchemy
   from sqlalchemy import create_engine

   engine =   create_engine("mysql+mysqldb://**username***:**passwd**@***host***:3306/**dbname**")
   conn = engine.raw_connection()
   df.to_sql(name='demand_forecast_t', con=conn,if_exists='replace',    flavor='mysql',index=False, index_label='rowID')
   conn.close()

Сообщение об ошибке:

**OperationalError**: DatabaseError: Execution failed on sql: SHOW TABLES LIKE %s
(2006, 'MySQL server has gone away') unable to rollback

Answer 1

При использовании sqlalchemy вы должны передать движок, а не необработанное соединение:

engine = create_engine("mysql+mysqldb://...")
df.to_sql('demand_forecast_t', engine, if_exists='replace', index=False)

Запись в MySQL без sqlalchemy (так с указанием flavor='mysql') устарела.

Если проблема в том, что у вас слишком большой кадр для записи сразу, вы можете использовать chunksize ключевое слово (см. строку документации). Например:

df.to_sql('demand_forecast_t', engine, if_exists='replace', chunksize=10000)

Answer 2

Для меня это было исправлено с помощью

MySQLdb.connect("127.0.0.1","root","","db" )

вместо

MySQLdb.connect("localhost","root","","db" )

а потом

df.to_sql('df',sql_cnxn,flavor='mysql',if_exists='replace', chunksize=100)

Answer 3

Вы можете записать pandas dataframe в таблицу mysql, используя разновидность mysql (с подключением DBAPI) следующими способами

шаг 1: установить модуль mysqldb - $ sudo apt-get install python-dev libmysqlclient-dev затем $ pip install MySQL-python

шаг 2: установить соединение с MySQLimport MySQLdbcon = MySQLdb.connect("hostname","username","password","databasename")

шаг 3: записать кадр данных pandas в таблицу mysql с помощью df.to_sql df.to_sql('TableName',con = con,flavor='mysql',if_exists='replace', chunksize=100)

Answer 4

Я смог решить эту проблему. Я пытался загрузить большую таблицу в MySQL и в результате получал ошибку. Простая петля for для загрузки данных кусками решила проблему! Большое спасибо всем, кто ответил.