Как я могу разделить файл CSV, прочитанный в langchain

это создано дляlangchain

      from langchain.text_splitter import RecursiveCharacterTextSplitter

text_splitter=RecursiveCharacterTextSplitter(chunk_size=100, 
                                             chunk_overlap=20, 
                                             length_function=len)

теперь мне нужно прочитать файл csv

      import csv
with open("test.csv") as f:
    # test is an iterator
    test=csv.reader(f,delimiter=",")

это не работает, потому чтоtestэто итератор

      # object of type '_csv.reader' has no len()
chunks=text_splitter.create_documents(test)

text_splitter.create_documentsпринимает. Если я прочитаю.txtфайл и передайте его, это работает. поэтому мне нужно конвертировать_csv.readerвведите, чтобыstr. Я пытался

           chunks=text_splitter.create_documents("".join(test)

я получил

      ValueError: I/O operation on closed file.

0 ответов

Другие вопросы по тегам