Как я могу разделить файл CSV, прочитанный в langchain
это создано дляlangchain
from langchain.text_splitter import RecursiveCharacterTextSplitter
text_splitter=RecursiveCharacterTextSplitter(chunk_size=100,
chunk_overlap=20,
length_function=len)
теперь мне нужно прочитать файл csv
import csv
with open("test.csv") as f:
# test is an iterator
test=csv.reader(f,delimiter=",")
это не работает, потому чтоtest
это итератор
# object of type '_csv.reader' has no len()
chunks=text_splitter.create_documents(test)
text_splitter.create_documents
принимает. Если я прочитаю.txt
файл и передайте его, это работает. поэтому мне нужно конвертировать_csv.reader
введите, чтобыstr
. Я пытался
chunks=text_splitter.create_documents("".join(test)
я получил
ValueError: I/O operation on closed file.