Как я могу использовать графический процессор в GPTVectorStoreIndex

Question

Я работаю над проектом, в котором хочу обучить/настроить чатgpt, как в моей собственной модели, и для этого я использую приведенный ниже код. Я могу получить результат, однако я хочу использовать графический процессор для большей скорости.

      from gpt_index import (SimpleDirectoryReader, GPTListIndex,
 readers, GPTSimpleVectorIndex, LLMPredictor, PromptHelper)
from langchain import OpenAI
from types import FunctionType
from llama_index import ServiceContext, GPTVectorStoreIndex
import sys
import os
import time 
from llama_index.node_parser import SimpleNodeParser

os.environ["OPENAI_API_KEY"] = "key-here"  


parser = SimpleNodeParser()

'''
model_name="text-davinci-003"
'''


def construct_index(directory_path):
    max_input_size = 4096
    num_outputs = 256
    max_chunk_overlap = 20
    chunk_size_limit = 600

    llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="gpt-3.5-turbo",
    max_tokens=num_outputs))
    # prompt_helper = PromptHelper(max_input_size, num_outputs, max_chunk_overlap,
    # chunk_size_limit=chunk_size_limit)
    
    service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

    documents = SimpleDirectoryReader(directory_path).load_data()
    nodes = parser.get_nodes_from_documents(documents)
    index = GPTVectorStoreIndex.from_documents(documents, service_context = service_context)

    index.save_to_disk('./jsons/json-schema-gpt-3.5-turbo.json')
    return index
    

# index = construct_index("docs")
index = GPTVectorStoreIndex.load_from_disk('./jsons/json-schema-gpt-3.5-turbo.json')
conversation_history = []

while True:
    user_input = input("You: ")
    input_text = "\n".join(conversation_history + [user_input])
    start = time.time()
    response = index.query(input_text)
    response_text = response.response
    print(time.time() - start)
    # Print the response
    print("Bot:", response_text)
    if len(conversation_history) > 10:
        conversation_history.pop(0)

    # Append the current input and response to the conversation history
    conversation_history.append(user_input)
    conversation_history.append(response_text)

Как видно, я использую методqueryдля получения результатов. Есть ли способ обновить свой метод, чтобы вычисления выполнялись быстрее?

Answer 1

Я понял, что с тех пор мы делаем вызовы API к OpenAI только для вывода/декодирования наших индексов. Мы не можем ускорить этот процесс. Для этого нам, возможно, придется использовать это и вызвать встраивания с открытым исходным кодом.