Как использовать изображения в качестве входных данных для Palm API?

Question

В настоящее время я изучаю API Palm2 для обработки изображений, но сталкиваюсь с проблемами из-за отсутствия подробной документации в документации makersuite. Я просмотрел доступные ресурсы, но не смог найти конкретной информации о том, как использовать Palm2 для задач, связанных с изображениями.

Я был бы признателен, если бы кто-нибудь, имеющий опыт использования Palm2, мог дать рекомендации или указать мне на любую неофициальную документацию, учебные пособия или примеры, которые могут быть доступны. В частности, меня интересует выполнение конкретных задач по обработке изображений, которые вы хотите решить, например, распознавание изображений, извлечение признаков и т. д.

Answer 1

В настоящее время Palm API не поддерживает обработку изображений. Это просто имеет

• текстовая подсказка
• подсказка в чате
• и запрос данных

если вы хотите обрабатывать изображения, я думаю, вам следует взглянуть на вершинный AI

      PROJECT_ID = "PROJECT_ID"  # @param {type:"string"}
LOCATION = "LOCATION"  # @param {type:"string"}

import vertexai
from vertexai.vision_models import ImageTextModel, Image

vertexai.init(project=PROJECT_ID, location=LOCATION)
model = ImageTextModel.from_pretrained("imagetext@001")

source_image = Image.load_from_file(location='./gen-img1.png')

answers = model.ask_question(
    image=source_image,
    question="What breed of dog is this a picture of?",
    # Optional:
    number_of_results=2,
)
print(answers)