GPT-NEO обучение генерации сценариев видео
Недавно я заинтересовался искусственным интеллектом и хочу обучить GPT-NEO с помощью какого-то скрипта, который мне дал ютубер. Я нашел это видео о создании набора данных, но он использует короткие цитаты, и я не понимаю, где мне следует поместить <| endoftext|> для своих длинных скриптов. Должен ли я делать это после каждого абзаца и группировать их по названию видео или в конце сценария, а затем переходить к следующему сценарию?