Как собрать личную информацию (возраст, пол..) всех авторов комментариев к конкретному видео с помощью Python YouTube API

Question

Я использую YouTube API с Python. Я уже могу собрать все комментарии к конкретному видео, включая имена авторов, дату и содержание комментариев.
Я также могу с помощью отдельной части кода извлечь личную информацию (возраст, пол, интересы,...) конкретного автора. Но я не могу использовать их в одном месте. то есть мне нужно собрать все комментарии к видео, с именами авторов комментариев и личными данными всех этих авторов. Ниже приведен код, который я разработал. Но я получаю "RequestError", который я не знаю, как обрабатывать и где проблема.

 import gdata.youtube
import gdata.youtube.service

yt_service = gdata.youtube.service.YouTubeService()
f = open('test1.csv','w')
f.writelines(['UserName',',','Age',',','Date',',','Comment','\n'])

def GetAndPrintVideoFeed(string1):

        yt_service = gdata.youtube.service.YouTubeService()
        user_entry = yt_service.GetYouTubeUserEntry(username = string1)
        X = PrintentryEntry(user_entry)
        return X

def PrintentryEntry(entry):

        # print required fields where we know there will be information
        Y = entry.age.text
        return Y

def GetComment(next1):

        yt_service = gdata.youtube.service.YouTubeService()
        nextPageFeed = yt_service.GetYouTubeVideoCommentFeed(next1)

        for comment_entry in nextPageFeed.entry:

            string1 = comment_entry.author[0].name.text.split("/")[-1]
            Z = GetAndPrintVideoFeed(string1)
            string2 = comment_entry.updated.text.split("/")[-1]
            string3 = comment_entry.content.text.split("/")[-1]

            f.writelines( [str(string1),',',Z,',',string2,',',string3,'\n'])

        next2 = nextPageFeed.GetNextLink().href
        GetComment(next2)

video_id = '8wxOVn99FTE'
comment_feed = yt_service.GetYouTubeVideoCommentFeed(video_id=video_id)

for comment_entry in comment_feed.entry:

        string1 = comment_entry.author[0].name.text.split("/")[-1]
        Z = GetAndPrintVideoFeed(string1)
        string2 = comment_entry.updated.text.split("/")[-1]
        string3 = comment_entry.content.text.split("/")[-1]

        f.writelines( [str(string1),',',Z,',',string2,',',string3,'\n'])

next1 = comment_feed.GetNextLink().href
GetComment(next1)

Answer 1

Я думаю, что вам нужно лучше понять API YouTube и как все связано друг с другом. Я написал классы-обертки, которые могут обрабатывать несколько типов каналов или записей и "исправляют" несовместимые соглашения параметров gdata.

Вот несколько фрагментов, показывающих, как можно легко обобщить очистку / сканирование.

Я знаю, что это не отвечает непосредственно на ваш вопрос, это более высокоуровневый дизайн, но о нем стоит подумать, если вы собираетесь выполнять большое количество данных на YouTube / GDATA.

def get_feed(thing=None, feed_type=api.GetYouTubeUserFeed):

    if feed_type == 'user':
        feed = api.GetYouTubeUserFeed(username=thing)

    if feed_type == 'related':
        feed = api.GetYouTubeRelatedFeed(video_id=thing)

    if feed_type == 'comments':
        feed = api.GetYouTubeVideoCommentFeed(video_id=thing)

    feeds = []
    entries = []

    while feed:
        feeds.append(feed)
        feed = api.GetNext(feed)

    [entries.extend(f.entry) for f in feeds]

    return entries

...

def myget(url,service=None):

    def myconverter(x):
        logfile = url.replace('/',':')+'.log'
        logfile = logfile[len('http://gdata.youtube.com/feeds/api/'):]
        my_logger.info("myget: %s" % url)

        if service == 'user_feed':
            return gdata.youtube.YouTubeUserFeedFromString(x)

        if service == 'comment_feed':
            return gdata.youtube.YouTubeVideoCommentFeedFromString(x)

        if service == 'comment_entry':
            return gdata.youtube.YouTubeVideoCommentEntryFromString(x)

        if service == 'video_feed':
            return gdata.youtube.YouTubeVideoFeedFromString(x)

        if service == 'video_entry':
            return gdata.youtube.YouTubeVideoEntryFromString(x)


    return api.GetWithRetries(url,
            converter=myconverter,
            num_retries=3,
            delay=2,
            backoff=5,
            logger=my_logger
            )


mapper={}
mapper[api.GetYouTubeUserFeed]='user_feed'
mapper[api.GetYouTubeVideoFeed]='video_feed'
mapper[api.GetYouTubeVideoCommentFeed]='comment_feed'

https://gist.github.com/2303769 data / service.py (маршрутизация)