Как скачать отчет YouTube с помощью media.download
Я ищу пример, который объясняет, как загружать отчеты с помощью клиентской библиотеки.Net для API отчетов YouTube. Я прошел проверку подлинности, создал задания и получил список отчетов, включая значения reportUrl. Я не могу понять, как использовать метод media.download, чтобы загрузить отчет и сохранить его локально.
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.IO;
using System.Threading; //CancelationToken
using Google.Apis;
using Google.Apis.Auth.OAuth2;
using Google.Apis.YouTubeReporting.v1; //Scope of auth
using Google.Apis.YouTubeReporting.v1.Data;
using Google.Apis.Services;
using Google.Apis.Util.Store; //FileDataStore needs this
using System.Data.SqlClient;
namespace YouTubeReportingConsole
{
class Program
{
static void Main(string[] args)
{
//Console.WriteLine("Number of command line parameters = {0}", args.Length);
//for (int i = 0; i < args.Length; i++)
//{
// Console.WriteLine("Arg[{0}] = [{1}]", i, args[i]);
//}
if (args.Length > 0)
{
switch (args[0].ToLower())
{
case "reporttypeslist": //ReportTypesList returns a list of report types that are available
ListReportTypesResponse reportTypesListResponse = ytReportingService.ReportTypes.List().Execute();
foreach (ReportType reportType in reportTypesListResponse.ReportTypes)
{
WriteReportType(reportType, "Report Type List");
}
break;
case "jobcreate": //JobCreate creates jobs of the specified types. If the second argument equals "All", then a job is created for all availale report types.
for (int i = 1; i < args.Length; i++)
{
if (args[i].ToLower() == "all")
{ //Create a job for all available report types
ListReportTypesResponse reportTypesAvailableResponse = ytReportingService.ReportTypes.List().Execute();
foreach (ReportType reportType in reportTypesAvailableResponse.ReportTypes)
{
Job createdjob = CreateJob(reportType.Id);
WriteJob(createdjob, "Job Created");
}
break;
}
else
{ //Create job with id equal to the argument value
Job createdjob = CreateJob(args[i].ToLower());
WriteJob(createdjob, "Job Created");
}
}
break;
case "jobdelete":
for (int i = 1; i < args.Length; i++)
{
if (args[i].ToLower() == "all")
{ //Delete all jobs
ListJobsResponse jobDeleteList = ytReportingService.Jobs.List().Execute();
foreach (Job Job in jobDeleteList.Jobs)
{
ytReportingService.Jobs.Delete(Job.Id).Execute();
Console.WriteLine("Job Deleted: " + Job.Name);
}
break;
}
else
{ //Delete each job with id equal to the argument value
Job Job = ytReportingService.Jobs.Get(args[i]).Execute();
ytReportingService.Jobs.Delete(args[i]).Execute();
Console.WriteLine("Job Deleted: " + Job.Name);
}
}
break;
//case "getjob":
// break;
case "joblist":
ListJobsResponse jobListResponse = ytReportingService.Jobs.List().Execute();
if (jobListResponse.Jobs == null)
{
Console.WriteLine("No Jobs Returned");
}
else
{
foreach (Job Job in jobListResponse.Jobs)
{
WriteJob(Job, "Job List");
}
}
break;
//case "getreport":
// break;
case "reportlist":
//ReportList All [DataSource]
//ReportList [JobID] [DataSource]
//ReportList All [DataSource] [DownloadPath]
//ReportList [JobID] [DataSource] [DownloadPath]
SqlConnection conn = OpenConnection(args[2]);
VerifySchema(conn);
if (args[1].ToLower() == "all")
{ //List reports for all jobs
ListJobsResponse jobListResponseReport = ytReportingService.Jobs.List().Execute();
if (jobListResponseReport.Jobs == null)
{
Console.WriteLine("No Jobs Returned");
}
else
{
foreach (Job Job in jobListResponseReport.Jobs)
{
Report(Job.Id, conn, args[3]);
}
}
break;
}
else
{ //Single Job
Report(args[1], conn, args[3]);
}
break;
default:
break;
}
}
}
private static void Report(string JobId, SqlConnection conn, string path)
{
//Get the last created time. If empty then use 1900.
var reportList = ytReportingService.Jobs.Reports.List(JobId);
try
{
reportList.CreatedAfter = LastCreatedTime(conn, JobId);
}
catch
{
reportList.CreatedAfter = "1900-01-01T12:00:00.000000Z";
}
ListReportsResponse reportListResponse = reportList.Execute();
if (reportListResponse.Reports == null)
{
Console.WriteLine("No Reports for JobID: " + JobId);
}
else
{
foreach (Report report in reportListResponse.Reports)
{
//Download the report
var request = ytReportingService.Media.Download("");
//Insert report into history
string reportInsertSql = "INSERT INTO [dbo].[YouTubeReportHistory]" + "\n" +
"([reportId]" + "\n" +
",[jobId]" + "\n" +
",[startTime]" + "\n" +
",[endTime]" + "\n" +
",[createTime]" + "\n" +
",[jobExpireTime]" + "\n" +
",[downloadUrl])" + "\n" +
"VALUES" + "\n" +
"('" + report.Id + "'\n" +
",'" + JobId + "'\n" +
",'" + report.StartTime + "'\n" +
",'" + report.EndTime + "'\n" +
",'" + report.CreateTime + "'\n" +
",'" + report.JobExpireTime + "'\n" +
",'" + report.DownloadUrl + "')";
SqlCommand reportInsert = new SqlCommand(reportInsertSql, conn);
reportInsert.ExecuteNonQuery();
reportInsert.Dispose();
WriteReport(report, "Report");
}
}
}
private static string LastCreatedTime(SqlConnection conn, string JobId)
{
//*****************************************************************************************************************
//Library is not returning milliseconds. Adding 1 seconds to prevent collecting same report multiple times.
//Risk of missing report. Minimal chance that the same job will return more than one report in one second.
//*****************************************************************************************************************
SqlCommand comm = new SqlCommand("SELECT isnull(convert(varchar(50), dateadd(second, 1, max(cast([createTime] as datetimeoffset))), 127), '1900-01-01T12:00:00.000000Z') createTimeZulu FROM [dbo].[YouTubeReportHistory] where jobId = '" + JobId + "'", conn);
SqlDataReader reader = null;
reader = comm.ExecuteReader();
string LastCreatedTime = "";
if (reader.HasRows)
{
reader.Read();
LastCreatedTime = reader["createTimeZulu"].ToString();
reader.Close();
comm.Dispose();
}
else
{
LastCreatedTime = "1900-01-01T12:00:00.000000Z";
}
return LastCreatedTime;
}
//Feedback information only
private static void WriteReport(Report report, String Event)
{
// DateTime convertedDate = DateTime.SpecifyKind(DateTime.Parse(report.CreateTime.ToString()), DateTimeKind.Utc);
Console.WriteLine("================== Job Report ==================");
Console.WriteLine("Event: " + Event);
Console.WriteLine("ID: " + report.Id);
Console.WriteLine("DownloadUrl: " + report.DownloadUrl);
Console.WriteLine("CreateTime: " + report.CreateTime.ToString());
Console.WriteLine("StartTime: " + report.StartTime);
Console.WriteLine("EndTime: " + report.EndTime);
Console.WriteLine("JobID: " + report.JobId);
Console.WriteLine("JobExpireTime: " + report.JobExpireTime);
}
//Feedback information only
private static void WriteJob (Job job, String Event) {
Console.WriteLine("================== Reporting Job ==================");
Console.WriteLine("Event: " + Event);
Console.WriteLine("ID: " + job.Id);
Console.WriteLine("Name: " + job.Name);
Console.WriteLine("ReportTypeID: " + job.ReportTypeId);
Console.WriteLine("CreateTime: " + job.CreateTime);
Console.WriteLine("ExpireTime: " + job.ExpireTime);
}
//Feedback information only
private static void WriteReportType(ReportType reportType, String Event)
{
Console.WriteLine("================== Report Type ==================");
Console.WriteLine("Event: " + Event);
Console.WriteLine("ID: " + reportType.Id);
Console.WriteLine("Name: " + reportType.Name);
Console.WriteLine("SystemManaged: " + reportType.SystemManaged);
}
//Create a job
private static Job CreateJob(String ReportType)
{
Job job = new Job();
job.ReportTypeId = ReportType;
job.Name = ReportType; //Use the type as the name
Job createdjob = ytReportingService.Jobs.Create(job).Execute();
return createdjob;
}
private static String DeleteJob(String JobID)
{
ytReportingService.Jobs.Delete(JobID);
return JobID;
}
//Establish connection
private static SqlConnection OpenConnection(string connectionString)
{
//Data Source = WIN-IDD5KG7V0RT\SS2016;Integrated Security=true; Initial Catalog=Control; MultipleActiveResultSets=True;
//Database must exists
//Must have MARS = True
SqlConnection conn = new SqlConnection(connectionString);
try
{
conn.Open();
}
catch(Exception e)
{
Console.WriteLine(e.ToString());
}
return conn;
}
//Close connection
private static void CloseConnection(SqlConnection conn)
{
try
{
conn.Close();
}
catch (Exception e)
{
Console.WriteLine(e.ToString());
}
}
//Ensure schema is in place
private static void VerifySchema(SqlConnection conn)
{
//Ensure table exists
//Ensure db exists
String tblExists = "if not exists (Select * From sys.tables where name = 'YouTubeReportHistory')" + "\n" +
"Begin" + "\n" +
"CREATE TABLE[dbo].[YouTubeReportHistory](" + "\n" +
"[id][int] IDENTITY(1, 1) NOT NULL," + "\n" +
"[loadTime] [datetime] NOT NULL," + "\n" +
"[reportId] [varchar](50) NOT NULL," + "\n" +
"[jobId] [varchar](50) NOT NULL," + "\n" +
"[startTime] [datetime] NOT NULL," + "\n" +
"[endTime] [datetime] NOT NULL," + "\n" +
"[createTime] [datetime] NOT NULL," + "\n" +
"[jobExpireTime] [datetime] NOT NULL," + "\n" +
"[downloadUrl] [varchar](1000) NOT NULL," + "\n" +
"CONSTRAINT[PK_YouTubeReportHistory] PRIMARY KEY CLUSTERED([id] ASC)" + "\n" +
")" + "\n" +
"ALTER TABLE[dbo].[YouTubeReportHistory] ADD CONSTRAINT[DF_YouTubeReportHistory_loadTime] DEFAULT(sysdatetime()) FOR[loadTime]" + "\n" +
"End";
SqlCommand comm = new SqlCommand(tblExists, conn);
comm.ExecuteNonQuery();
comm.Dispose();
}
private static YouTubeReportingService ytReportingService = Auth();
private static YouTubeReportingService Auth()
{
UserCredential creds;
using(var stream = new FileStream("client_secret.json", FileMode.Open, FileAccess.Read))
{
creds = GoogleWebAuthorizationBroker.AuthorizeAsync(
GoogleClientSecrets.Load(stream).Secrets,
new[] { YouTubeReportingService.Scope.YtAnalyticsMonetaryReadonly, YouTubeReportingService.Scope.YtAnalyticsReadonly },
"user",
CancellationToken.None,
new FileDataStore("YouTubeAPI")
).Result;
}
var service = new YouTubeReportingService(new BaseClientService.Initializer()
{
HttpClientInitializer = creds,
ApplicationName = "LeapFrogBIDataCollector"
});
return service;
}
}
}
Обновление 20170405
Я считаю, что проблема, с которой я сталкиваюсь, связана со способом предоставления URL-адреса для загрузки. После долгих размышлений и анализа того небольшого количества документации, которое я смог найти, я получил следующий код, который выглядит как улучшение, но он все еще возвращает только заголовки.
MediaResource.DownloadRequest getRequest = ytReportingService.Media.Download("");
using (var fileStream = new System.IO.FileStream(@filePath + reportTypeId + "_" + report.Id + ".csv", System.IO.FileMode.Create, System.IO.FileAccess.Write))
{
// Add a handler which will be notified on progress changes.
// It will notify on each chunk download and when the download is completed or failed.
getRequest.MediaDownloader.ProgressChanged += Download_ProgressChanged;
getRequest.MediaDownloader.Download(report.DownloadUrl, fileStream);
}
Обновление 20170406 Я нашел несколько примеров кода на других языках, которые привели меня к следующим изменениям. По крайней мере, URL для загрузки передается напрямую, а не я его анализирую и использую в качестве имени ресурса. К сожалению, я получаю те же результаты; только заголовки. Нет данных.
//Download the report
MediaResource.DownloadRequest getRequest = ytReportingService.Media.Download("");
using (var fileStream = new System.IO.FileStream(@filePath + reportTypeId + "_" + report.Id + ".csv", System.IO.FileMode.Create, System.IO.FileAccess.Write))
{
// Add a handler which will be notified on progress changes. It will notify on each chunk download and when the download is completed or failed.
getRequest.MediaDownloader.ProgressChanged += Download_ProgressChanged;
getRequest.MediaDownloader.Download(report.DownloadUrl, fileStream);
}
1 ответ
Решение
Окончательная версия media.download в приведенных примерах верна.
У меня есть "Аккаунт бренда" на YouTube. Это означает, что у пользователя, с которым я захожу в Google, есть 2 "аккаунта". Одна учетная запись связана с учетной записью бренда, а другая - с моим пользователем Google.
Я сбросил процесс Oath2, удалив токен доступа и обновления. Это побудило меня снова разрешить приложению доступ к запрошенным областям. Сначала мне предлагают типичный экран входа в YouTube. Затем мне предлагают экран, на котором меня просят выбрать одну из двух учетных записей; support@leapfrogbic.om или LeapFrogBI. Аккаунт бренда называется LeapFrogBI.
Имеет смысл, что API должен знать, какая учетная запись связана с приложением. Это довольно запутанно, хотя. Ничего из этого нет в документации, которую я нашел до сих пор. Честно говоря, единственная причина, по которой я нашел это, заключается в том, что я начал задавать вопрос, нужно ли мне передавать значение для OnBehalfOfContentOwner. Хотя я до сих пор не на 100% разбираюсь в номенклатуре, думаю, я понимаю, что происходит.
С этой информацией я вернулся и провел пару тестов. В то время как Oath2 был настроен на использование учетной записи LeapFrogBI, я не получил работу! Это была большая подсказка. Итак, я переключил Oath2 на учетную запись support@leapfrogbi.com и получил список ожидаемых вакансий. Конечно, все видео находятся в учетной записи LeapFrogBI, поэтому это объясняет, почему я не получаю данные в загруженных отчетах.
Я создал отчеты для учетной записи LeapFrogBI, но пройдет 2 дня, прежде чем они станут доступны. Скрещенные пальцы. Я надеюсь, что эта проблема решена, но я обязательно дам вам знать, что происходит в любом случае.
Подтверждено. Я получаю данные в загруженном CSV сейчас.