От Google Analytics до (почти) access.log

Question

Контекст: Многие люди хотят экспортировать данные из Google Analytics и перейти на другой инструмент аналитики, но еще нет готового инструмента, посмотрите эту проблему известного проекта с открытым исходным кодом.

Кажется, что невозможно получить необработанные журналы от Google Analytics, как указано в этом вопросе или здесь.
Конечно, можно использовать свой собственный Apache access.log файлы, но эти файлы не всегда доступны (например, я не хранил журналы 5 лет назад, потому что я знал, что все было в Google Analytics, теперь я вижу свою ошибку!).

---

Частичным решением может быть: давайте экспортируем данные Google Analytics в Apache-подобные access.log файлы. Затем эти данные могут быть легко импортированы в любой инструмент аналитики.

Вопрос. Я изучил графический интерфейс Google Analytics, но не нашел функции, позволяющей группировать экспорт всего прошлого трафика в виде файла журнала в форме (включая реферер, пользовательский агент и т. Д.).

mywebsite.com:5.130.131.132 - - [23/Oct/2016:12:08:58 +0200] "GET /bla/abc.php HTTP/1.1" 302 241 "http://www.blabla.com" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36"

Есть ли в Google Analytics функция, позволяющая это сделать?

Answer 1

Нет, по разным причинам:

• Google Analytics не раскрывает IP-адреса
• GA записывает запросы отслеживания на серверы Google, а не запросы на ваш собственный сервер, поэтому GA не будет знать о способе запроса ресурса
• dito для статуса ответа (если он достиг GA, его 200 по умолчанию, иначе попадание не было бы зарегистрировано) и длины контента
• Я не думаю, что GA выставляет полную строку User Agent

Вам нужно будет либо добавить эту информацию через пользовательские измерения и / или переопределить sendHitTask, чтобы отправить копию (необработанных) данных на ваш собственный сервер отслеживания. В этом случае вам придется применять GA на всех ваших страницах ошибок (для 40-кратных и 50-кратных статусов ошибок) и, конечно, это будет работать только для будущих данных, но все равно не поможет с уже собранными данными.

Премиум-версия GA (недавно переименованная в Google Analytics 360) позволяет (через BigQuery) экспортировать больше полей данных, но это обойдется вам в 150 000 долларов США в год, так что, вероятно, это не вариант.