Как ссылаться на последнюю таблицу из таблицы BigQuery, разделенной вручную

Question

У нас есть разделенная вручную таблица "видео метаданных", в которую ежедневно поступают свежие данные. В нашей системе старые данные хранятся только по историческим причинам, поскольку самые последние данные являются самыми последними.

То, что мы не можем понять, это как ссылаться только на самый последний раздел в этой таблице, используя LookML.

До сих пор мы пытались хранить представления в BigQuery. Мы пытались и не смогли сохранить простой запрос "извлечение нового раздела" в виде представления как в стандартном, так и в устаревшем SQL, и после некоторого поиска это, похоже, было разработано, хотя в сообщении об ошибке указано "Набор данных не найден" вместо чего-то более актуального.

Мы также пытались встроить фильтрацию в Looker, но у нас возникли проблемы с тем, чтобы заставить вещи работать на самом деле, и через них нам возвращали только самые последние данные.

Любая помощь будет оценена.

Answer 1

Нам удалось найти решение, производные таблицы

Мы полагали, что, поскольку мы не можем определить представление на стороне BigQuery, мы могли бы сделать это на стороне Looker, поэтому мы определили таблицу в производном блоке таблицы внутри представления.

derived_table: {
    sql: SELECT * FROM dataset.table_*
         WHERE _TABLE_SUFFIX = (
             SELECT max(_TABLE_SUFFIX) FROM dataset.table_*
         );;
    sql_trigger_value: SELECT max(_TABLE_SUFFIX) FROM dataset.table_*;;
}

Это дало нам представление только с самыми новыми данными в этом.