ParquetMetadata

Документация по формату ParquetMetadata

​

Описание

Специальный формат для чтения метаданных файла Parquet (https://parquet.apache.org/docs/file-format/metadata/). Он всегда выводит одну строку со следующей структурой/содержимым:

• num_columns - количество столбцов
• “num_rows` - общее количество строк
• num_row_groups - общее количество групп строк
• format_version - версия формата Parquet, всегда 1.0 или 2.6
• total_uncompressed_size - общий размер данных в несжатом виде в байтах, вычисляется как сумма total_byte_size из всех групп строк
• total_compressed_size - общий размер данных в сжатом виде в байтах, вычисляется как сумма total_compressed_size из всех групп строк
• columns - список метаданных столбцов со следующей структурой:
  • name - имя столбца
  • path - путь столбца (отличается от name для вложенного столбца)
  • max_definition_level - максимальный уровень определения
  • max_repetition_level - максимальный уровень повторения
  • physical_type - физический тип столбца
  • logical_type - логический тип столбца
  • compression - сжатие, используемое для этого столбца
  • total_uncompressed_size - общий размер столбца в несжатом виде в байтах, вычисляется как сумма total_uncompressed_size столбца из всех групп строк
  • total_compressed_size - общий размер столбца в сжатом виде в байтах, вычисляется как сумма total_compressed_size столбца из всех групп строк
  • space_saved - процент места, сэкономленного за счёт сжатия, вычисляется как (1 - total_compressed_size/total_uncompressed_size).
  • encodings - список кодировок, используемых для этого столбца
• row_groups - список метаданных групп строк со следующей структурой:
  • num_columns - количество столбцов в группе строк
  • num_rows - количество строк в группе строк
  • total_uncompressed_size - общий размер группы строк в несжатом виде в байтах
  • total_compressed_size - общий размер группы строк в сжатом виде в байтах
  • columns - список метаданных фрагментов столбцов со следующей структурой:
    • name - имя столбца
    • path - путь столбца
    • total_compressed_size - общий размер столбца в сжатом виде в байтах
    • total_uncompressed_size - общий размер группы строк в несжатом виде в байтах
    • have_statistics - булевый флаг, указывающий, содержат ли метаданные фрагмента столбца статистику столбца
    • statistics - статистика фрагмента столбца (все поля имеют значение NULL, если have_statistics = false) со следующей структурой:
      • num_values - количество значений, не равных NULL, во фрагменте столбца
      • null_count - количество значений NULL во фрагменте столбца
      • distinct_count - количество различных значений во фрагменте столбца
      • min - минимальное значение фрагмента столбца
      • max - максимальное значение фрагмента столбца
    • have_size_statistics - булевый флаг, указывающий, содержат ли метаданные фрагмента столбца статистику размеров
    • size_statistics - статистика размеров фрагмента столбца (все поля имеют значение NULL или пусты, если have_size_statistics = false) со следующей структурой:
      • unencoded_byte_array_data_bytes - общий размер незакодированных значений массива байтов, записанный в нижнем колонтитуле; NULL, если пишущая сторона его не записала
      • repetition_level_histogram - количество значений на каждом уровне повторения, записанное в нижнем колонтитуле; пусто, если пишущая сторона его не записала
      • definition_level_histogram - количество значений на каждом уровне определения, записанное в нижнем колонтитуле; пусто, если пишущая сторона его не записала

​

Пример использования

Пример:

SELECT * 
FROM file(data.parquet, ParquetMetadata) 
FORMAT PrettyJSONEachRow

{
    "num_columns": "2",
    "num_rows": "100000",
    "num_row_groups": "2",
    "format_version": "2.6",
    "metadata_size": "577",
    "total_uncompressed_size": "282436",
    "total_compressed_size": "26633",
    "columns": [
        {
            "name": "number",
            "path": "number",
            "max_definition_level": "0",
            "max_repetition_level": "0",
            "physical_type": "INT32",
            "logical_type": "Int(bitWidth=16, isSigned=false)",
            "compression": "LZ4",
            "total_uncompressed_size": "133321",
            "total_compressed_size": "13293",
            "space_saved": "90.03%",
            "encodings": [
                "RLE_DICTIONARY",
                "PLAIN",
                "RLE"
            ]
        },
        {
            "name": "concat('Hello', toString(modulo(number, 1000)))",
            "path": "concat('Hello', toString(modulo(number, 1000)))",
            "max_definition_level": "0",
            "max_repetition_level": "0",
            "physical_type": "BYTE_ARRAY",
            "logical_type": "None",
            "compression": "LZ4",
            "total_uncompressed_size": "149115",
            "total_compressed_size": "13340",
            "space_saved": "91.05%",
            "encodings": [
                "RLE_DICTIONARY",
                "PLAIN",
                "RLE"
            ]
        }
    ],
    "row_groups": [
        {
            "num_columns": "2",
            "num_rows": "65409",
            "total_uncompressed_size": "179809",
            "total_compressed_size": "14163",
            "columns": [
                {
                    "name": "number",
                    "path": "number",
                    "total_compressed_size": "7070",
                    "total_uncompressed_size": "85956",
                    "have_statistics": true,
                    "statistics": {
                        "num_values": "65409",
                        "null_count": "0",
                        "distinct_count": null,
                        "min": "0",
                        "max": "999"
                    }
                },
                {
                    "name": "concat('Hello', toString(modulo(number, 1000)))",
                    "path": "concat('Hello', toString(modulo(number, 1000)))",
                    "total_compressed_size": "7093",
                    "total_uncompressed_size": "93853",
                    "have_statistics": true,
                    "statistics": {
                        "num_values": "65409",
                        "null_count": "0",
                        "distinct_count": null,
                        "min": "Hello0",
                        "max": "Hello999"
                    }
                }
            ]
        },
        ...
    ]
}