Подробное описание документа

Сурпин В. П.
   Влияние метаданных на скорость чтения и записи LSM-дерева в Apache Paimon / Сурпин В. П. // Русский инженер : сборник тезисов 3-го Международного конгресса (Москва, 29 - 31 октября 2025 года) / МГТУ им. Н. Э. Баумана ; вступ. сл. Гордин М. В. - М., 2025. - С. 268-269.

Просмотреть документ Скачать файл

Полнотекстовый документ

Рассмотрен процесс регулярного обновления таблицы данных в формате LSM-дерева в реализации Apache Paimon при помощи ETL-инструмента Apache Spark, моделирующий обновление данных в корпоративном хранилище (Lakehouse, DWH). Обнаружен рост времени обновления таблиц при выполнении множественных итераций записи и исследованы причины роста: исключено влияние сборщика мусора (Garbage Collector) Java-машины, влияние количества версий (snapshot), а также сжатия данных (compaction). Установлен линейный характер зависимости скорости записи Paimon от количества метаданных, а также слабая зависимость скорости чтения от него. Найден способ решения проблемы роста времени записи штатными средствами Paimon — кэшированием метаданных в памяти. Проведены начальные этапы исследования влияния количества бакетов на скорость работы с Paimon.