Загрузка страницы

Сохранение таблиц Power BI в локальную базу данных с поддержкой инкрементального обновления

Научитесь сохранять таблицы из Power BI в локальную базу данных (SQLite), которая:
- не требует отдельной установки, настройки и обслуживания;
- работает незаметно для непосвященных пользователей;
- работает быстрее, чем промежуточный файл Excel или csv;
- ей можно делиться, например, через облачные хранилища, а скрипт сам определит нужный путь к файлу базы данных на разных компьютерах;
- позволяет реализовать бесплатное инкрементальное обновление данных на десктопе;
- позволяет отлаживать скрипты преобразования данных без необходимости каждый раз обращаться к медленным источникам, например, API.

Анонсировал эту штуку ещё в августе https://t.me/PQ_ru/35863. Всё это время тестировал, переписывал и наконец привел к удобоваримому виду.

Параметры вызова функции:
1. DataBasePath - полный путь к файлу базы данных (перечислить через запятую, если путей несколько в случае разных компьютеров).
2. TableName - название таблицы (внутри одной базы данных можно сделать и хранить несколько разных таблиц, если понадобится).
3. Data - таблица Power BI, которую нужно поместить / добавить / изменить в базе данных. Если не указан, то просто загружаются значения из существующей таблицы в базе данных.
4. KeyColumns - cписок ключевых колонок таблицы (подробности по их выбору / определению в видео). Обязательно указывать, если базы данных пока не существует, потом не обязательно.
5. RaiseError - параметр пока решил отключить, т. к. можно было легко всё испортить по неосторожности;)

Команда для создания отдельного окружения ("песочницы") для Power BI, если при вызове python возникла ошибка ADO.NET: Python script error. bla-bla-bla. UserWarning: mkl-service packahe failed to import, bla-bla-bla
conda create –n PBI_env python numpy pandas matplotlib

Полезные ссылки
Скрипт и описание находится здесь: https://github.com/meta110/powerbi/tree/master/sqliteproxy
Дистрибутив python, на примере которого показываю установку и настройку python для работы с Power BI: https://www.anaconda.com/
ODBC-драйвер, если захотите обращаться к базе данных напрямую даже без установки python: http://www.ch-werner.de/sqliteodbc/
Русскоязычный чат в телеграм по Power Query: https://t.me/PQ_ru
Русскоязычный чат в телеграм по Power BI: http://t.me/PBI_Rus
Русскоязычный канал c ценнейшими советами по Power Query: https://t.me/pbi_pq_from_tank

Видео Сохранение таблиц Power BI в локальную базу данных с поддержкой инкрементального обновления канала Илья Назаров
Показать
Комментарии отсутствуют
Введите заголовок:

Введите адрес ссылки:

Введите адрес видео с YouTube:

Зарегистрируйтесь или войдите с
Информация о видео
27 ноября 2022 г. 2:55:30
00:32:36
Другие видео канала
Рекурсия в Power Query на примере динамического создания типов таблиц. API в Power Query часть 3.2Рекурсия в Power Query на примере динамического создания типов таблиц. API в Power Query часть 3.2API в Power Query часть 2: пагинацияAPI в Power Query часть 2: пагинацияПример использования Power BI для получения и анализа сырых данных Яндекс Метрики . Часть 1Пример использования Power BI для получения и анализа сырых данных Яндекс Метрики . Часть 1Видеостена в торговом центреВидеостена в торговом центреЗагрузка отчётов по рекламе Вконтакте в Power BI или ExcelЗагрузка отчётов по рекламе Вконтакте в Power BI или ExcelГенератор функций Power BI для работы с методами API: автоматическое создание удобных функцийГенератор функций Power BI для работы с методами API: автоматическое создание удобных функцийПодключение Power BI к Яндекс Log API. Часть 1Подключение Power BI к Яндекс Log API. Часть 1Расчет собственных моделей атрибуции в Power BI на основе сырых данных Яндекс МетрикиРасчет собственных моделей атрибуции в Power BI на основе сырых данных Яндекс МетрикиСложные типы значений в Power Query и их преобразования. Работа с API в Power Query часть 3.Сложные типы значений в Power Query и их преобразования. Работа с API в Power Query часть 3.Power BI в интернет-маркетинге для новичков. Часть 2Power BI в интернет-маркетинге для новичков. Часть 2Power Query: знакомство с языком MPower Query: знакомство с языком MПолучение сырых данных Яндекс Метрики напрямую в Power BI новым коннекторомПолучение сырых данных Яндекс Метрики напрямую в Power BI новым коннекторомПолучение файлов из Яндекс Диск по API в Power BIПолучение файлов из Яндекс Диск по API в Power BIПолучение данных по API в Power Query для Power BI и Excel. Часть 1Получение данных по API в Power Query для Power BI и Excel. Часть 1Пример использования Power BI для получения и анализа сырых данных Яндекс.Метрики . Часть 2Пример использования Power BI для получения и анализа сырых данных Яндекс.Метрики . Часть 2
Яндекс.Метрика