Сохранение таблиц Power BI в локальную базу данных с поддержкой инкрементального обновления
Научитесь сохранять таблицы из Power BI в локальную базу данных (SQLite), которая:
- не требует отдельной установки, настройки и обслуживания;
- работает незаметно для непосвященных пользователей;
- работает быстрее, чем промежуточный файл Excel или csv;
- ей можно делиться, например, через облачные хранилища, а скрипт сам определит нужный путь к файлу базы данных на разных компьютерах;
- позволяет реализовать бесплатное инкрементальное обновление данных на десктопе;
- позволяет отлаживать скрипты преобразования данных без необходимости каждый раз обращаться к медленным источникам, например, API.
Анонсировал эту штуку ещё в августе https://t.me/PQ_ru/35863. Всё это время тестировал, переписывал и наконец привел к удобоваримому виду.
Параметры вызова функции:
1. DataBasePath - полный путь к файлу базы данных (перечислить через запятую, если путей несколько в случае разных компьютеров).
2. TableName - название таблицы (внутри одной базы данных можно сделать и хранить несколько разных таблиц, если понадобится).
3. Data - таблица Power BI, которую нужно поместить / добавить / изменить в базе данных. Если не указан, то просто загружаются значения из существующей таблицы в базе данных.
4. KeyColumns - cписок ключевых колонок таблицы (подробности по их выбору / определению в видео). Обязательно указывать, если базы данных пока не существует, потом не обязательно.
5. RaiseError - параметр пока решил отключить, т. к. можно было легко всё испортить по неосторожности;)
Команда для создания отдельного окружения ("песочницы") для Power BI, если при вызове python возникла ошибка ADO.NET: Python script error. bla-bla-bla. UserWarning: mkl-service packahe failed to import, bla-bla-bla
conda create –n PBI_env python numpy pandas matplotlib
Полезные ссылки
Скрипт и описание находится здесь: https://github.com/meta110/powerbi/tree/master/sqliteproxy
Дистрибутив python, на примере которого показываю установку и настройку python для работы с Power BI: https://www.anaconda.com/
ODBC-драйвер, если захотите обращаться к базе данных напрямую даже без установки python: http://www.ch-werner.de/sqliteodbc/
Русскоязычный чат в телеграм по Power Query: https://t.me/PQ_ru
Русскоязычный чат в телеграм по Power BI: http://t.me/PBI_Rus
Русскоязычный канал c ценнейшими советами по Power Query: https://t.me/pbi_pq_from_tank
Видео Сохранение таблиц Power BI в локальную базу данных с поддержкой инкрементального обновления канала Илья Назаров
- не требует отдельной установки, настройки и обслуживания;
- работает незаметно для непосвященных пользователей;
- работает быстрее, чем промежуточный файл Excel или csv;
- ей можно делиться, например, через облачные хранилища, а скрипт сам определит нужный путь к файлу базы данных на разных компьютерах;
- позволяет реализовать бесплатное инкрементальное обновление данных на десктопе;
- позволяет отлаживать скрипты преобразования данных без необходимости каждый раз обращаться к медленным источникам, например, API.
Анонсировал эту штуку ещё в августе https://t.me/PQ_ru/35863. Всё это время тестировал, переписывал и наконец привел к удобоваримому виду.
Параметры вызова функции:
1. DataBasePath - полный путь к файлу базы данных (перечислить через запятую, если путей несколько в случае разных компьютеров).
2. TableName - название таблицы (внутри одной базы данных можно сделать и хранить несколько разных таблиц, если понадобится).
3. Data - таблица Power BI, которую нужно поместить / добавить / изменить в базе данных. Если не указан, то просто загружаются значения из существующей таблицы в базе данных.
4. KeyColumns - cписок ключевых колонок таблицы (подробности по их выбору / определению в видео). Обязательно указывать, если базы данных пока не существует, потом не обязательно.
5. RaiseError - параметр пока решил отключить, т. к. можно было легко всё испортить по неосторожности;)
Команда для создания отдельного окружения ("песочницы") для Power BI, если при вызове python возникла ошибка ADO.NET: Python script error. bla-bla-bla. UserWarning: mkl-service packahe failed to import, bla-bla-bla
conda create –n PBI_env python numpy pandas matplotlib
Полезные ссылки
Скрипт и описание находится здесь: https://github.com/meta110/powerbi/tree/master/sqliteproxy
Дистрибутив python, на примере которого показываю установку и настройку python для работы с Power BI: https://www.anaconda.com/
ODBC-драйвер, если захотите обращаться к базе данных напрямую даже без установки python: http://www.ch-werner.de/sqliteodbc/
Русскоязычный чат в телеграм по Power Query: https://t.me/PQ_ru
Русскоязычный чат в телеграм по Power BI: http://t.me/PBI_Rus
Русскоязычный канал c ценнейшими советами по Power Query: https://t.me/pbi_pq_from_tank
Видео Сохранение таблиц Power BI в локальную базу данных с поддержкой инкрементального обновления канала Илья Назаров
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
![Рекурсия в Power Query на примере динамического создания типов таблиц. API в Power Query часть 3.2](https://i.ytimg.com/vi/02zPDFN1HBY/default.jpg)
![API в Power Query часть 2: пагинация](https://i.ytimg.com/vi/SGWKM-bUtqA/default.jpg)
![Пример использования Power BI для получения и анализа сырых данных Яндекс Метрики . Часть 1](https://i.ytimg.com/vi/4IG4jIqg3wM/default.jpg)
![Видеостена в торговом центре](https://i.ytimg.com/vi/gCvhHPBm1QE/default.jpg)
![Загрузка отчётов по рекламе Вконтакте в Power BI или Excel](https://i.ytimg.com/vi/BEE3P_jK0R8/default.jpg)
![Генератор функций Power BI для работы с методами API: автоматическое создание удобных функций](https://i.ytimg.com/vi/-5qwtNNAReY/default.jpg)
![Подключение Power BI к Яндекс Log API. Часть 1](https://i.ytimg.com/vi/z2jNGWRPUbI/default.jpg)
![Расчет собственных моделей атрибуции в Power BI на основе сырых данных Яндекс Метрики](https://i.ytimg.com/vi/4yaKj8QYyrk/default.jpg)
![Сложные типы значений в Power Query и их преобразования. Работа с API в Power Query часть 3.](https://i.ytimg.com/vi/5IoQjRHGOyA/default.jpg)
![Power BI в интернет-маркетинге для новичков. Часть 2](https://i.ytimg.com/vi/h4KIW3F1Aqk/default.jpg)
![Power Query: знакомство с языком M](https://i.ytimg.com/vi/cPT2jLrGOXE/default.jpg)
![Получение сырых данных Яндекс Метрики напрямую в Power BI новым коннектором](https://i.ytimg.com/vi/BZhgrGVJ1SY/default.jpg)
![Получение файлов из Яндекс Диск по API в Power BI](https://i.ytimg.com/vi/MrdHByHfmUs/default.jpg)
![Получение данных по API в Power Query для Power BI и Excel. Часть 1](https://i.ytimg.com/vi/CIOkt_GoJac/default.jpg)
![Пример использования Power BI для получения и анализа сырых данных Яндекс.Метрики . Часть 2](https://i.ytimg.com/vi/Q1Lk6uxCe24/default.jpg)