Получение данных по API в Power Query для Power BI и Excel. Часть 1
Как начать работать с API в Power Query. Подробно о функции Web.Contents. Для широкого круга пользователей Power BI и Excel.
Подробно про REST: клиенты и серверы. Как они используют HTTP-сообщения, чтобы обмениваться информацией. Структура URL и HTTP-сообщений. Методы запросов GET и POST, как их отправлять с помощью Power Query. Заголовки запросов и ответов, типы данных, их распаковка и упаковка. Статусы ответа сервера и обработка серверных ошибок в Power Query.
Рассказываю на примере API Яндекс Диска с советами для других API. Чтобы его попробовать самостоятельно, достаточно зарегистрировать почту на Яндекс, поэтому порог вхождения очень низкий. Советую пробовать своими руками, потому что лучше один раз сделать, чем 100 раз увидеть.
В видео этом не показано, что во время первого подключения по внешней ссылке в Power Query появится окно с авторизацией. В нем ничего менять не нужно, оставляйте анонимное подключение (Anonymous) и нажимайте кнопку Connect. Скрин: https://t.me/PQ_ru/26581
Презентация и получившийся у меня файл pbix: https://disk.yandex.ru/d/EEs-HSQRUJ2bQg
Инструкция по настройке Fiddler: https://docs.microsoft.com/en-us/power-query/web-connection-fiddler
Продолжение: https://youtu.be/SGWKM-bUtqA
Таймкоды:
0:00 О чем видео
0:27 аналогия из сферы услуг
5:11 чем API похож на банк
12:18 запросы и ответы
13:35 что должно быть в запросе
15:00 идентификатор ресурса URI
15:38 синтаксис URL
24:20 Fiddler для анализа трафика
27:59 настройка правил фильтрации трафика
29:30 просмотр сообщений (запроса и ответа)
30:32 из чего состоят HTTP-сообщения
33:08 понятие методов HTTP
34:07 метод GET
41:33 метод POST
44:20 заголовки HTTP
45:57 самые частые заголовки
49:49 Content-Type и MIME-type
52:00 JSON
56:00 получение JSON в Power Query
1:00:34 семейство CSV
1:02:40 что искать в документации по API
1:04:58 Headers - заголовки в Web.Contents
1:13:10 RelativePath - переменный "хвост" URL
1:15:30 Query - GET-параметры
1:23:53 как переключить Web.Contents на метод POST
1:24:50 упаковка тела запроса в зависимости от MIME-type
1:27:01 пример POST-запроса в Power Query
1:33:52 распаковка тела ответа
1:37:42 статусы ответа
1:42:40 ManualStatusHandling - подавление ошибок
1:46:00 просмотр заголовков и статусов ответа
1:50:20 обработка ответа в зависимости от статуса
1:54:40 когда API возвращает ошибку
1:57:00 Power Query дублирует запросы
2:00:12 буферизация ответа
2:02:52 сначала буфер, потом статус
2:09:05 пример извлечения таблицы из JSON
2:12:34 резюме по Options в Web.Contents
2:15:02 что ещё не обсудили
Видео Получение данных по API в Power Query для Power BI и Excel. Часть 1 канала Илья Назаров
Подробно про REST: клиенты и серверы. Как они используют HTTP-сообщения, чтобы обмениваться информацией. Структура URL и HTTP-сообщений. Методы запросов GET и POST, как их отправлять с помощью Power Query. Заголовки запросов и ответов, типы данных, их распаковка и упаковка. Статусы ответа сервера и обработка серверных ошибок в Power Query.
Рассказываю на примере API Яндекс Диска с советами для других API. Чтобы его попробовать самостоятельно, достаточно зарегистрировать почту на Яндекс, поэтому порог вхождения очень низкий. Советую пробовать своими руками, потому что лучше один раз сделать, чем 100 раз увидеть.
В видео этом не показано, что во время первого подключения по внешней ссылке в Power Query появится окно с авторизацией. В нем ничего менять не нужно, оставляйте анонимное подключение (Anonymous) и нажимайте кнопку Connect. Скрин: https://t.me/PQ_ru/26581
Презентация и получившийся у меня файл pbix: https://disk.yandex.ru/d/EEs-HSQRUJ2bQg
Инструкция по настройке Fiddler: https://docs.microsoft.com/en-us/power-query/web-connection-fiddler
Продолжение: https://youtu.be/SGWKM-bUtqA
Таймкоды:
0:00 О чем видео
0:27 аналогия из сферы услуг
5:11 чем API похож на банк
12:18 запросы и ответы
13:35 что должно быть в запросе
15:00 идентификатор ресурса URI
15:38 синтаксис URL
24:20 Fiddler для анализа трафика
27:59 настройка правил фильтрации трафика
29:30 просмотр сообщений (запроса и ответа)
30:32 из чего состоят HTTP-сообщения
33:08 понятие методов HTTP
34:07 метод GET
41:33 метод POST
44:20 заголовки HTTP
45:57 самые частые заголовки
49:49 Content-Type и MIME-type
52:00 JSON
56:00 получение JSON в Power Query
1:00:34 семейство CSV
1:02:40 что искать в документации по API
1:04:58 Headers - заголовки в Web.Contents
1:13:10 RelativePath - переменный "хвост" URL
1:15:30 Query - GET-параметры
1:23:53 как переключить Web.Contents на метод POST
1:24:50 упаковка тела запроса в зависимости от MIME-type
1:27:01 пример POST-запроса в Power Query
1:33:52 распаковка тела ответа
1:37:42 статусы ответа
1:42:40 ManualStatusHandling - подавление ошибок
1:46:00 просмотр заголовков и статусов ответа
1:50:20 обработка ответа в зависимости от статуса
1:54:40 когда API возвращает ошибку
1:57:00 Power Query дублирует запросы
2:00:12 буферизация ответа
2:02:52 сначала буфер, потом статус
2:09:05 пример извлечения таблицы из JSON
2:12:34 резюме по Options в Web.Contents
2:15:02 что ещё не обсудили
Видео Получение данных по API в Power Query для Power BI и Excel. Часть 1 канала Илья Назаров
Показать
Комментарии отсутствуют
Информация о видео
Другие видео канала
Рекурсия в Power Query на примере динамического создания типов таблиц. API в Power Query часть 3.2API в Power Query часть 2: пагинацияПример использования Power BI для получения и анализа сырых данных Яндекс Метрики . Часть 1Видеостена в торговом центреЗагрузка отчётов по рекламе Вконтакте в Power BI или ExcelГенератор функций Power BI для работы с методами API: автоматическое создание удобных функцийПодключение Power BI к Яндекс Log API. Часть 1Расчет собственных моделей атрибуции в Power BI на основе сырых данных Яндекс МетрикиСохранение таблиц Power BI в локальную базу данных с поддержкой инкрементального обновленияСложные типы значений в Power Query и их преобразования. Работа с API в Power Query часть 3.Power BI в интернет-маркетинге для новичков. Часть 2Power Query: знакомство с языком MПолучение сырых данных Яндекс Метрики напрямую в Power BI новым коннекторомПолучение файлов из Яндекс Диск по API в Power BIПример использования Power BI для получения и анализа сырых данных Яндекс.Метрики . Часть 2