OpenRefine. Как чистить данные в OpenRefine? Как делать автоматические запросы в базы?

❗❗❗Так называемое Министерство юстиции РФ признало «Важные истории» «нежелательной организацией». Так что репост этого и любого другого нашего видео может караться штрафом, а повторный репост — уголовным делом.

Но никто не может запретить вам смотреть и думать. Поэтому подписывайтесь на наш канал, просите подписаться своих друзей и оставайтесь с нами — в это темное время выжить мы сможем только вместе.
_____________________________

Выпуски «Мастерской» выходят на отдельном канале. Подписывайтесь
➡️ https://www.youtube.com/channel/UCVZy5a_8sMo4ncI6XBb5iMQ
_____________________________
Редактор istories.media Роман Анин рассказывает о крутом инструменте для журналистов OpenRefine. OpenRefine позволяет быстро чистить данные, находить закономерности в данных, а также делать сотни и тысячи автоматических запросов в разные базы данных. OpenRefine поможет журналистам сэкономить время и не тратить его на бессмысленную работу.

Файлы для тренировки:
«ковид»: https://cloud.occrp.org/s/yQd8J6TAs5o2XwC
«депутаты»: https://cloud.occrp.org/s/bomjEArHeiEQyam
база данных для добавления в OpenRefine: https://aleph.occrp.org/api/freebase/reconcile

Текстовая инструкция: https://www.istories.media/workshops/2020/05/23/openrefine-/

🔹 Подписаться на рассылку Мастерской «Важных историй»
➡️ https://istories.media/workshops/

🔹 Телеграм-канал Мастерской
➡️ https://t.me/istories_workshop

Таймкоды:
0:00 Для чего нужен OpenRefine
0:36 Где скачать и как установить OpenRefine
1:21 Интерфейс и форматы данных в OpenRefine
2:00 Какие могут быть проблемы в данных на примере тестового файла
3:56 Загрузка и предпросмотр данных в OpenRefine
5:00 Определим задачи, с которыми будем работать и зачем это нужно
5:59 Как быстро привести числа в общий формат
7:19 Как быстро привести даты в общий формат с помощью функций
8:40 Функция replace в OpenRefine
10:45 Функция facet в OpenRefine
11:52 Как быстро убрать лишние пробелы
13:03 Кластеризация в OpenRefine
14:15 Методы кластеризации в OpenRefine
16:54 Как экспортировать данные
18:12 Функция сверки с базами данных и для чего ее применяют
19:30 Как сверять данные с базами
22:20 Как добавить базу данных в OpenRefine
23:24 Почему работа в OpenRefine экономит время

Видео OpenRefine. Как чистить данные в OpenRefine? Как делать автоматические запросы в базы? канала Важные истории