Автоматизация процесса обработки информации
TRANSCRIPT
01.05.2023
Автоматизация обработки неконсолидированных разнородных
массивов данных в целях маркетинговых исследований товарных
рынковСтудент Москвин Д.А.
Научный руководитель профессор Ботвин Г.А.
Экономический факультет СПбГУ«Бизнес-Информатика»
1 июня 2016 г.
Цель работыРазработать алгоритм автоматизации обработки, хранения и предоставления изначально слабоструктурированных массивов данных индустриального рынка в целях маркетинговых исследований с использованием таких программных продуктов как MS Excel и Tableau.
Экономический факультет СПбГУ«Бизнес-Информатика»
2 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Задачи1) Ознакомиться со спецификой новой предметной области на базе исследований, проведенных ИА «Инфолайн-Аналитика», выделить ключевые информационные ресурсы, являющиеся основанием маркетинговых исследований по индустриальному рынку2) Подготовить данные к анализу, в том числе разработать макрос в MS Excel, который способен вычленять из текстовых данных искомые числовые значения 3) Разработать аналитический план работы с полученными данными, включающий в себя перечень возможных гипотез, строящихся на основании задействованных переменных4) Создать бизнес-приложение в BI-системе Tableau, являющееся демонстрацией результатов исследования с автоматически обновляющейся базой для публикации в сети Интернет
Экономический факультет СПбГУ«Бизнес-Информатика»
3 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Ориентация исследования• Менеджмент и отдел маркетинга производителей – для оценки конкурентного окружения;
• Специалисты отдела продаж и отдела по работе с клиентами организаций, осуществляющих поставки металлоконструкций и сопутствующих объектов производства – для активизации сбыта и поиска новых клиентов;
• Специалисты отделов закупок строительных фирм – для повышения эффективности закупочной деятельности;
• Банковские структуры, инвестиционные компании и частные инвесторы – для формирования и улучшения стратегии инвестирования в промышленность строительных материалов.
Экономический факультет СПбГУ«Бизнес-Информатика»
4 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Предметная областьДанные, предоставленные ИА «Инфолайн-Аналитика: • Таблица 113 x 217000 таможенных транзакций внешнеторгового
оборота металлопродукции*• Таблица Excel 31 x 519 производители металлоконструкций
Экономический факультет СПбГУ«Бизнес-Информатика»
5 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Индустриальный рынок металлоконструкций и сэндвич-панелей РФ
Алгоритм обработки1. Для каждого вида источников информации выделить приоритетные части2. Устранить ошибки в переменных3. Проанализировать выбранные переменные на предмет информативности4. Определить ключевые переменные для создания лучших фильтров 5. Разработать аналитический план работы с данными6. Осуществить консолидацию всех данных в одном программном продукте 7. Подготовить типовые элементы отчетов с возможностью доработки
Экономический факультет СПбГУ«Бизнес-Информатика»
6 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Заполнение ключевых сущностей исследования
Название поля Описание Формат Вид данных
УНИ-регион отправления Для российских компаний определяется по первым
трем цифрам почтового индекса. Для зарубежных
компаний – не заполняется
String Челябинская область
УНИ-Страна получения Определяется по коду страны (есть в исходной
выборке), подгружается из базы международных
кодов стран
String Россия
УНИ-Таможенная стоимость Берется из исходной выгрузки. Если этих данных
нет, то тогда рассчитывается как статистическая
стоимость из исходной выгрузки, умноженная на
курс доллара на момент составления декларации.
Если и этих данных нет, то оценивается
Number (Decimal) 72190
Экономический факультет СПбГУ«Бизнес-Информатика»
7 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Причины выбора Tableau
Экономический факультет СПбГУ«Бизнес-Информатика»
8 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Целостность видения
Сов
ерш
енст
во п
латф
орм
ы • 1 место по одному из критериев Gartner
• Несколько лет в списках лидеров
• Простота визуализации• Простота публикации
результатов работы
The 2016 Gartner BI Magic Quadrant
Проблемы консолидации данных
Экономический факультет СПбГУ«Бизнес-Информатика»
9 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Ключевые сущности: • База таможенных транзакций внешнеторгового
оборота металлопродукции• База данных «Топ 400 производителей
металлоконструкций»Справочники:• База почтовых кодов России• База кодов стран• Курс доллара за заявленный период• База таможенных органов• База таможенных режимов• База условий поставки
• Пропуски• Ошибки заполнения• Неструктурированность
данных
Экономический факультет СПбГУ«Бизнес-Информатика»
10 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Консолидация данных в Tableau
ERD-диаграмма связи с таблицей Таможня МК и СП 2004-2009
Организация связей справочников с основной таблицей
Разработка гипотез• Определить самые проходимые таможенные органы, интерпретировать результатыЧем интересна гипотеза:Данный вопрос может заинтересовать дистрибьюторов рынка металлоконструкций, так как формирование складских помещений и логистики на основании проходимых объемов может быть целесообразным. Также по данному показателю можно формировать команды и/или заниматься расширением таможен, ведь их загруженность может быть весьма динамичной • Определить динамику цен металлопродукции и проверить гипотезу взаимосвязи с
курсом доллара Чем интересна гипотеза:Прогнозирование цен на металлоконструкции
Экономический факультет СПбГУ«Бизнес-Информатика»
11 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Загруженность таможенных органовСоздаем справочник таможенных органов1. Формирование списка объектов2. Удаление дубликатов и ошибок3. Вычленение адресов объектов4. Объединение с ключевой сущностью5. Нанесение на карту6. Формирование ТОП проходимости таможенных органов7. Создание дашбордов8. Поверхностная интерпретация результатов
Экономический факультет СПбГУ«Бизнес-Информатика»
12 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Экономический факультет СПбГУ«Бизнес-Информатика»
13 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Связь цены на металлоконструкции с курсом доллара
1. Определить предпосылки гипотезы2. Организовать справочник курса доллара за 2004-20093. Устранить пропуски4. Посмотреть динамику курса доллара и цены на МК5. Построить диаграмму рассеивания*6. Регрессионный анализ7. Создание дашбордов8. Интерпретация результатов
Экономический факультет СПбГУ«Бизнес-Информатика»
14 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Экономический факультет СПбГУ«Бизнес-Информатика»
15 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
• Во время кризиса стандартное отклонение увеличилось более чем в 4 раза
Кризис
Ссылка на работу: https://public.tableau.com/profile/dmitry2592#!/
Экономический факультет СПбГУ«Бизнес-Информатика»
16 Автоматизация обработки неконсолидированных разнородных массивов данных в целях маркетинговых исследований товарных рынков1 июня 2016
Публикация работы в сети Интернет
01.05.2023
Автоматизация обработки неконсолидированных разнородных
массивов данных в целях маркетинговых исследований товарных
рынковСтудент Москвин Д.А.
Научный руководитель к.т.н. Ботвин Г.А.
Экономический факультет СПбГУ«Бизнес-Информатика»
1 июня 2016 г.