Планирование - софт

Некоторые задачи Data Mining:

Классификация — отнесение объектов к заранее определённым категориям на основе их характеристик. Примеры: определение кредитоспособности заёмщика, диагностика заболевания, фильтрация спама.

Регрессия — предсказание числового значения целевой переменной. Data Mining применяет регрессионные модели для прогнозирования продаж, оценки стоимости недвижимости, предсказания нагрузки на серверы.

Кластеризация — автоматическое разбиение объектов на группы по сходству без предварительно заданных категорий. Используется для сегментации клиентской базы, группировки документов, обнаружения аномалий.

Ассоциативный анализ — поиск устойчивых связей между событиями или объектами. Классический пример — анализ рыночной корзины: покупатели, приобретающие хлеб, в 70% случаев берут и молоко.

Обнаружение аномалий — выявление наблюдений, существенно отличающихся от нормы. Применяется для обнаружения мошенничества, сбоев оборудования, кибератак.

Последовательный анализ — обнаружение закономерностей во временных последовательностях событий. Например, определение, какие действия пользователя предшествуют покупке, какие симптомы предвещают отказ оборудования.

Планирование в Data Mining
Data Mining
В прошлом процесс добычи золота в горной промышленности состоял из выбора участка земли и дальнейшего ее просеивания большое количество раз. Иногда искатель находил несколько ценных самородков или мог натолкнуться на золотоносную жилу, но в большинстве случаев он вообще ничего не находил и шел дальше к другому многообещающему месту или же вовсе бросал добывать золото, считая это занятие напрасной тратой времени.
Сегодня появились новые научные методы и специализированные инструменты, сделавшие горную промышленность намного более точной и производительной. Data Mining для данных развилась почти таким же способом. Старые методы, применявшиеся математиками и статистиками, отнимали много времени, чтобы в результате получить конструктивную и полезную информацию.
Сегодня на рынке представлено множество инструментов, включающих различные методы, которые делают Data Mining прибыльным делом, все более доступным для большинства компаний.
Термин Data Mining получил свое название из двух понятий: поиска ценной информации в большой базе данных (data) и добычи горной руды (mining). Оба процесса требуют или просеивания огромного количества сырого материала, или разумного исследования и поиска искомых ценностей.

Понятие Статистики
Понятие Машинного обучения
Понятие Искусственного интеллекта
Сравнение статистики, машинного обучения и Data Mining

Развитие технологии баз данных
Понятие Data Mining
Классификация аналитических систем
Мнение экспертов о Data Mining
Отличия Data Mining от других методов анализа данных
Перспективы технологии Data Mining
Существующие подходы к анализу

Data Mining
Что такое данные?
Набор данных и их атрибутов
Измерения
Шкалы
Данные, состоящие из записей
Графические данные
Химические данные

Форматы хранения данных
Базы данных. Основные положения
Системы управления базами данных, СУБД
Классификация видов данных
Метаданные

Data Mining
Методы и стадии Data Mining
Классификация стадий Data Mining
Сравнение свободного поиска и прогностического моделирования с точки зрения логики

Классификация методов Data Mining
Классификация технологических методов Data Mining
Свойства методов Data Mining

Data Mining
Задачи Data Mining. Информация и знания
Задачи Data Mining
Классификация задач Data Mining
Связь понятий

От данных к решениям
От задачи к приложению
Информация
Свойства информации
Требования, предъявляемые к информации
Знания
Сопоставление и сравнение понятий "информация", "данные", "знание"

Data Mining
Классификация и кластеризация
Задача классификации

Процесс классификации
Методы, применяемые для решения задач классификации
Точность классификации: оценка уровня ошибок
Оценивание классификационных методов
Задача кластеризации
Оценка качества кластеризации
Процесс кластеризации
Применение кластерного анализа
Кластерный анализ в маркетинговых исследованиях

Практика применения кластерного анализа в маркетинговых исследованиях
Выводы

Data Mining
Прогнозирование и визуализация
Задача прогнозирования
Сравнение задач прогнозирования и классификации
Прогнозирование и временные ряды
Тренд, сезонность и цикл
Точность прогноза
Виды прогнозов

Методы прогнозирования
Задача визуализации
Плохая визуализация

Data Mining
Сферы применения Data Mining
Банковское дело
Страхование
Телекоммуникации
Электронная коммерция
Промышленное производство
Маркетинг
Розничная торговля

Фондовый рынок
Применение Data Mining в CRM
Исследования для правительства
Биоинформатика
Медицина
Фармацевтика
Молекулярная генетика и генная инженерия
Химия
Web Mining

Text Mining
Call Mining

Data Mining
Основы анализа данных
Анализ данных в Microsoft Excel
Описательная статистика
Центральная тенденция
Свойства среднего
Некоторые свойства медианы
Характеристики вариации данных
Корреляционный анализ
Коэффициент корреляции Пирсона

Регрессионный анализ
Последовательность этапов регрессионного анализа
Задачи регрессионного анализа

Data Mining
Методы классификации и прогнозирования. Деревья решений
Преимущества деревьев решений

Процесс конструирования дерева решений
Критерий расщепления
Большое дерево не означает, что оно "подходящее"
Остановка построения дерева
Сокращение дерева или отсечение ветвей
Алгоритмы
Алгоритм CART
Алгоритм C4.5
Разработка новых масштабируемых алгоритмов

Data Mining

Метод опорных векторов. Метод "ближайшего соседа". Байесовская классификация
Метод опорных векторов
Линейный SVM
Метод "ближайшего соседа" или системы рассуждений на основе аналогичных случаев
Преимущества метода
Недостатки метода "ближайшего соседа"
Решение задачи классификации новых объектов
Решение задачи прогнозирования
Оценка параметра k методом кросс-проверки

Байесовская классификация
Байесовская фильтрация по словам

Data Mining
Нейронные сети
Элементы нейронных сетей
Архитектура нейронных сетей
Обучение нейронных сетей
Модели нейронных сетей
Персептрон

Программное обеспечение для работы с нейронными сетями
Пример решения задачи
Пакет Matlab

Data Mining
Классификация нейронных сетей
Подготовка данных для обучения
Выбор структуры нейронной сети
Самоорганизующиеся карты (Self-Organizing Maps, SOM)
Задачи, решаемые при помощи карт Кохонена
Обучение сети Кохонена

Карты входов

Data Mining
Иерархические методы
Методы кластерного анализа
Иерархические методы кластерного анализа

Меры сходства
Методы объединения или связи
Иерархический кластерный анализ в SPSS
Пример иерархического кластерного анализа
Определение количества кластеров

Data Mining
Итеративные методы
Алгоритм k-средних (k-means)
Описание алгоритма
Проверка качества кластеризации
Алгоритм PAM ( partitioning around Medoids)

Предварительное сокращение размерности
Факторный анализ
Итеративная кластеризация в SPSS
Процесс кластерного анализа. Рекомендуемые этапы
Сложности и проблемы, которые могут возникнуть при применении кластерного анализа
Сравнительный анализ иерархических и неиерархических методов кластеризации
Новые алгоритмы и некоторые модификации алгоритмов кластерного анализа
Алгоритм BIRCH (Balanced Iterative Reducing and Clustering using Hierarchies)
Алгоритм WaveCluster

Алгоритм CLARA (Clustering LARge Applications)
Алгоритмы Clarans, CURE, DBScan

Data Mining
Часто встречающиеся приложения с применением ассоциативных правил:
Введение в ассоциативные правила
Часто встречающиеся шаблоны или образцы
Поддержка
Характеристики ассоциативных правил
Границы поддержки и достоверности ассоциативного правила
Методы поиска ассоциативных правил

Разновидности алгоритма Apriori
AprioriTid
AprioriHybrid
Пример решения задачи поиска ассоциативных правил
Визуализатор "Правила"

Data Mining
Способы визуального представления данных. Методы визуализации
Визуализация инструментов Data Mining
Визуализация Data Mining моделей
Методы визуализации

Представление данных в одном, двух и трех измерениях
Представление данных в 4 + измерениях
Параллельные координаты
"Лица Чернова"
Качество визуализации
Представление пространственных характеристик
Основные тенденции в области визуализации

Data Mining

Комплексный подход к внедрению Data Mining, OLAP и хранилищ данных в СППР
Классификация СППР
OLAP-системы
OLAP-продукты
Интеграция OLAP и Data Mining
Хранилища данных

Преимущества использования хранилищ данных

Data Mining
Процесс Data Mining. Начальные этапы
Этап 1. Анализ предметной области
Этап 2. Постановка задачи
Этап 3. Подготовка данных
Определение и анализ требований к данным
Сбор данных
Определение необходимого количества данных
Предварительная обработка данных

Очистка данных
Этапы очистки данных
Инструменты очистки данных
Выводы по подготовке данных

Data Mining
Построение и использование модели
Моделирование
Виды моделей
Математическая модель

Этап 4. Построение модели
Этап 5. Проверка и оценка моделей
Этап 6. Выбор модели
Этап 7. Применение модели
Этап 8. Коррекция и обновление модели
Погрешности в процессе Data Mining

Data Mining
Организационные и человеческие факторы в Data Mining. Стандарты Data Mining

Организационные Факторы
Человеческие факторы. Роли в Data Mining
CRISP-DM методология
SEMMA методология
Другие стандарты Data Mining
Стандарт PMML
Стандарты, относящиеся к унификации интерфейсов

Data Mining
Рынок инструментов Data Mining

Поставщики Data Mining
Классификация инструментов Data Mining
Программное обеспечение Data Mining для поиска ассоциативных правил
Программное обеспечение для решения задач кластеризации и сегментации

Программное обеспечение Data Mining для решения задач оценивания и прогнозирования

Data Mining
Инструменты Data Mining. SAS Enterprise Miner
Обзор программного продукта
Графический интерфейс (GUI) для анализа данных
Инструментарий для углубленного интеллектуального анализа данных
Набор инструментов для подготовки, агрегации и исследования данных
Интегрированный комплекс разнообразных методов моделирования
Интегрированные средства сравнения моделей и пакеты результатов
Скоринг по модели и простота развертывания модели

Гибкость благодаря открытости и расширяемости
Встроенная стратегия обнаружения данных
Распределенная система интеллектуального анализа данных, ориентированная на крупные предприятия
Основные характеристики пакета SAS Enterprise Miner 5.1
Специализированное хранилище данных

Подход SAS к созданию информационно-аналитических систем
Технические требования пакета SASR Enterprise Miner

Data Mining
Инструменты Data Mining. Система PolyAnalyst
Архитектура системы
PolyAnalyst Workplace - лаборатория аналитика
Аналитический инструментарий PolyAnalyst
Модули для построения числовых моделей и прогноза числовых переменных
Алгоритмы кластеризации
Алгоритмы классификации
Алгоритмы ассоциации
Модули текстового анализа

Визуализация
Эволюционное программирование
Общесистемные характеристики PolyAnalyst
WebAnalyst

Data Mining
Программные продукты Cognos и система STATISTICA Data Miner
Особенности методологии моделирования с применением Cognos 4Thought

Система STATISTICA Data Miner
Средства анализа STATISTICA Data Miner

Data Mining
Oracle Data Mining
Oracle Data Mining - функциональные возможности
Краткая характеристика алгоритмов классификации
Регрессия
Поиск существенных атрибутов

Аналитическая платформа Deductor
Поддержка процесса от разведочного анализа до отображения данных
Архитектура Deductor Studio
Архитектура Deductor Warehouse
Описание аналитических алгоритмов

Data Mining
Инструмент KXEN
Реинжиниринг аналитического процесса
Технические характеристики продукта
Предпосылки создания KXEN

Структура KXEN Analytic Framework Version 3.0
Технология IOLAP

Data Mining
Data Mining консалтинг
Data Mining-услуги
Работа с клиентом
Примеры решения

Техническое описание решения