Практикум на ЭВМ (417)/2017
Материал из MachineLearning.
- Обязательный курс для студентов кафедры ММП 4 курса, читается в 7 семестре.
- Зачёт с оценкой.
- Преподаватели: Майсурадзе Арчил Ивериевич.
- В 2017 году занятия проходят по понедельникам с 14:35 до 16:10 в 582 аудитории.
Содержание |
Занятия
| Дата | № занятия | Тема | Материалы | Задания |
|---|---|---|---|---|
| 4 сентября 2016 | 1 | Предисловие и инструктаж | ||
| Информация о курсе | слайды |
Правила игры
Задания указаны в расписании занятий. Всего будет 8 заданий, из которых 2 последних будут творческие и будут защищаться группам. Первые 6 заданий состоят из 3 задач, сдаваемых через систему. Сдавать каждую задачу до срока №1 можно только один раз. При верном ответе студент получает за неё 1 балл. При неверном ответе - крестик. После срока №2 задача снова становится доступной для сдачи без ограничения попыток; до конца семестра все крестики требуется закрыть, при этом за сданные задания студент получает 0 баллов. За творческие задания можно суммарно заработать 6 баллов, итого максимально возможный балл - 24.
Зачёт ставится при отсутствии у студентов крестиков. Для оценки отлично требуется набрать не менее 19.2 баллов. Для оценки хорошо требуется набрать не менее 12 баллов. Для оценки удовлетворительно достаточно избавиться от крестиков.
План занятий
Приведённый ниже план занятий взят со страницы прошлого года и будет подвержен нововведениям!
Занятие 1
Предисловие. Инструктаж. Информация о курсе.
Занятие 2
Введение в бизнес-анализ данных. SQL, его роль в информационно-аналитических системах. Модели в науке и ИТ. SQL как язык работы с данными: запросы, DDL, DML. Понятие таблицы в реляционной модели. Первичный ключ. Основы работы в Workbench: схемы, таблицы, создание таблиц из интерфейса, создание запроса. Первый запрос данных из таблицы, остановка слишком долгого запроса. Первое определение таблицы (CREATE TABLE). Создать новую таблицу как результат запроса данных (CREATE TABLE as SELECT). Вставить новые строки в существующую таблицу (INSERT). Типы данных. Числовой тип. Дата и время. Строки. Неявное преобразование типов. Базовый запрос SELECT. Именование столбцов (AS). Ограничение размера ответа (LIMIT, TOP). Фильтрация (WHERE). NULL. Отбрасывание дубликатов (DISTINCT). Функции над значениями одного элемента. Условный оператор (CASE). Операции с датами. Операции со строками. Упорядочивание (ORDER BY). Функции агрегации. Домашнее задание 1.
Занятие 3
О числе возвращаемых строк. Подзапросы в IN. Подзапросы в FROM. Группирование по категориям (GROUP BY). Фильтрация по категориям (HAVING). Общий вид SELECT от одной таблицы. Домашнее задание 2.
Занятие 4
Закрепление пройденного материала. Разбор условий задач из задания 1. Разбор типичных ошибок при решении задач из задания 1.
Занятие 5
Начинаем изучать отношения между несколькими таблицами. Описание новых таблиц в учебной БД. Логическая модель данных в учебной БД. Декартово произведение множеств. Декартово произведение таблиц. Сравнение декартова произведения множеств и таблиц. Соединение двух таблиц: общий взгляд. Соединение таблиц в SQL. Соединение CROSS JOIN. Соединение с фильтром INNER JOIN. Соединение LEFT JOIN. Соединение RIGHT JOIN. Соединение FULL JOIN. Домашнее задание 3.
Занятие 6
Объединение множеств. Оператор UNION. Арифметическая сумма мультимножеств. Оператор UNION ALL. Разность множеств. Реализация разности множеств через IN. Реализация разности множеств через JOIN. Условия ANY и ALL. Связанные подзапросы. Условие EXISTS. Домашнее задание 4.
Занятие 7
Аналитическая ценность информации. Рост объёма ценной информации. Параллельные вычислительные системы, типы систем (ASMP, SMP, MPP). Массивно-параллельная архитектура. Ключ распределения таблицы. Redistribute Motion, Broadcast Motion. Отказоустойчивая архитектура. Различия синтаксиса PostgreSQL и MySQL. Особенности DDL для MPP системы (distributed by, partition by). Домашнее задание 5.
Занятие 8
Разбор задач и решений задания 3.
Занятие 8+
Понятие оконной функции. Синтаксис выражений с оконными функциями. Сравнение с GROUP BY. Ранжирующие функции. Агрегатные функции. Аналитические функции. Домашнее задание 5.
Занятие 9
Разбор задач и решений задания 4.
Занятие 10
Разбор задач и решений задания 5.
Занятие 10+
Виды моделей данных. Модель «сущность-связь» (ER-модель). Виды отношений (связей). Crow’s foot notation. Концептуальная модель данных. Пример для сети ресторанов. Логическая модель данных. Внешний ключ. Развязочная таблица (таблица-связь). Физическая модель данных. Подходы к проектированию логической модели. Модель нормализованная (нормальные формы). Модели Звезда и Снежинка. Slowly Changing Dimension. Модель Data Vault.
Занятие 11
Описание продаж в розничной сети. Проектирование моделей Нормализованная, Звезда, Data Vault. Постановка задания 7.
Занятие 12
Доклады групп. Защита задания 7.
Занятие 13
Загрузка данных. Интеграция данных. Архитектуры систем интеграции: консолидация, федерализация, распространение, сервисный подход. // Примечание. У одних авторов консолидация - это разновидность интеграции. У других авторов интеграция - это этап консолидации.. Data fusion («слияние данных», «соединение данных»), Duplicate Record Detection (Identity resolution, Record linkage, Data Deduplication) («сопоставление записей», «вероятностное соединение», «нестрогое соединение», «нестрогое соответствие»). Проблемы интеграции: несоответствие схем данных, несоответствие собственно данных. Update (обновление данных). Аудит. Staging Area (плацдарм). Постановка задания 8.
Занятие 14
Доклады групп. Защита задания 8. Подведение итогов.
