Просмотр

Материал из MachineLearning.

Страница «Технологии организации данных (курс лекций, С.К.Дулин)»
У вас нет прав на выполнение этой операции по следующим причинам:
Запрошенное действие могут выполнять только участники из групп emailconfirmed, Администраторы.
Вы должны подтвердить ваш адрес электронной почты перед правкой страниц. Пожалуйста, введите и подтвердите ваш адрес эл. почты на странице настроек.
Вы можете просмотреть и скопировать исходный текст этой страницы:
{{TOCright}}
В курсе рассматриваются теоретические основы информационного моделирования и технологий организации информационных ресурсов в вычислительных системах с учетом специфики и ограничений различных проблемных областей, возможностей программного обеспечения.


Задачами данного курса являются:
* приобретение базовых знаний в области информационного моделирования и технологий организации информационных ресурсов;
* оказание консультаций и помощи студентам в проведении собственных теоретических и экспериментальных исследований в области информационного моделирования и организации информационных ресурсов в вычислительных системах;
* приобретение навыков работы с современными средствами и программными продуктами моделирования и обработки данных, а также с прикладными системами обработки пространственных данных.


Курс читается студентам 4 курса кафедры [[Интеллектуальные системы (кафедра МФТИ)|«Интеллектуальные системы / проектирование и организация систем» ФУПМ МФТИ]]. Программа лекционного курса рассчитана на 66 часов (два семестра), предусмотрены практические занятия (33 часа) и лабораторные работы (33 часа).

=== Замечания для студентов ===

* На подстранице имеется перечень [[Технологии организации данных (курс лекций, С.К.Дулин)/Вопросы|вопросов к устному экзамену]].
* О найденных ошибках и опечатках [[Служебная:EmailUser/Algneushev|сообщайте мне]]. —&nbsp;''[[Участник:Algneushev|А.Н.Гнеушев]] {{дата}}''
* Короткая ссылка на эту страницу: [http://bit.ly/ML_ISD_DB http://bit.ly/ML_ISD_DB].


= Программа курса=
== Основы информационного моделирования ==
* Введение в системы, использующие информационные ресурсы.
** Краткая история развития компьютерных технологий и методов хранения информации. 
** Методы сбора данных. Определение проблемы и формулирование целей исследования. 
** Планирование сбора первичных данных. Оценка полученных данных.
* Методы обработки информационных ресурсов.
** Интеллектуальный анализ данных (Data Mining), история и предпосылки возникновения.
** Классификация и кластеризация данных. Функции сходства. Коэффициенты подобия. 
** Специфика обработки неструктурированных данных. Системы сбора и хранения текстовых документов. 
** Примеры информационных систем. Метод выделения ключевых слов. Метод латентных семантик LSI.
== Архитектура систем баз данных и знаний ==
* Задачи трех уровней проектирования информационных ресурсов.
** Задача проектирования информационных ресурсов в терминах модели проблемной области – концептуальная модель. Присвоение имен типовым объектам, спецификация атрибутов, типы запросов. 
** Концептуальное, логическое и физическое представления данных на этапах проектирования баз данных и при сопровождении информационной модели. Достижение единого уровня представления программ и данных. 
** Функции администратора банка данных.
* Управление базами данных.
** Основные виды поддерживаемых структур данных, схема и подсхема, схема схем (метамодель), интеллектуальный интерфейс пользователя. Адресация и поиск, способы адресации, хеширование, индекс. 
** Взаимодействие пользователя с СУБД, схема функционирования СУБД, система управления передачей данных, распределенная обработка, языковые средства СУБД. 
** Организация данных на носителях в среде хранения, указатели, цепи и кольцевые структуры, физическое представление древовидных и сетевых структур.
== Представление и обработка пространственных данных ==
* Понятие о формализованном представлении пространственных данных.
** Классификация по назначению использования и по средствам отображения. 
** Метрическая и семантическая компоненты пространственных данных.
** Растровое и векторное представление метрической информации. Топологическое и нетопологическое векторное представление. Обменные и рабочие форматы данных: назначение и взаимосвязь. Проблема стандартизации обменных форматов.
* Основные понятия теории геоинформационных баз данных.
** Типы пространственно-временных данных: точечные объекты, линейные объекты, ареалы, атрибутивные данные.
== Реляционная модель данных ==
* Теоретические основы реляционных систем.
** Разделение данных и связей, реляционная модель, базовые таблицы и представления, домены и кортежи. 
** Значения отношений, переменные отношений, виды отношений. Алгебра отношений и исчисление отношений, реляционные операции: выборка, проекция и соединение. 
** Языки QBE и SQL, семейство SQL-подобных СУБД.
* Язык SQL.
** Спецификация и детализация SQL, соглашения и терминология. 
** Язык определения данных DDL (data definition language): CREATE, ALTER, DROP, язык модификации данных DML (data modification language): INSERT, UPDATE, DELETE. 
** Язык манипулирования данными DML (data manipulation language): SELECT
** Язык управления данными DCL (data control language): GRANT, REVOKE, SET ROLE.
** Корректное отображение естественно-языковых запросов в язык манипулирования данными. 
** Синтаксис и семантика операции SELECT, определение выборки – предложение WHERE. Использование реляционных и булевых операторов для создания сложных предикатов, элементы мат. логики.
* Создание информационных объектов.
** Табличная и операторная модификация данных. 
** Ввод значений, именование столбца для INSERT, вставка результатов запроса, исключение строк из таблицы, изменение значения полей, UPDATE для множества столбцов. Использование подзапросов с командами обновления INSERT, DELETE, UPDATE. 
** Создание: TABLE, VIEW, INDEX, TRIGGER, SYNONYM, ROLE, ASSERTION. Корректное удаление и обновление информационных ресурсов.
* Администрирование.
** Определение прав доступа к данным, передача привилегий, одновременная работа с множеством пользователей, типы блокировок. Системный каталог, использование представлений для таблиц каталога.
== Введение в ООСУБД ==
* Проектирование и реализация ООСУБД.
** Проектирование распределенных БД. 
** Объектно-ориентированные модели данных. 
** Языки программирования и запросов ООСУБД. 
** Примеры ООСУБД. Моделирование и реализация ООСУБД. 
** Основные понятия ODL. Объектно-ориентированное проектирование. Интерфейс, атрибуты и связи. Множественность связей в ODL на примере описания классов. Типы в ODL. Множества, мультимножества и списки.
== SQL Server 2012 ==
* Функциональные особенности и архитектура SQL Server.
** История SQL Server. Основные компоненты SQL Server. TRANSACT-SQL. 
** Архитектура базы данных SQL Server. Объекты базы данных. Столбцы. Индексы. Представления. Ограничения целостности. Правила. Значение по умолчанию. Триггеры. Встроенные процедуры. 
** Средства администрирования SQL Server.
* SQL ServerExpress 2012.
** Настройка SQL ServerExpress 2012. 
** Инсталляция SQL Server. Каталоги и базы данных. Инструменты. Диспетчер конфигурации SQL ServerExpress. 
** Настройка свойств среды SQL Server Management Studio.
== Базы данных в Интернете ==
* Технологии Интернета, используемые для обращения к базам данных.
== Методы доступа к данным ==
* Обзор методов доступа к данным: DAO, ADO, RDO.
** Ядро баз данных Microsoft Jet. 
** Коллекции объектов DBEngine модели объектов доступа к данным DAO. 
** Доступ к источникам данных ODBC. Модель объектов рабочего пространства ODBCDirect. 
** Объектная модель ADO.
== XML базы данных ==
* Технология XML.
** Создание и обработка XML-документов. 
** XML-генераторы. 
** Спецификация схем данных для XML-документов. Создание DTD – определения. Спецификация Namespaces. Объектная модель документа DOM. 
** XML-база данных (Native XML Database, NXD) и база данных, поддерживающая XML как тип данных (XML Enabled Database, XED). Язык запросов XPath.
* Технология RDF (Resource Description Framework).
** RDF - способ представления распределенных данных. 
** Использование форматов XML и N3 для записи RDF. Отличительные особенности RDF. Определение RDF как совокупности трёх правил. Области применимости RDF. Информация, представляемая в RDF, как набор утверждений и как граф. Пример сведения распределённой информации в общую систему на основе RDF представления.


= Практические занятия =
# Методы и приемы выбора источников информации и сбор вторичных данных. Оценка полученных данных и решение о необходимости первичных данных.
# Построение моделей методами Data Mining. Преобразование данных в полезную для принятия решений информацию.
# Способы устранение рассогласованности данных. Неопределенность данных, виды неопределенности.
# Представление документов в виде векторов взвешенных ключевых слов.
# Концептуальное, логическое и физическое представления данных на этапах проектирования баз данных и при сопровождении информационной модели.
# Организация данных на носителях в среде хранения, указатели, цепи и кольцевые структуры, физическое представление древовидных и сетевых структур.
# Растровое и векторное представление метрической информации. Топологическое и нетопологическое векторное представление.
# Визуализация базы геоданных. Основные топологические характеристики моделей баз геоданных. Способы представления трехмерных моделей.
# Значения отношений, переменные отношений, виды отношений. Алгебра отношений и исчисление отношений, реляционные операции: выборка, проекция и соединение.
# Предложения CREATE, ALTER, DROP, INSERT, UPDATE, DELETE, GRANT, REVOKE, SET ROLE.
# Использование реляционных и булевых операторов для создания сложных предикатов, элементы мат. логики.
# Использование подзапросов с командами обновления INSERT, DELETE, UPDATE.
# Корректное удаление и обновление информационных ресурсов.
# Системный каталог, использование представлений для таблиц каталога.
# Основные понятия ODL. Объектно-ориентированное проектирование.
# Базы данных SQL Server. Объекты базы данных.
# Настройка свойств среды SQL Server Management Studio.
# Интеграция серверов Web и SQL Server.
# Доступ к источникам данных ODBC. Модель объектов рабочего пространства  ODBCDirect.
# Язык запросов XPath.
# Пример сведения распределённой информации в общую систему на основе RDF представления.

= Лабораторные занятия =
== Работа с реляционными данными ==
# Использование SQL для выборки данных из таблицы, формирование запроса. Microsoft Office Access 2007, SQL ServerExpress 2012.
#* Выбор первичного ключа PRIMARY KEY, внешние и родительские ключи PARENT KEY и FOREIGN KEY, контроль ссылочной целостности.
# Примеры с использованием специальных операторов и функций агрегирования. Microsoft Office Access 2007, SQL ServerExpress 2012.
#* Примеры с использованием специальных операторов IN, BETWEEN, LIKE, IS NULL. 
#* Суммирование данных с помощью функций агрегирования COUNT, SUM, AVG, MAX, MIN, предложения GROUP BY и HAVING. 
#* Форматирование результатов запроса, упорядочение выходных полей с помощью ORDER BY, упорядочение по множеству столбцов. 
#* Соединение таблиц – операция JOIN, операция соединения двух копий одной таблицы, алиасы, исключение избыточности. 
#* Вложение запросов, DISTINCT с подзапросами, использование функций агрегирования в подзапросах, подзапросы с HAVING, связанные подзапросы. 
#* Использование оператора EXISTS, комбинирование EXISTS и соединений, EXISTS и агрегаты. 
#* Специальные операторы ANY и ALL, равенства и неравенства. 
#* Объединение множества запросов в один – предложение UNION, использование UNION с ORDER BY, внешнее соединение.
# Реализация ограничений в таблицах. Создание и преобразование представлений. Microsoft Office Access 2007, SQL ServerExpress 2012.
#* Реализация ограничений в таблицах, учет уникальности значений.
#* Формы ограничения для первичного ключа PRIMARY KEY, ограничения внешнего ключа FOREIGN KEY, действие ограничений. 
#* Обновление представлений, представления и соединения, представления и подзапросы, удаление представлений, выбор значений размещенных в представлениях.
# Программная среда PL/SQL. Управляющие конструкции. Использование явных и неявных курсоров. SQL ServerExpress 2012.
#* Использование явных и неявных курсоров. Выбор типа курсора. Примеры. 
#* Составление программ на PL/SQL с использованием явных и неявных курсоров. 
== Освоение СУБД SQL ServerExpress 2012 ==
# Настройка свойств среды SQL Server Management Studio под конкретного пользователя. Мастера администрирования. Работа с встроенной документацией. Среда SQL Server Management Studio SQL Server 2012, SQL ServerExpress 2012.
# Установка, запуск, приостановка и возобновление работы SQL сервера. Настройка свойств сервера. Создание задания. Просмотр журнала ошибок. Просмотр и создание сообщений SQL Server. Среда SQL Server Management Studio SQL Server 2012, SQL ServerExpress 2012.
# Подключение баз данных из различных источников к SQL Server. Группы и роли. Изменение владельца базы данных. Установка разрешений для гостя базы данных. Режимы работы системы безопасности SQL Server. Управление пользователями базы данных. Управление доступом к базам данных SQL Server. SQL ServerExpress 2012.
== Работа с преобразованием XML форматов ==
# Просмотр и анализ примера XML -файла для описания различных типов недвижимости. Создание запросов к реляционной базе данных, поддерживающей XML.
Конвертор форматов XML-SQL, SQL ServerExpress 2012.

= Необходимое программное обеспечение =
* программные системы Windows 2007, Microsoft Office Access 2007, SQL ServerExpress 2012; 
* среда SQL Server Management Studio SQL Server 2012, конвертор форматов XML-SQL. 
* Электронные ресурсы, включая доступ к базам данных 
** [http://www.w3c.org http://www.w3c.org]
** [http://www.raai.org http://www.raai.org]


= Литература =
== Основная литература ==
# ''Андрейчиков А.В., Андрейчикова О.Н.'' Интеллектуальные информационные системы: Учебник. - М.: Финансы и статистика, 2004.
# ''Дюк В., Самойленко A.'' Data Mining. Учебный курс. - С-Пб.: Питер, 2001. 
# ''К. Дж. Дейт.'' Введение в системы баз данных. Седьмое издание. М.: Издательский дом «Вильямс», 2001. 
# ''Гарсиа-Молина Г., Ульман Дж.Д., Уидом Дж.'' Системы баз данных. Полный курс // М.: Вильямс, 2003
# ''Иванников А.Д., Кулагин В.П., Тихонов А.Н., Цветков В.Я.'' Геоинформатика. – М.: МаксПресс, 2001.
# Обзор методов доступа к данным: DAO, ADO, RDO. [http://alibek09.narod.ru/vb/articles/dba/#p01_title#p01_title URL]
# ''Виейра Р.'' Программирование баз данных Microsoft SQL Server 2008. Базовый курс. -М: Вильямс, 2010, 816 с. [http://shtonda.blogspot.com/2009/07/microsoft-sql-server-2008_13.html URL]
# XML и базы данных. [http://xmlhack.ru/texts/02/followNose/followNose.html URL]
# Краткое введение в RDF. [http://rdfabout.com/quickintro.xpd URL]
== Дополнительная литература ==
# ''Барсегян А.А. и др.'' Методы и модели анализа данных: OLAP и Data Mining. - СПб.: БХВ-Петербург, 2004. 
# ''Карпова Т.С.'' Базы данных. Модели, разработка, реализация. - СПб.: Питер, 2001.
# ''Коннолли Т.'' Базы данных. Проектирование, реализация и сопровождение. Теория и практика. 3-е издание. — М.: Вильямс, 2003.
# ''Д. Кренке.'' Теория и практика построения баз данных. 8 изд. М.: Питер, 2003.
# ''Дьюсон Р.'' SQL Server 2008 для начинающих разработчиков. – СПб.: БХВ-Петербург, 2009, 704 с.


'''Программу составил''' <br \>
{{S|С.К. Дулин}}, профессор, д.т.н.

= См. также =
* [[Интеллектуальные системы (кафедра МФТИ)|Кафедра «Интеллектуальные системы» ФУПМ МФТИ]]
* [[Интеллектуальные системы (кафедра МФТИ)/О кафедре#Специализация «Проектирование и организация систем»|Специализация «Проектирование и организация систем» кафедры «Интеллектуальные системы» ФУПМ МФТИ]]
* [[Интеллектуальные_системы_(кафедра_МФТИ)/Расписание#Специализация «Проектирование и организация систем»|Расписание специализации «Проектирование и организация систем»]]

= Список подстраниц =
{{Служебная:Prefixindex/Технологии организации данных (курс лекций, С.К.Дулин)/}}

[[Категория:Учебные курсы]]
Шаблоны, использованные на текущей версии страницы:
Возврат к странице Технологии организации данных (курс лекций, С.К.Дулин).
Источник — «http://machinelearning.ru/wiki/index.php?title=%D0%A2%D0%B5%D1%85%D0%BD%D0%BE%D0%BB%D0%BE%D0%B3%D0%B8%D0%B8_%D0%BE%D1%80%D0%B3%D0%B0%D0%BD%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85_%28%D0%BA%D1%83%D1%80%D1%81_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D0%B9%2C_%D0%A1.%D0%9A.%D0%94%D1%83%D0%BB%D0%B8%D0%BD%29»
Просмотр

Материал из MachineLearning.

Просмотры

Личные инструменты

Навигация

Поиск

Инструменты
