Системы искусственного интеллекта (курс лекций, Д.В.Михайлов)
Материал из MachineLearning.
(→Демо) |
|||
(40 промежуточных версий не показаны.) | |||
Строка 1: | Строка 1: | ||
- | Дисциплина | + | Дисциплина «Системы искусственного интеллекта» для специальности 230105 важную роль в подготовке студентов к самостоятельной профессиональной деятельности в области интеллектуальных информационных технологий. Дисциплина «Системы искусственного интеллекта» для специальности 230105 относится к числу дисциплин специализации и читается в 9-м семестре. Она включает в себя рассмотрение основных вопросов современной теории и практики построения интеллектуальных систем (в первую очередь) символьной обработки и опирается на учебные курсы :«Дискретная математика», «Функциональное и логическое программирование», «Объектно-ориентированное программирование», «Базы данных», «Теория вычислительных процессов и структур», «Компьютерное моделирование», «Распознавание образов и обработка изображений» и «Человеко-машинное взаимодействие». Особое внимание уделяется моделированию языкового поведения человека при работе с базами знаний интеллектуальных информационно-поисковых систем. |
Включение данной дисциплины в учебный план заключительного учебного семестра перед преддипломной практикой и дипломным проектированием дает возможность студенту более четко сформулировать задачу на дипломное проектирование с точки зрения перспективных направлений интеллектуальных технологий компьютерной обработки информации. | Включение данной дисциплины в учебный план заключительного учебного семестра перед преддипломной практикой и дипломным проектированием дает возможность студенту более четко сформулировать задачу на дипломное проектирование с точки зрения перспективных направлений интеллектуальных технологий компьютерной обработки информации. | ||
Строка 6: | Строка 6: | ||
доцент кафедры Информационных технологий и систем [http://www.novsu.ru Новгородского государственного университета им. Ярослава Мудрого]. | доцент кафедры Информационных технологий и систем [http://www.novsu.ru Новгородского государственного университета им. Ярослава Мудрого]. | ||
- | Научный консультант | + | Научный консультант — д.т.н., профессор Емельянов Геннадий Мартинович |
== Содержание лекционных занятий == | == Содержание лекционных занятий == | ||
Строка 55: | Строка 55: | ||
* Отбор фраз текстового корпуса, максимально релевантных исходной: | * Отбор фраз текстового корпуса, максимально релевантных исходной: | ||
- | ** [http://www.novsu.ru/file/1146133 на основе TF-IDF её слов]; | + | ** [http://www.novsu.ru/file/1146133 на основе TF-IDF её слов]<ref name="compopt2015"> |
- | ** [http://www.novsu.ru/file/1195999 с привлечением базы синтаксических правил на основе численной оценки силы связи слов исходной фразы]; | + | {{биб.статья |
- | ** [http://www.novsu.ru/file/1229881 анализом n-грамм на найденных синтаксических связях слов исходной фразы]. | + | |автор = Михайлов Д. В., Козлов А. П., Емельянов Г. М. |
- | * [http://www.novsu.ru/file/1258899 Та же задача для случая более чем одной исходной фразы и оценки силы связи слов без синтаксических правил на основе классификации по TF-IDF]. | + | |заглавие = [http://www.computeroptics.smr.ru/KO/PDF/KO39-3/390319.pdf Выделение знаний и языковых форм их выражения на множестве тематических текстов: подход на основе меры TF-IDF] |
+ | |ссылка = http://www.computeroptics.smr.ru/ | ||
+ | |издание = Компьютерная оптика | ||
+ | |год = 2015 | ||
+ | |том = 39 | ||
+ | |номер = 3 | ||
+ | |страницы = 429–438 | ||
+ | }} | ||
+ | </ref>; | ||
+ | ** [http://www.novsu.ru/file/1195999 с привлечением базы синтаксических правил на основе численной оценки силы связи слов исходной фразы]<ref name="compopt2016"> | ||
+ | {{биб.статья | ||
+ | |автор = Михайлов Д. В., Козлов А. П., Емельянов Г. М. | ||
+ | |заглавие = [http://www.computeroptics.smr.ru/KO/PDF/KO40-4/400417.pdf Выделение знаний, языковых форм их выражения и оценка эффективности формирования множества тематических текстов] | ||
+ | |ссылка = http://www.computeroptics.smr.ru/ | ||
+ | |издание = Компьютерная оптика | ||
+ | |год = 2016 | ||
+ | |том = 40 | ||
+ | |номер = 4 | ||
+ | |страницы = 572–582 | ||
+ | }} | ||
+ | </ref>; | ||
+ | ** [http://www.novsu.ru/file/1229881 анализом ''n''-грамм на найденных синтаксических связях слов исходной фразы]. | ||
+ | |||
+ | * [http://www.novsu.ru/file/1258899 Та же задача для случая более чем одной исходной фразы и оценки силы связи слов без синтаксических правил на основе классификации по TF-IDF]<ref name="compopt2017"> | ||
+ | {{биб.статья | ||
+ | |автор = Михайлов Д. В., Козлов А. П., Емельянов Г. М. | ||
+ | |заглавие = [http://www.computeroptics.smr.ru/KO/PDF/KO41-3/410320.pdf Выделение знаний и языковых форм их выражения на множестве тематических текстов анализом связей слов в составе ''n''-грамм] | ||
+ | |ссылка = http://www.computeroptics.smr.ru/ | ||
+ | |издание = Компьютерная оптика | ||
+ | |год = 2017 | ||
+ | |том = 41 | ||
+ | |номер = 3 | ||
+ | |страницы = 461–471 | ||
+ | }} | ||
+ | </ref>, в том числе: | ||
+ | ** [http://www.novsu.ru/file/1316653 вариант с факультативным учётом предлогов, союзов и междометий при выделении связей слов, а также оценкой (на основе найденных ''n''-грамм) релевантности текстового корпуса ситуации языкового употребления, задаваемой исходными фразами]; | ||
+ | ** [http://www.novsu.ru/file/1440241 вариант с оценкой близости исходных фраз смысловому эталону]<ref name="pria2018"> | ||
+ | {{биб.статья | ||
+ | |автор = Emelyanov G. M., Mikhailov D. V., Kozlov A. P. | ||
+ | |заглавие = [https://link.springer.com/content/pdf/10.1134%2FS1054661818040090.pdf Relevance of a Set of Topical Texts to a Knowledge Unit and the Estimation of the Closeness of Linguistic Forms of Its Expression to a Semantic Pattern] | ||
+ | |ссылка = https://www.pleiades.online/ru/journal/patrec/ | ||
+ | |издание = Pattern Recognition and Image Analysis | ||
+ | |год = 2018 | ||
+ | |том = 28 | ||
+ | |номер = 4 | ||
+ | |страницы = 771–782 | ||
+ | }} | ||
+ | </ref>. | ||
+ | |||
+ | * [http://www.novsu.ru/file/1493710 Отбор научных статей по степени близости смысловому эталону заголовка и фраз аннотации (реализация на Python 2.7)]<ref name="jphys2019"> | ||
+ | {{биб.статья | ||
+ | |автор = Mikhaylov D. V., Emelyanov G. M. | ||
+ | |заглавие = [https://iopscience.iop.org/article/10.1088/1742-6596/1352/1/012034/pdf Selection of scientific articles according to the degree of proximity to the semantic pattern of the title and phrases of the abstract] | ||
+ | |ссылка = https://iopscience.iop.org/journal/1742-6596 | ||
+ | |издание = Journal of Physics: Conference Series | ||
+ | |год = 2019 | ||
+ | |том = 1352 | ||
+ | |страницы = 012034 | ||
+ | }} | ||
+ | </ref>, в том числе: | ||
+ | ** [http://www.novsu.ru/file/1504831 вариант с сортировкой анализируемых фраз по степени близости эталону и выделением ключевых сочетаний слов на основе меры TF-IDF]<ref name="pria2019"> | ||
+ | {{биб.статья | ||
+ | |автор = Mikhaylov D. V., Emelyanov G. M. | ||
+ | |заглавие = [https://link.springer.com/content/pdf/10.1134%2FS1054661819040114.pdf Estimation of the closeness to a semantic pattern of a topical text without construction of periphrases] | ||
+ | |ссылка = https://www.pleiades.online/ru/journal/patrec/ | ||
+ | |издание = Pattern Recognition and Image Analysis | ||
+ | |год = 2019 | ||
+ | |том = 29 | ||
+ | |номер = 4 | ||
+ | |страницы = 647–653 | ||
+ | }} | ||
+ | </ref>, включая [http://www.novsu.ru/file/1580901 построение иерархии статей на основе оценок взаимной смысловой зависимости по аннотациям и заголовкам с учётом найденных ключевых сочетаний слов]. | ||
== Инструментальные средства и библиотеки == | == Инструментальные средства и библиотеки == | ||
Строка 67: | Строка 138: | ||
* [https://pdfbox.apache.org Apache PDFBox — A Java PDF Library]. | * [https://pdfbox.apache.org Apache PDFBox — A Java PDF Library]. | ||
+ | |||
+ | * [https://euske.github.io/pdfminer/ PDFMiner — Python PDF parser and analyzer]. | ||
+ | |||
+ | * [https://www.nltk.org/ Natural Language Toolkit — NLTK homepage]. | ||
+ | |||
+ | * [https://pymorphy2.readthedocs.org/en/latest/ Морфологический анализатор pymorphy2]. | ||
+ | |||
+ | * [https://github.com/tensorflow/models/tree//master/research/syntaxnet SyntaxNet: Neural Models of Syntax]. | ||
+ | |||
+ | * [http://www.maltparser.org/ MaltParser — data-driven dependency parser]. | ||
+ | |||
+ | * [http://mathling.phil.spbu.ru/node/160 Лингвистический комплекс NLTK4RUSSIAN]. | ||
== Базы данных == | == Базы данных == | ||
Строка 74: | Строка 157: | ||
== Полезные ссылки == | == Полезные ссылки == | ||
- | * [http:// | + | * [http://tpc.at.ispras.ru/ Основы обработки текстов] — спецкурс для студентов [[ВМиК|ВМК МГУ]] и [[Факультет компьютерных наук НИУ ВШЭ|ФКН ВШЭ]]. Лектор — канд. физ.-мат. наук [http://cs.msu.ru/persons/1372 Турдаков Денис Юрьевич]. |
+ | |||
+ | * [[Участник:Victor Kitov|Китов В.В.]] [[Математические методы анализа текстов (ВМиК МГУ) / 2017|Математические методы анализа текстов]] — обязательный спецкурс для магистров кафедры [[Mmp|математических методов прогнозирования]] [[ВМиК|ВМК МГУ]]. | ||
* [http://nlpub.ru/АОТ Проект АОТ]. | * [http://nlpub.ru/АОТ Проект АОТ]. | ||
Строка 85: | Строка 170: | ||
* [http://serelex.cental.be/ Serelex: Поиск семантически связанных слов]. | * [http://serelex.cental.be/ Serelex: Поиск семантически связанных слов]. | ||
+ | |||
+ | * [http://paraphraser.ru/ ParaPhraser: перефразирование и синонимизация текста]. | ||
+ | |||
+ | * [https://ainlconf.ru/2016/paraphraser Russian Paraphrase Detection Task]. | ||
* [http://www.ruscorpora.ru/ Национальный корпус русского языка]. | * [http://www.ruscorpora.ru/ Национальный корпус русского языка]. | ||
Строка 90: | Строка 179: | ||
* [https://books.google.com/ngrams Google Books Ngram Viewer]. | * [https://books.google.com/ngrams Google Books Ngram Viewer]. | ||
- | * [http:// | + | * [http://www.ospcon.ru/files/media/Kuznecov.pdf Кузнецов С.О. Решетки формальных понятий в современных методах анализа данных и знаний]. |
== Для самоконтроля == | == Для самоконтроля == | ||
[[Media:Exam_quest_ai_mdv.doc|Примерный список вопросов к экзамену. ]] | [[Media:Exam_quest_ai_mdv.doc|Примерный список вопросов к экзамену. ]] | ||
+ | |||
+ | == Примечания == | ||
+ | |||
+ | <references /> | ||
+ | |||
+ | ''К сожалению, незарегистрированные пользователи не видят литературных ссылок из раздела «Демо» (данный дефект системы находится в стадии проработки). Тем не менее, Вы можете найти цитируемый источник, используя вкладку «Просмотр» на данной странице''. | ||
[[Категория:Учебные курсы]] | [[Категория:Учебные курсы]] |
Версия 18:10, 10 февраля 2020
Дисциплина «Системы искусственного интеллекта» для специальности 230105 важную роль в подготовке студентов к самостоятельной профессиональной деятельности в области интеллектуальных информационных технологий. Дисциплина «Системы искусственного интеллекта» для специальности 230105 относится к числу дисциплин специализации и читается в 9-м семестре. Она включает в себя рассмотрение основных вопросов современной теории и практики построения интеллектуальных систем (в первую очередь) символьной обработки и опирается на учебные курсы :«Дискретная математика», «Функциональное и логическое программирование», «Объектно-ориентированное программирование», «Базы данных», «Теория вычислительных процессов и структур», «Компьютерное моделирование», «Распознавание образов и обработка изображений» и «Человеко-машинное взаимодействие». Особое внимание уделяется моделированию языкового поведения человека при работе с базами знаний интеллектуальных информационно-поисковых систем.
Включение данной дисциплины в учебный план заключительного учебного семестра перед преддипломной практикой и дипломным проектированием дает возможность студенту более четко сформулировать задачу на дипломное проектирование с точки зрения перспективных направлений интеллектуальных технологий компьютерной обработки информации.
Автор — Дмитрий Владимирович Михайлов, доцент кафедры Информационных технологий и систем Новгородского государственного университета им. Ярослава Мудрого.
Научный консультант — д.т.н., профессор Емельянов Геннадий Мартинович
Содержание |
Содержание лекционных занятий
Дополнительные разделы по обработке и анализу текстов
Содержание лабораторных занятий
Дополнительные темы работ по моделям представления знаний
Демо
- Отбор фраз текстового корпуса, максимально релевантных исходной:
- Та же задача для случая более чем одной исходной фразы и оценки силы связи слов без синтаксических правил на основе классификации по TF-IDF[1], в том числе:
- Отбор научных статей по степени близости смысловому эталону заголовка и фраз аннотации (реализация на Python 2.7)[1], в том числе:
Инструментальные средства и библиотеки
- Apache OpenNLP — интегрированный пакет инструментов обработки текста. См. также описание пакета на NLPub.
Базы данных
Полезные ссылки
- Основы обработки текстов — спецкурс для студентов ВМК МГУ и ФКН ВШЭ. Лектор — канд. физ.-мат. наук Турдаков Денис Юрьевич.
- Китов В.В. Математические методы анализа текстов — обязательный спецкурс для магистров кафедры математических методов прогнозирования ВМК МГУ.
Для самоконтроля
Примерный список вопросов к экзамену.
Примечания
К сожалению, незарегистрированные пользователи не видят литературных ссылок из раздела «Демо» (данный дефект системы находится в стадии проработки). Тем не менее, Вы можете найти цитируемый источник, используя вкладку «Просмотр» на данной странице.