Функциональное программирование (практикум, Д.В. Михайлов)

Материал из MachineLearning.

Текущая версия

Приводятся общие сведения и рекомендации по решению задач нечислового характера с применением функциональных языков на примере известных реализаций языка Лисп для персональных ЭВМ. Содержатся типовые задания, позволяющие приобрести навыки написания и отладки функциональных программ при построении интеллектуальных систем различного назначения.

Практикум предназначен для студентов специальности 230105 «Программное обеспечение вычислительной техники и автоматизированных систем», а также других, в учебных планах которых предусмотрены аналогичные дисциплины.

Автор практикума — Дмитрий Владимирович Михайлов, кафедра Информационных технологий и систем Новгородского государственного университета им. Ярослава Мудрого (НовГУ).

Научный консультант — д.т.н., профессор Емельянов Геннадий Мартинович

Представленный здесь вариант практикума в 2020 году лёг в основу учебного модуля «Функциональное и логическое программирование» по направлению подготовки «Информатика и вычислительная техника» (бакалавриат) в НовГУ. Актуальная редакция материалов учебного модуля представлена на портале «Дистанционные образовательные технологии обучения в НовГУ» (требуется регистрация). Смотри также Лабораторный практикум по логическому программированию.

Лабораторный практикум по функциональному программированию (PDF, 763КБ)

Установочные лекции

• Введение в концепцию функционального программирования.

• Базовые функции языка Лисп.

• Описание функций в Лиспе.

• Рекурсивные функции.

• Методы разработки функциональных программ.

• Функции высших порядков.

• Концепция виртуальной Лисп-машины.

• Символы и их свойства. Определение и модификация списка свойств.

• Символы и их свойства. Базы данных и обработка символьной информации.

• Средства императивного программирования в Лиспе.

• Ассоциативные списки.

• Представление знаний в интеллектуальных системах. Фреймовая модель и ее реализация на Лиспе.

• Представление знаний в интеллектуальных системах. Сетевая модель и ее реализация на Лиспе.

• Вычисление в Лиспе.

• Деревья.

• Макросы.

• Лисп-системы и Лисп-иашины.

Комментарии и дополнения к лабораторным работам

• Описание и вызов функций в языке Лисп.

• Описание простейших рекурсивных функций в языке Лисп.

• Методы разработки функциональных программ.

• Локальные определения.

• Функционалы.

• Простейший пользовательский интерфейс.

• Работа с динамическими базами данных.

• Интерфейс на Естественном Языке к динамической базе данных.

Расчетно-графическая работа

• Методические указания к выполнению расчетно-графической работы.

Демо

• Динамическая база данных словаря основ слов русского языка (muLISP) .

• Организация пользовательского интерфейса (newLISP-tk) .

• Выделение составляющих образа исходной фразы в виде ключевых слов и их сочетаний совместным использованием синтаксического разбора фразы и разбиения её слов на классы по значению меры TF-IDF (Python 2.7)^[1].

• Отбор научных статей по степени близости смысловому эталону заголовка и фраз аннотации (Python 2.7)^[1], в том числе:
  • вариант с сортировкой анализируемых фраз по степени близости эталону и выделением ключевых сочетаний слов на основе меры TF-IDF^[1], включая построение иерархии статей на основе оценок взаимной смысловой зависимости по аннотациям и заголовкам с учётом найденных ключевых сочетаний слов^[1];
  • вариант с построением иерархии статей на основе оценок их взаимной смысловой зависимости и последующим оцениванием взаимной близости документов тематического корпуса, относительно которых достигалась наибольшая близость фраз эталону^[1], а также численным оцениванием значимости каждого такого документа при подборе пары взаимно релевантных^[1].

• Анализ документов тематического корпуса на предмет включения в состав референтного на основе встречаемости слов из аннотаций статей по заданной предметной области (реализация на Python 2.7)^[1], а также оценивание качества отбора документов в референтный корпус (реализация на Python 2.7 и (частично) на Python 3.10)^[1].

• Применение нейросетевых моделей BERT для оценки смысловой близости рефератов научных статей (реализация на Python 3.10 + блокнот Jupyter Notebook и результаты экспериментов).

• Применение нейросетевых моделей BERT для ранжирования коротких текстов по близости эталону на основе оценки взаимного сходства их смыслов (реализация на Python 3.10 + блокнот Jupyter Notebook и результаты экспериментов), в том числе вариант с дообучением моделей ruSciBERT и SciRus-tiny для задач анализа смысловой близости отдельных предложений (Sentence Similarity) и текстов (Textual Similarity)^[1].

• Расширение аннотаций научных статей заданной коллекции предложениями их вводных и заключительных частей при взаимном ранжировании по близости смысловому эталону (реализация на Python 3.10 + блокноты Jupyter Notebook и результаты экспериментов), в том числе вариант с возможностью удаления предложений из аннотации с целью максимизации её смысловой связности.

• Расширение аннотаций научных статей предложениями их вводных и заключительных частей с максимизацией смысловой связности коллекции в целом (реализация на Python 3.10 — блокноты Jupyter Notebook и результаты экспериментов), в том числе:
  • вариант без учёта и фиксации промежуточных шагов расширения исходной аннотации;
  • разные варианты расширения, языковая модель sci-rus-tiny^[1].

• Кластеризация многомерных векторов эмбеддингов для текстов «аннотация + заголовок» научных статей методом k-means, оценка близости эталонному варианту передачи смысла и построение траектории навигации пользователя по подборке (реализация на Python 3.10 + блокнот Jupyter Notebook и результаты экспериментов), в том числе со сравнением различных методов кластеризации (помимо k-means) применительно к эмбеддингам анализируемых текстов.

Полезные ссылки

• CLISP — an ANSI Common Lisp Implementation.

• newLISP — Home.

• Введение в Python.

• Уроки по языку Python.

• Python.org.

Для самоконтроля

• Примерный список вопросов к экзамену.

• Типовые экзаменационные задачи.

Примечания

К сожалению, незарегистрированные пользователи не видят литературных ссылок из раздела «Демо» (данный дефект системы находится в стадии проработки). Тем не менее, Вы можете найти цитируемый источник, используя вкладку «Просмотр» на данной странице.