Главная » Новини » Нейросеть смогла передать простыми словами суть научной статьи

Нейросеть смогла передать простыми словами суть научной статьи

Нейросеть смогла передать простыми словами суть научной статьи

Группа ученых в Массачусетском технологическом институте (MIT) разработала нейронную сеть, которая может читать статьи, заполненные специальной терминологией, и составлять к ним простое резюме в одном или двух предложениях. О своей работе они рассказали в журнале Transactions of the Association for Computational Linguistics.

Нейронные сети в целом испытывают трудности с сопоставлением информации, разнесённой в больших массивах данных (или долговременных зависимостей), но именно это необходимо для «осмысления» научной статьи. Их способность к реальной обработке естественного языка ненамного улучшают и предлагавшиеся до сих пор методы, такие как долгая краткосрочная память (LSTM) и управляемые рекуррентные нейроны (GRU).

Команда MIT разработала альтернативный подход, который базируется не на перемножении матриц (как в большинстве обычных нейросетей), а на векторах, вращающихся в многомерном пространстве. Своей ключевой концепции они дали название Вращающийся Блок Памяти (Rotational Unit of Memory, RUM).

Такая система представляет любое слово в тексте вектором многомерного пространства. Каждое последующее слово разворачивает этот вектор в некотором направлении. В конце этого процесса, полученный вектор или набор векторов транслируется обратно в соответствующую последовательность слов.

«RUM помогает нейронным сетям очень хорошо делать две вещи — лучше запоминать информацию и более точно извлекать её из памяти», — говорит один из участников исследования.

В сравнительных испытаниях система RUM продемонстрировала значительное превосходство над нейросетью на базе LSTM: составленное ею резюме к одной и той же научной статье было гораздо более осмысленным и информативным.

Результаты экспериментов и предложенная в статье модель выложены в открытом доступе на GitHub, благодаря чему многие исследователи искусственного интеллекта и его приложений смогут применить их в своих собственных целях.

Дякуємо: ko.com.ua

Оставить комментарий

Ваш email нигде не будет показан. Обязательные для заполнения поля помечены *

*