Кейс-чемпионат Changellenge >> Cup IT 2021

Была поставлена задача обучения классификатора, который должен определять по входным данным (двум пердложениям) следующие классы:

1. entailment (из параграфа 1 следует параграф 2)
2. contradiction (параграф 1 противоречит параграфу 2)
3. neutral (в параграфе 1 и параграфе 2 содержится схожая по смыслу информация)

Данные от Стэмфордского университета представлены в виде хорошо размеченного датасета в котором имеются обучающая/валиационная и тестовая выборки.

Пример данных издатасета:

Корпус был приведен к нижнему регистру и нормализован с помощью библиотеки spaCy, также была отброшена находившаяся в датасете разметка для графовых сетей.

После предобработки:

Лэйблы данных распределены следующим образом:

Первой была обучена простая сверочная модель c 1D свертками:

Результаты CNN:

Второй моделью стала рекуррентная сеть на основе BiLSTM:

Результаты RNN:

Ноутбук с обучением.

Третьей моделью была сделана рекуррентная сеть с изменённой архитектурой:

Результаты BiLSTM + feature generation:

Ноутбук обучения поледней модели.