Skip to content

Latest commit

 

History

History
10 lines (10 loc) · 1.51 KB

File metadata and controls

10 lines (10 loc) · 1.51 KB

В ноутбуке совсем нет пометок, поэтому они будут здесь

Архитектурой выступил Fasttext для получения векторного представления слов, за ним идет LSTM и на вершине линейные слои с дропаутом и релу между ними.

Тренировочная выборка была разделена на train/test с пропорциями 90/10

Модель обучается и определяет класс слова. Их 3:

  1. Слово в нижнем регистре;
  2. Слово начинается с заглавной, все остальные в нижнем регистре;
  3. Слово в верхнем регистре;
  4. Последний класс для паддинга.

Наверно добавление класса - не совсем интуитивно понятное решение, но оно было сделано потому что мне хотелось, чтоб модель не примешивала падинг слово к какому-то другому классу. А паддинг нужен для создания батча - ускорения обучения на довольно большой выборке.

На тестовой выборке я пожертвовал своим временем и прогнал сеть на каждом названии и не формировал батчи.