Використання методів NLP в інтелектуальних навчальних системах

Анотація

Для ефективної організації освітніх процесів, які підтримують відповідні інтелектуальні навчальні системи, важливо обрати правильні технології, що забезпечували б індивідуалізацію навчання, адекватне сприйняття навчального контенту, так зване «розуміння» системами текстів українською мовою, які надають студенти (опис рішення завдання, відповіді, що надається власними словами, а не обирається з варіантів відповіді тесту, питань до системи тощо), створення прототипів, постійну ітерацію під час розпізнавання та обробки текстів природною мовою, максимальну надійність та ефективність процесів навчання.

Метою статті є дослідження, аналіз різних методів оброблення текстів природною мовою, концепції NLP, розгляд загальних проблем і перспектив розроблення на її основі програмного продукту оброблення українськомовного тексту в онлайн-курсах, які підтримують інтелектуальні навчальні системи.

Методами дослідження є основні методологічні підходи та технологічні засоби для аналізу текстів природною мовою в інтелектуальних навчальних системах, розроблення системи підтримки технології NLP (Natural Language Processing, оброблення природної мови) під час лінгвістичного аналізу текстів українською мовою. Такими методами, зокрема, є: системний та порівняльний аналізи – для виявлення особливостей інтелектуальних та інформаційних (з елементами інтелектуалізації) систем; метод експертних оцінок, що передбачає аналіз літературних джерел й інформаційних ресурсів, проведення інтерв’ю та опитування експертів, а також процеси розробки та тестування інтелектуальних й інформаційних систем.

Новизною проведеного дослідження є аналіз сучасних технологій розробки систем підтримки освітнього онлайн-процесу через організацію процесів сприйняття інформації, наданої студентами природною мовою, результати якого можуть застосовуватися під час розробки власного програмного продукту підтримки освітнього процесу українською мовою, забезпечення підвищення ефективності навчання на основі використання технології NLP у процесі вивчення відповідного навчального контенту.

Висновки. У роботі проаналізовано сучасні методи NLP. Проведений аналіз обумовив вибір методів токенізації, нормалізації, стемінгу та лематизації для використання в інтелектуальних навчальних системах під час лінгвістичного аналізу так званого «вільного» спілкування природною (українською) мовою студентів у процесі вивчення навчального контенту онлайн-курсів.

Під час токенізації українськомовних текстів вирішували такі проблеми, як усунення так званих «злитих» токенів, виправлення орфографічних помилок, визначення спільних префіксів у складних словах та їх впливу на семантику відповідних лексем, визначення спільних префіксів в абревіатурах, приведення слів до їхньої нормальної форми.

Лематизація особливо важлива для української мови (з її великою кількістю відмінків іменників, прикметників, словоформ тощо), потребує використання спеціально сформованих словників предметної галузі, що розглядається. У цих словниках словоформи представлені у вигляді лем (тобто іменники подано в називному відмінку).