Go: lstemmer

Библиотека для выполнения стеммнига/лемматизации слов на русском и английском языках.

Характерные особенности

  • Написана на чистом Go
  • Нет внешних зависимостей
  • Высокая производительность
  • Распространяется под лицензией MIT
  • Базируется на реализации алгоритма Портера на Go
  • Имеется встроенный словарь
  • Учет популярных префиксов для слов из словаря и трансформация по тем же правилам

Установка

go get github.com/belfinor/lstemmer

Работа с библиотекой

Подключение

import "github.com/belfinor/lstemmer"

Обработка слова

fmt.Println( lstemmer.Proc("игры") ) // игра

Обработка данных из канала слов

out := lstemmer.Stream(in)

Здесь in - канал входных слов (chan string), а out - канал результатов обработки.

Обработка текста

out := lstemmer.Read(in)

Здесь in - это io.Reader, а out — канал результатов обработки (chan string).

 

01.04.2019









 
архив

подписка