Forwarded from Алексей
Автоматическое разбиение потока слов на слоги частично биоподобным образом
Первичные сенсорные области кодируют пары сигналов: текущий и предыдущий.
* см. ортогональное кодирование сенсорных сигналов
Аналогичным образом разделяем входной поток символов на пересекающиеся пары, и формируем из них поток биграмм.
'пыхтелка'
Входной поток символов:
Собираем статистику по встречаемости каждой биграммы в корпусе текста.
Биграммы можно дополнять триграммами, но из-за более низкой частотности их влияние незначительно.
Первичные сенсорные области кодируют пары сигналов: текущий и предыдущий.
* см. ортогональное кодирование сенсорных сигналов
Аналогичным образом разделяем входной поток символов на пересекающиеся пары, и формируем из них поток биграмм.
'пыхтелка'
Входной поток символов:
[п, ы, х, т, е, л, к, а]Выходной поток биграмм:
[пы, ых, хт, те, ел, лк, ка]Слоги же представляют из себя непересекающиеся последовательности различной длины 2-4.
Собираем статистику по встречаемости каждой биграммы в корпусе текста.
пы 14Каждый символ присутствует в двух соседних биграммах потока. Относим символ к биграмме с большей встречаемостью.
ых 31
хт 3
те 219
ел 236
лк 29
ка 584
п*В результате некоторые биграммы оказываются 'пустыми', на их месте делаем вставку разделителя. После этого сливаем оставшиеся биграммы в выходной поток слогов.
ых
**
т*
ел
**
ка
пых'пых-тел-ка'
тел
ка
Биграммы можно дополнять триграммами, но из-за более низкой частотности их влияние незначительно.
пы 14#syllables
ых 31
хт 3
те 219
ел 236
лк 29
ка 584
пых 1
ыхт 2
хте 1
тел 48
елк 9
лка 8