Sparse Hash AI
184 subscribers
192 photos
280 videos
4 files
646 links
AI обогатительная разработка ML месторождений. Осторожно, в канале ведутся подрывные работы!
Download Telegram
Forwarded from Алексей
Автоматическое разбиение потока слов на слоги частично биоподобным образом

Первичные сенсорные области кодируют пары сигналов: текущий и предыдущий.
* см. ортогональное кодирование сенсорных сигналов

Аналогичным образом разделяем входной поток символов на пересекающиеся пары, и формируем из них поток биграмм.

'пыхтелка'

Входной поток символов:
[п, ы, х, т, е, л, к, а]

Выходной поток биграмм:
[пы, ых, хт, те, ел, лк, ка]

Слоги же представляют из себя непересекающиеся последовательности различной длины 2-4.

Собираем статистику по встречаемости каждой биграммы в корпусе текста.

пы       14
ых 31
хт 3
те 219
ел 236
лк 29
ка 584

Каждый символ присутствует в двух соседних биграммах потока. Относим символ к биграмме с большей встречаемостью.

п*
ых
**
т*
ел
**
ка

В результате некоторые биграммы оказываются 'пустыми', на их месте делаем вставку разделителя. После этого сливаем оставшиеся биграммы в выходной поток слогов.

пых
тел
ка

'пых-тел-ка'

Биграммы можно дополнять триграммами, но из-за более низкой частотности их влияние незначительно.

пы       14
ых 31
хт 3
те 219
ел 236
лк 29
ка 584
пых 1
ыхт 2
хте 1
тел 48
елк 9
лка 8

#syllables