🕹 Z80-μLM: языковая модель на процессоре 1976 года
Есть тут олды, что помнят ZX Spectrum? :)
Энтузиаст запустил нейросеть на 8-битном Z80 процессоре с частотой 4 МГц. Модель с 2-битными весами упакована в 40 КБ .COM-файл под CP/M.
Как это вообще работает:
2-битная квантизация весов: {-2, -1, 0, +1}, 4 веса на байт
Триграммное хеширование входа в 128 бакетов (работает даже с опечатками!)
16-битная целочисленная арифметика, никаких float
~100K операций на каждый сгенерированный символ
Что умеет:
Чатбот с "зачатками характера" — отвечает HI, MAYBE, WHY?, AM I?
Игра "20 вопросов" — угадывает слона за 5 ходов
Проект уровня Proof of concept: показывает насколько маленькой может быть "нейросетевая личность"
Образовательный проект по QAT и низкоуровневой оптимизации
Такой вариант ретро-ностальгии с современным лицом
Осталось версию для МК-60 наколдовать :)
#Z80 #Spectrum #Retrocomputing
———
@tsingular
Есть тут олды, что помнят ZX Spectrum? :)
Энтузиаст запустил нейросеть на 8-битном Z80 процессоре с частотой 4 МГц. Модель с 2-битными весами упакована в 40 КБ .COM-файл под CP/M.
Как это вообще работает:
2-битная квантизация весов: {-2, -1, 0, +1}, 4 веса на байт
Триграммное хеширование входа в 128 бакетов (работает даже с опечатками!)
16-битная целочисленная арифметика, никаких float
~100K операций на каждый сгенерированный символ
Что умеет:
Чатбот с "зачатками характера" — отвечает HI, MAYBE, WHY?, AM I?
Игра "20 вопросов" — угадывает слона за 5 ходов
Проект уровня Proof of concept: показывает насколько маленькой может быть "нейросетевая личность"
Образовательный проект по QAT и низкоуровневой оптимизации
Такой вариант ретро-ностальгии с современным лицом
Осталось версию для МК-60 наколдовать :)
#Z80 #Spectrum #Retrocomputing
———
@tsingular
🔥37👍18❤9