Потестил как api гугла и яндекса и сервис sonix, справляются с распознаванием записей интервью на русском языке. Больше api яндекса понравился, дешевле и апи менее замороченное. А так sonix круче конечно, так как все удобно из коробки и распознавание и редактор распознанного. Подробнее в статье https://medium.com/@ulitin/interview-transcribe-services-comparison-4d305a7bc024

Интересная работа на CHI20 про проблемы переключения между окнами и потенциальное решение.

https://www.youtube.com/watch?v=tOc-SimiG9k

Исследование правда было на разработчиках, но результаты все равно интересные. В среднем 12.1 (±6.6) окон открыто, в 9.5 (±3.0) приложениях. Причем вечером окон открыто больше, чем утром примерно в полтора раза. Несмотря на то что в целом окна находятся довольно долго открытыми, исследователи обнаружили, что разработчики очень часто переключаются и держат окна в фокусе очень малое время. В среднем 15 секунд прежде чем переключится на другое окно. И теперь интересное, несмотря на то что почти у всех респондентов было 2 монитора и больше, результаты показали, что они используют только основной монитор.

Доступна статья в свободном доступе https://www.zora.uzh.ch/id/eprint/186554/1/2020-WindowDimmer-CHI2020.pdf

Итогом исследования стало приложение, которое отсекает темной завесой все лишние окна.

Статья по мотивам моего выступления в прошлом году на ProductSense в Москве про дизайн онлайн опросов https://sense23.com/post/pochemu-vy-nepravilno-delaete-oprosy-i-kak-eto-ispravit?utm_source=tg&utm_medium=cpc&utm_campaign=article&utm_term=makesense23.07

Используйте функцию GEOMEAN() вместо среднего для времени!

Классический способ накосячить считая среднее время выполнения заданий в юзабилити-тестировании или a/b, заключается в том, что считать среднее или медиану в лоб нельзя, так как время это переменная, которая обычно не распределена нормально.

Что это значит не распределено нормально?
Если посмотреть на столбчатую диаграмму, где по-горизонтали будет собственно время в фиксированных интервалах, а по-вертикали сумма значений времени в интервале, то можно увидеть что горб у графика скорее всего будет смещен к нулю. При нормальном распределении горб должен быть по средение. Нормальность распределения частое требование для стат расчетов.

Что будет если забить и использовать среднее или даже медиану?
Результаты будут искажены, по оценкам Соро и Льюиса [1] в среднем на 13% хуже если использовать обычную медиану, но при этом чем меньше выборка, тем больше ошибка. Если посчитать стандартное отклонение, то его значения будут зашкаливать, расчет доверительного интервала покажет огромную ошибку.

Как исправить не нормальное распределение?
Нужно нормировать данные через натуральный логарифм, посчитать среднее и вернуть обратно через экспоненту. Звучит сложно, но в реальности нужно просто использовать функцию GEOMEAN() в любом спредшите.

[1] https://www.researchgate.net/publication/221515892_Average_task_times_in_usability_tests_What_to_report

Прототипы в Figma не годятся для не модерируемых тестов
 
Боль последнего года, когда нужен не модерируемый тест, а модный прототип с анимациями собран в фигме.
Проблема в том, что к фигмовскому прототипу не подключить веб-сервисы аналитики для фиксации целей и действий в прототипе (яндекс метрика с вебвизором, хотджар и многие подобные), так как прототип проигрывается как содержимое тега canvas, поэтому решения которые отслеживают html содержимое не работают.
 
На данный момент существует единственный сервис maze.design, который хоть как-то дружит с Figma прототипами (по всей видимости сам делает скрин с экрана для каждого стейта и отдельно записывает клики и переходы), но работает так себе - нет "видео" записи действий, только отдельные экраны, на которых отмечаются пользовательские клики. Если прототип сложный, например с всплывающими элементами, то клики показываются только в этих фреймах без привязке к общей странице.
 
Так же можно попробовать сконвертить в html c помощью расширения для хрома https://github.com/ccimpoi/ChromedFigma, но на выходе просто страницы с размеченными областями кликов, вся анимация и сложные вещи теряются. Кстати расширение выдает только html странички экраны нужно выгружать из фигмы отдельно.

На конференции UIST 2020 показали концепт системы для обработки результатов качественных исследований, например, интервью.
- он озволяет размечать фраменты с помощью условной логики
- пытается найти следующие фрагменты в транскрипте интервью
- показывает конфликтные фрагменты, когда есть конфликтующие правила
- строит модель, и для следующих интервью из одной серии делает автоматическую разметку!
https://www.youtube.com/watch?v=PdRiyKDuoHA