Lil Bug Hunters - QA
2.02K subscribers
24 photos
11 videos
23 links
Hi! I’m Arman, a Senior Mobile QA.
Here, I share various tips, ideas, and interesting topics about QA and testing.
Download Telegram
Всем, привет) Написал статью про Жизненный цикл activity для QA, пока писал узнал много нового или неочевидного о том, что система может вытворять с приложением, так что кажется, что будет полезно для всех 🌚

Обсудил все аспекты от того зачем оно вам вообще знать, до реальных сценариев, когда без знания жц вы можете пропустить краш на прод!

Статья также будет полезна также для тех, кто уже знает многое, но хочет узнать почему тестирование с don't keep activities и повороты экранов это не одно и тоже или почему надо спрашивать у разработчика перехватываются ли в вашем приложение какие-либо события смены конфигурации.

Плюс написал приблуду - тестовое приложение, которое логирует события жц, для ваших экспериментов)

https://habr.com/ru/articles/830198/
1🔥23❤5👍2⚡1😁1
Lil Bug Hunters - QA
Как написать баг репорт, чтобы тобой гордились папа и мама? Тема "Заголовок" Все знают формулу заголовка "Что?, Где?, Когда?" - но на деле так можно легко составить ужасный заголовок: "Всё виснет в приложении при пуше" ✦ Всё виснет - тут проблема в…
Недавно разбирал баг-репорт одного начинающего тестировщика и вспомнил, что заголовок мы обсудили, а вот про шаги забыли.

Так что сегодня тема "Шаги"

Про то, что нужно писать окружение, прикреплять скринкасты и логи я писать не буду. Это и так миллион раз писалось всеми.

Начну с общей рекомендации:
✦ Ваше описание должно быть понятно без скриншотов и без видео.

ДА! Скриншоты и видео нужны, но они для того, чтобы разработчику или другому QA можно было заметить детали, которые вы пропустили, или показать какое-нибудь сложное действие или сложно описываемый элемент. Но точно не для того, чтобы расшифровывать ваши шаги и фактический результат.

Правила хорошего репорта:

✦ Шаги должны быть действиями, которые вы делаете, а не результатом к которому нужно прийти, т.е. вместо "вернуться назад" должно быть "нажать кнопку назад". Да, иногда даже так всё понятно, а иногда воспроизведение зависит от конкретных действий.
✦ Отсюда следующее правило – не предполагайте, что остальные будут выполнять действия также как и вы. Старайтесь меньше сокращать и сжимать несколько действий в одно слово. Так можно делать только, если путь один или вы уверены, что от пути выполнения ничего не зависит, в этом случае лучше явно прописать, что способ не важен.
✦ Не используйте термины, которые не приняты в команде, а при использовании чего-то очень редкого лучше расписать, что это такое.
✦ Также как и в заголовке в фактическом и ожидаемом результате нет места абстрактным выражениям таким как "ломается", "неправильно", "как надо", "не работает" и т.д. Здесь нужно описать, что произошло и что должно было произойти. Например: вместо "ломается экран комментариев" пишем "экран комментариев не отрисовался на половину, видно серый фон".

В комментариях скину пример плохого кейса, а вы попытайтесь понять о чём речь)
❤14👍6🔥5⚡2
На канале уже 1000 подписчиков! 🌚 🌚 🌚

В последнее время не так много постов, готовлю много всяких крутых штук, одна из них скоро будет – крутой доклад на Heisenbug 😎

Расскажу почему пуши и уведомления не одно и тоже, в чём их тайна, кто жулик, который ворует ваши уведомления и как его прижучить.

(там написано EN, но это опечатка рассказывать буду на русском)
1🔥13⚡6❤5👍3🤯1
Также в честь 1к держите мини топ тем, которые набрали больше всего шэрингов на канале. Да, смотрю на шэринги, а не на лайки, так как он означет, что инфа полезная и её можно сохранить или поделиться с другом!
https://t.me/LilBugHunters/44 - зачем нужен профайлер в android studio

https://t.me/LilBugHunters/61 - регулярные выражения для QA

https://t.me/LilBugHunters/67 - как понять в баге виноват фронт или бэк?

https://t.me/LilBugHunters/73 - вопросы, на которые нужно ответить, при заведении бага
❤12👍8⚡3🔥1
Хорошо ли вы знаете релизный цикл вашего приложения или сайта? Возможно, вы понимаете, когда и как часто происходят релизы, но этого недостаточно!

Релизный цикл – это не только про день релиза, релизный цикл – это также:
✦ правила влития в мастер
✦ фризы на влитие перед релизами
✦ раскатка на стейдж и бета-пользователей
✦ продолжительность частичной раскатки (время до 100%)
✦ для мобильных приложений: когда происходит отправка в сторы и время ревью

Почему это всё нужно знать QA?
✦ зная релизный цикл, вы сможете точно оценить, когда новый код или фикс дойдёт до пользователя, и своевременно реагировать на ошибки.
✦ а после фикса будете знать, когда ждать, что всё вернётся в норму
✦ будете понимать, когда можно запустить А/Б по фиче
✦ при наличии на проекте фризов и правил на влитие вы будете понимать, когда какой-то код не успевает в релиз и оповестить команду
✦ если фичи включаются с бэка, вы будете точно знать, когда версия развернута на 100% пользователей и можно активировать новую функциональность
❤6👍5💯4⚡2
Lil Bug Hunters - QA
На канале уже 1000 подписчиков! 🌚 🌚 🌚 В последнее время не так много постов, готовлю много всяких крутых штук, одна из них скоро будет – крутой доклад на Heisenbug 😎 Расскажу почему пуши и уведомления не одно и тоже, в чём их тайна, кто жулик, который ворует…
Ребят! Кто хотел послушать мой доклад про пуши, сегодня у Heisenbug community day и вы сможете послушать и позадавать вопросики бесплатно (нужно только зарегистрироваться)

Программа открывается в 15 по МСК, мой доклад в 16:10
Будет круто, если придёте!

https://heisenbug.ru/registration/personal/
🔥13❤6⚡2👍2
Всем привет! Если у вас mac и вы давно заглядывались на Shortcuts, то тот самый момент настал!

Написал статейку-туториал как автоматизировать себе команды adb для установки приложений с компа на android в два клика.

В конце статьи ссылки на эту команду, а также на отправку файла на устройство и выгрузку последних логов 🌚

Вообще статьёй хотел вдохновить, чтобы вы тоже посмотрели вокруг себя – какие у вас есть рутинные задачки, которые можно автоматизировать)

Можете, кстати в комментах поделиться, что из рутинного в работе вас бесит каждый день

https://habr.com/ru/articles/852114/
👍12🔥9❤3⚡2👎1
Вот почти каждый знает про снифферы, и пользовался charles, proxyman, fiddler, смотрели, прерывали и подменяли там API запросы.

Но недавно я решил познакомится с WebSocket и для меня было сюрпризом, что никакой из этих снифферов не умеет нормально работать с WebSocket. Всё что они умеют это только показывать сообщения, которые там ходят. Charles даже с этим кое-как справляется)

А что насчёт перехватывать, подменять, использовать автозамену для сообщений в WebSocket?? А отправлять свои сообщения в него?

Второй сюрприз был для меня, что в интернете практически нет информации о том как это делать или какие инструменты это умеют. Я вообще сначала подумал, что таких инструментов вообще нет.

Короче, фикшу эту непонятную ситуацию и пишу об этом в интернете! Я закопался в инструменты для проксирования и сниффинга трафика, чтобы этого не пришлось делать вам. 🌚

И нашёл два инструмента, которые умеют работать с WebSocket, перехватывать, подменять, отправлять сообщения в него. (Скорее всего их больше, но эти двое самые популярные)

✦ BurpSuite
✦ ZAP Proxy

Первое имеет бесплатную версию, второе вообще опенсурсное иии у обоих интерфейс и UX оставляет желать лучшего)

Поэтому я написал доку как их настраивать и как в них работать с WebSocket. Писал в открытой базе знаний для тестирования Библии QA, чтоб после меня ребята уже не искали инфу по крупицам)

https://vladislaveremeev.gitbook.io/qa_bible/seti-i-okolo-nikh/socket-websocket/testirovanie-websocket-na-klientakh

Дока подразумевает, что вы уже работали со снифферами, и знаете как устанавливать сертификаты.
🔥27❤13👍4✍2⚡1
This media is not supported in your browser
VIEW IN TELEGRAM
❤17💅3🌚2💘1
А чтобы мой пост не был совсем бесполезным, небольшое наставление на будущее. Чтобы в конце года, квартала или перед дедлайном не гореть в огне из-за случайных багов, не проходите мимо! Не проходите мимо бага чужой команды — отнесите его заботливо им. Не проходите мимо нелогичных моментов в требованиях — всегда подсвечивайте, если видите риски. ПМ, аналитик, разработчик — тоже люди и могли всё не предусмотреть. Если чего-то не хватает, лучше сказать об этом в начале, чем перед запуском узнать, что без этого катить нельзя, и потом в спешке тестировать то, что вы на самом деле заметили месяц назад, но решили, что раз этого нет в требованиях, значит, не нужно. Просто будьте внимательны и любите то, что вы делайте и тогда вы будете крутыми и классными и вами будут восхищаться)

С наступающим ещё раз и с Новым годом тем, кто читает это уже в новом году! 💫
❤29💯9🎉5⚡3👍2
Ну что же, этот день настал! Я наконец дописал статью, которая поможет маленьким и большим охотникам за багами наконец разобраться с пушами!

Я честно искал что-то подобное в интернете, но никто об этом не пишет. Да, есть несколько статей описывают как работают пуши, но глубже в проблему, почти никто не погружается!

Я постарался учесть всё самое главное, что надо знать о пушах:
✦ как пуши работают
✦ почему уведомление и пуш это не одно и то же
✦ почему пуши не доходят и кто в этом виноват
✦ как узнать, что у вас есть проблемы с пушами
✦ и как их спасти, когда узнали

Статья будет полезна не только для QA, но и всей команде, так как многие особенности работы пушей нужно раскапывать долго и упорно, чтобы найти. А я сделал это за вас, и постарался везде, где можно оставить ссылки на документации.

Если статья вам понравилась мне будет очень приятно, если вы поставите плюс на Хабре и поделитесь с командой!

https://habr.com/ru/articles/811297/

p.s. посмотрите как я заморочился над обложкой 🌚
❤25👍16🔥6🌚3⚡2🍌2🤝1
Недавно друг купил себе вот это кнопочное чудо на андроиде. И показал мне один интересный кейс. Опустим тот факт, что кружочки он теперь записывает из под подбородка. 😀

А кейс заключается в том, что система сделана так, что физические клавиши эмулируют работу обычной клавиатуры и самое главное с помощью них должна работать навигация в приложениях.

Однако, телеграм почему-то решил забить на доступность навигации и провалиться в чат с клавиатуры невозможно (проверил как просто telegram так и telegram X).

Понятно, что в контексте смартфонов, это довольно редкий кейс, хоть и проверить статистику девайсов не будет лишним.

А вот в контексте веба, десктоп приложений и даже игр удобная навигация с помощью клавиатуры может сильно повысить доступность и удобство использования ваших сервисов. Так что не нужно пренебрегать такими проверками, особенно если у вас большое количество пользователей.

К слову в веб версии телеграмма примерно та же проблема.
🔥10🫡9👀4😁2❤1👍1😱1
Всем привет! Простите за пост!

Почему простите? А потому что тут недавно оказалось, что я вам тут дичь втираю! (смотрите скрин ниже)

Сначала, я хотел тут рассказать про то почему ребята не правы и почему компании вставляющие палки в колёса тестирования вместо того, чтобы дать нормальные права и инструменты, только подвергают себя риску и делают весь процесс почти бессмысленным. Но я подумал что в этом нет смысла. Мне кажется всем это и так понятно. (но если хотите можем обсудить).

Я хочу отметить другое важное качество, которое должно быть у каждого инженера (да, не обязательного QA, вообще у любого члена команды).

Вы должны уметь признать ошибку,

а для QA ещё критически важно признать ошибку как можно скорее, а не дать багу, который вы поздно заметили уйти в прод "потому что стыдно" или продолжать бестолково спорить с разрабом, что "это баг" хотя он тебе уже показал документацию и ПМ подтвердил, что всё ок.

Нет ничего страшного признать, что был не прав, поспешил с выводами или не знал как работает. А вот что стрёмно и стыдно это пытаться вывернуться и загазлайтить того, кто наоборот хотел тебе помочь.

К слову о ситуации на картинке, мой собеседник вероятно не знает как работают прокси и снифферы и что такое ssl пиннинг, что если не пытаться расшифровывать трафик, то он будет спокойно проходить через сниффер и на него можно применить троттлинг. Я решил больше ничего не писать им в ответ пусть останутся уверены в своей правоте и дальше (до первого собеса).

(Отмечу что при большом желании можно, конечно, сделать костыль, который будет детектить именно факт прокси, но как будто в этом смысла примерно ноль и врядли кто-то такое делает)
10😁10🤯5👍4🤣2😭2
Привет! сегодня поделюсь мини-кейсом и своими размышлениями по поводу ИИ, НО не спешите закрывать канал, это не банальный кейс "ии мне написал тесткейсы" (что я как раз считаю ИИ не может нормально писать пока что).

Самые бесячие баги – это плавающие баги, но ещё хуже когда это плавающий баг который зависит от внешнего приложения. Например, взаимодействие с клавиатурой или шаринг файлов. Один такой баг попался и мне, он воспроизводился у меня, но не у разработчика. У меня были предположения, что могло быть причиной, но зайти в глубь стороннего приложения я не мог (теоретически мог бы, но заняло бы кучу времени).

И тут я подумал почему бы не написать своё приложение, которое бы иммитировало работу стороннего решения, но теперь всё было бы под моим контролем с гибкими параметрами. Но это бы тоже заняло много времени, так как я не программист, но!

Но я, мечту свою лелея,
Решил проблему гениально
Я подключаюсь, к Галилео ChatGPT

Я за 15 мин, с небольшой отладкой получил работающее приложение и какого было моё удивление, когда плавающий баг стал стабильным! Разрабу очень понравилось решение, хотя, кажется что он один из самых скептиков по поводу ИИ 😃

Почему мне нравится такое использование ИИ, кроме очевидного, ускорения фикса, избавление от лишней работы и т.д. это также сохраняет приватность вашего продукта, потому что вы не отправляете никакую NDA инфу стороннему сервису, но получаете инструмент который решает ваш проблему.

_____________

Как еще можно использовать ИИ чтобы не шарить ему приватные данные? В первую очередь это конечно же всяческая автоматизация процессов, но не с использованием ИИ для автоматизации, а чтобы ии написал продукт, который вы можете использовать на проекте. Сейчас они достаточно хороши чтобы быстро и почти с первого раза писать полноценные тулзы, ботов, генераторы данных и всё в этом духе.

Мою самое любимое, я перестал пользоваться всякими странными сервисами типа "склеить pdf онлайн" и даже "переконвертировать mov в mp4. Я просто собрал себе свою локальную тулзу, которая это делает, и что круто не надо никаких программных средств и чего-то такого, почти всё, что угодно можно написать на html+js и запускать в браузере.

Второе это помощь в написании автотестов, в особенности всякой сложной логики, например, матчеров для espresso. Тут это еще и инструмент для обучения, так как может показать вещи на практике, о которых иначе бы пришлось долго копаться в документации фреймворка.

Тут еще, конечно миллион и одно применение, можно использовать локальные модели, можно делать комплексные инструменты с использованием разных моделей (например детектирование что на изображении для автотестов и передача этого в другую модельку для валидации и т.д.).

В общем если ты знаешь, что тебе нужно и представляешь как это можно сделать, то с ИИ это превращается во что-то более реальное, чем могло бы быть пару лет назад.
1🔥26❤7🦄2
Поговорим про работу поддержки, почему это должно волновать QA, и почему важно заняться выстраиванием совместной работы поддержки и QA?

Тема актуальна особенно в средних и больших продуктовых командах, где нужно выделять отдельную команду для поддержки из-за масштаба.

Недавно я столкнулся с несколькими примерами плохой организации поддержки и поэтому решил написать этот пост.

Вот представьте, реальный кейс, столкнулся не лично я, а друг:

Телефонный оператор не мог подтвердить новые данные пользователя, хотя со стороны пользователя всё делалось корректно, и он даже в приложении видел корректные данные, но поддержка продолжала утверждать, что она "видит старые данные" а значит виноват пользователь. На этом всё, никакие уговоры, что это с их стороны проблемы и просьбы передать проблему технической команде никак не действовали, поддержка закрывала тикет, а следующему агенту приходилось всё объяснять сначала.

Чувствуте? Что-то явно не так, поддержка не может решить проблему, но и дальше никуда её не передаёт.Так как же должна работать поддержка и почему команде QA нельзя оставлять это на самотёк?

QA команда должна настроить процессы вместе с командой поддержки и в целом командой продукта, чтобы избежать проблем в будущем и чтобы баги не оставались незамеченными из-за того, что они никогда не доходят до команды разработки.

1. У поддержки должно быть чёткое понимание продукта и его основных фич, а также они должны быть в кусе всех новых фич, a/b экспериментов и запусков, чтобы знать, что отвечать пользователям и главное понимать, когда что-то работает не так как ожидается.
2. Поддержка должна иметь четкие инструкции, что делать, чтобы разобраться в проблеме, например, она должна запрашивать скриншоты, скринкасты и логи, если понимает, что пользователь столкнулся с технической проблемой.
3. У поддержки должны быть инструменты поиска, группировки и сохранения обращений и их привязка к задачам или багам. Это позволит вовремя заметить критичные массовые проблемы. Проблема может считаться массовой даже, если по ней обращаются раз в несколько дней. Команда QA и разработки должна четко понимать сколько обращений по проблеме, чтобы правильно выставлять приоритеты.
4. Если поддержка не находит уже заведённых похожих проблем только после этого она должна передавать новый тикет как проблему команде QA или разработки. Но главное, что она ДОЛЖНА это делать.
5. Приоритет поддержки - решение проблемы, а не закрытие тикета.
6. Единственный вариант, когда поддержка не передаёт проблему команде QA это, когда она либо знает как её решить, либо она 100% уверена, что это не баг а фича.
→ Тут ремарка, что если даже, если это фича, но пользователь обратился, значит есть проблемы с UX и по хорошему тут нужен другой процесс с фидбеками продуктовой команде, но это отдельная история.

Тут еще можно подискутировать на тему того или иного пункта.

Но глобально правила такие – не хочешь, чтобы на проде плодились тонны неизвестных багов – настрой коммуникацию между поддержкой и продуктом и не давай поддержке права сливать проблемы пользователей в небытие.

В комментариях еще один пример длиннее, с которым я уже столкнулся сам.
👍12💯2✍1🔥1🤔1
Разыгрываю бесплатный билет на конфу Podlodka QA Crew (1.09-5.09), где я буду выступать на следующей неделе с докладом о тестировании WebSocket на клиентах.

Разыгрываю среди комментаторов поста. Тема конференции инструменты тестирования, так что напишите в комментариях

Какие вы знаете неочевидные или непопулярные инструменты, но которые очень полезны для QA, и как вы их используйте.

напишите объязательно + или "участвую" (чтобы я понял, что участвуете, а не просто комментите)

Итоги вечером в пятницу.

(Прикрепил инфу с моим докладом, но перейдите на сайт там еще много интересных выступлений будет)
👍11🔥9❤3💯3🦄1
This media is not supported in your browser
VIEW IN TELEGRAM
Результаты розыгрыша!
Было 17 участников!

Спасибо всем за участие, некоторые из инструментов я даже не слышал, будет интересно попробовать!

А победителя смотрите на видео! (это для интриги 😄).

Скоро свяжусь с победителем в лс.

Всем хорошего пятничного вечера и выходных!
👍6🌚4🔥2❤1🍌1🫡1💅1
Был неделю назад на митапе Яндекса в Ереване, где они рассказывали, как запускали полёты на вертолётах в такси!

Из базовой базы: если хочешь быстро запустить MVP новой фичи на крупном и сложном проекте, то без хаков и временных решений не обойтись) Так ребята использовали систему «перекрытий дорог», чтобы разрешить заказывать вертолёт только на вертолётные площадки, и переиспользовали тариф шаттлов, чтобы можно было бронировать заранее и всё в этом духе.

Из интересного, про тестирование, они рассказали про систему AIST, из названия уже понятно, что речь про AI. Система "учится" на ручных прогонах проводить UI-тесты, сравнивая semantic tree для валидации результатов. Но тут что-то много сомнений, как будто бы такое можно было сделать и без ИИ, сделать какой-нибудь фреймворк. Единственное, может, ИИ способен разобраться в ситуациях, когда очень большая вариативность интерфейсов.

Не уверен, а что вы думаете? Если есть кто из Яндекса, может, я что-то не так понял, поправьте в комментариях)
💅11🤔5❤3👍3⚡2👎1
Самый неочевидный и спорный, может быть, момент, но который должен принять, понять и использовать каждый QA, который не хочет оставаться просто тестером.

Нужно понимать потребности бизнеса и всегда помогать и всячески способствовать тому, чтобы запустить фичу/продукт в нужное время с максимально возможным качеством.

Что я имею в виду: если для бизнеса нужно запустить эту фичу завтра, нельзя просто сказать: «У меня нет времени это тестить, значит, завтра не запускаем». Или: «С этим багом нельзя релизиться, возвращайтесь, когда пофиксите».

А что нужно? Нужно искать выход из любой ситуации: в первую очередь, конечно, подсветить риски, во вторую — предложить те меры, которые можно успеть сделать за короткий промежуток времени.

Например: в первом случае можно предложить провести смок по фиче или попробовать найти помощь в других командах, или, если чек-листы или тест-кейсы были написаны заранее, можно даже привлечь разработчиков к тестированию!

А если найден критический баг, но на исправление нет времени, то, вместо того чтобы отложить релиз, можно предложить какую-то заглушку или обходной путь для проблемного кейса, который можно быстро добавить, а потом уже править.

То есть вместо «Нет» нужно говорить так: "Да! Но есть риски, вот что можем придумать, чтобы их уменьшить ...".

Тестирование должно помогать, а не быть преградой, от которой хочется избавится!
🔥22👍10❤4💯4⚡1🤔1🍌1