Иногда люди прекращают тестировать, потому что они ленивы, имеют плохие намерения, или не мотивированы. Иногда бизнес-причины для релиза настолько важны, что ни одна вообразимая проблема не отменит релиз, поэтому что бы мы ни нашли, это не имеет значения. Может, приложение крашится или перестает отвечать, но одинаковые результаты можно получить и в случае, когда приложение особенно стабильно – “ну, вроде все ок”. Мы перестаем лупить продукт палками, когда из него начинают сыпаться конфеты – мы заканчиваем тестировать, как только обнаруживаем первую достаточно серьезную проблему.
На рисунке 1а приведено описание процесса тестирования, использующегося на сегодняшний день. В данном случае разработка ПО находится на стадии завершения и передано на проведение тестирования. Тестирование является циклическим процессом и заканчивается, когда результаты тестирования оцениваются как положительные. Однако процесс доработки ПО при данном подходе может затянуться на длительное время.
План тестирования приложения и других программных продуктов
Вы захотите использовать дымовое тестирование при проверке проблем с программным обеспечением. Члены команды делают это перед добавлением обновлений или новых функций. Регрессионное тестирование проводится при добавлении новых функций и обновлении программного обеспечения. Хотя и регрессионное, и модульное тестирование являются видами тестирования программного обеспечения, они имеют совершенно разные цели в цикле разработки.
Таким образом вы сможете найти более релевантных респондентов, качество ответов которых будет выше, чем у просто случайных людей. Мы прекращаем тестировать, если результатом продолжения тестирования станет проблема – например, этическая – для конкретного человека. Иногда людям все равно, получат ли они дополнительную информацию, или они просто не хотят знать, что происходит в приложении. Приложение может быть первым наброском, который скоро будет заменен.
Когда нужно остановить тестирование
Крупномасштабные проекты разработки требуют автоматизированных инструментов тестирования программного обеспечения. Ни один вид услуг автоматизированного тестирования не может выявить все потенциальные проблемы. Хотя регрессионное тестирование является ценным инструментом на протяжении всего цикла разработки, оно также имеет некоторые ограничения. Одним из лучших преимуществ регрессионного тестирования является возможность немедленно обнаружить любые ошибки или проблемы, связанные с новой функцией или изменением кода. Возможность быстро выявлять проблемы означает, что программное обеспечение может быть исправлено и быстро возвращено клиентам.
Регрессионное тестирование также полезно в качестве стратегии обслуживания во время простоя в разработке. Когда вы работаете над запуском новых программ или программного обеспечения, регрессионные тесты часто могут гарантировать, что вы не пропустите никаких проблем, которые могут возникнуть после запуска новых функций. При всем желании нельзя учесть все нюансы использования, воссоздать ту среду, в которой будет использован продукт. Поэтому на данном этапе необходимо сделать акцент на том, что говорят пользователи. Ваш продукт становится частью жизнедеятельности людей, поэтому устранение дефектов и их поиск проводятся быстро, но тщательно. Не всегда конечный пользователь может предоставить информацию о том, что он сделал для получения ошибки, поэтому за повторение дефекта берется QA-команда.
Гипотезы для проверки
Наступает самый интересный и сложный момент — его проведение. Лично мне всегда помогает написанный сценарий или гайд. Его не нужно придерживаться на 100%, так как модерируемое тестирование даёт больше возможностей для манёвра, но с ним всегда проще вернуться в точку на которой закончили и не запутаться в повествовании. «Вариант А лучше» или «пользователь использует такую-то фичу» – не самые лучшие формулировки. Они могут подойти для A/B тестирования или для подтверждения одного точечного решения.
- Советую также обобщать и поднимать их на уровень выше.
- Остановка может произойти и просто из-за того, что напряжение достигло своего пика.
- Эти диаграммы помогают тестировщикам понять систему в более широком смысле; составлять стратегии тестирования, которые включают все эти входящие и исходящие связи с другими объектами.
- В подобных случаях остановка в тестировании – это обязательный и важный момент для тестировщика.
- Ниже я перечислил эвристики и для каждой из них указал некоторые вопросы, при помощи которых можно проверить правомочность её использования.
Однако данные, полученные в ходе модульного тестирования, часто бывают полезны при разработке сценариев регрессионного тестирования. Санитарное тестирование — это подмножество регрессионного тестирования, но это не одно и то же. При тестировании программного обеспечения тестирование на вменяемость проводится перед регрессионным тестированием. Чем больше тестов вы проведете, тем больше это будет стоить.
Причина для остановки: «Есть сомнения? Остановись!»
Жизненный цикл регрессионного тестирования позволит вам добраться до корня любых проблем и позволит команде разработчиков внести соответствующие коррективы. Автоматизированные инструменты регрессии обычно рекомендуются для больших, сложных приложений, созданных на коммерческом или корпоративном уровне. Ручное тестирование эффективно только в небольших, простых организациях — и даже тогда оно, как правило, проводится только из-за бюджетных ограничений. Самый подходящий метод тестирования прототипа — проведение закрытого бета-тестирования, когда продукт тестирует продукт малое количество людей, которые в итоге будут использовать его после релиза. Это помогает учесть пожелания конечных пользователей. Невозможно найти единый правильный эталонный метод решения.
Полный цикл услуг по контролю качества и тестированию программного обеспечения и электронного оборудования. Вся документация по тестированию, подлежащая сдаче (например, отчет о тестировании), подготовлена, проверена и передана. Критерий выхода позволяет установить, какой объем тестирования следует считать достаточным. Определяется он по завершении цикла тестирования и включается в план. Это набор условий или активностей, которые должны быть выполнены, чтобы тестирование можно было назвать законченным.
Критические ошибки
Возможно, пауза нужна, чтобы что-то выяснить или спланировать, а может, чтобы поразмышлять о том, что мы уже сделали, с целью выяснить, что нам делать дальше. Основная идея в том, что нам нужен перерыв, и позже мы вернемся к продукту отдохнувшими и со свежим взглядом. Задача тестировщика – сделать так, чтобы до пользователя добралась наиболее качественная версия задуманного ПО.
«Когда, на каком этапе и как прекращать тестирование?»
В его примере подход заключался в подаче на вход визарда приложения огромного объема данных, по существу заставляя приложение нагружать само себя. Существуют как freemium, так и корпоративные инструменты автоматизированной регрессии. Варианты Freemium точка выхода (Exit Point) — это отличный способ протестировать программу без риска и посмотреть, как она вам понравится, прежде чем переходить на платную версию. Недостатком этих программ является то, что они не будут настолько подробными, как корпоративная версия.