Тестовий процес (версія 3.1)
Немає єдиного універсального процесу тестування програмного забезпечення, але є загальні набори тестових дій, без яких тестування з меншою імовірністю досягне поставлених цілей. Ці набори тестових дій є тестовим процесом. Належний конкретний процес тестування програмного забезпечення в будь-якій ситуації залежить від багатьох факторів. Тестові дії, які задіяні в цьому тестовому процесі, як ці дії реалізуються та коли вони відбуваються, розглядають або документують в стратегії тестування організації.
Тестовий процес (версія 4.0)
Тестування залежить від контексту, але на високому рівні існують загальні набори тестових дій, без яких тестування не досягне своїх цілей. Ці набори тестових дій утворюють процес тестування. Процес тестування можна пристосувати до конкретної ситуації на основі різних факторів. Які заходи тестування включені в цей процес тестування, як вони реалізуються та коли вони відбуваються, зазвичай вирішується в рамках планування тестування для конкретної ситуації.
Контекст тестового процесу (версія 3.1)
Фактори контексту, які впливають на процес тестування для організації, включають, але не обмежуються:
- Модель життєвого циклу розробки програмного забезпечення та методології проекту, що використовуються
- Рівні та типи тестів, які розглядаються
- Продуктові та проєктні ризики
- Бізнес домен
- Операційні обмеження, включаючи, але не обмежуючись: бюджети та ресурси, часові рамки, складність
- Договірні та нормативні вимоги
- Організаційна політика та практика
- Необхідні внутрішні та зовнішні стандарти
Дуже корисно, якщо тестова основа (для будь-якого рівня або типу тестування, що розглядається) має визначені вимірювані критерії покриття. Критерії покриття можуть ефективно діяти як ключові показники ефективності (KPI) для керування діяльністю, яка демонструє досягнення цілей тестування програмного забезпечення.
Наприклад, для мобільного додатку тестова основа може містити список вимог і список підтримуваних мобільних пристроїв. Кожна вимога є елементом тестової бази. Кожен підтримуваний пристрій також є елементом тестової бази. Критерії охоплення можуть вимагати принаймні одного тестового випадку для кожного елемента тестової основи. Після виконання результати цих тестів повідомляють зацікавленим сторонам, чи виконано визначені вимоги та чи спостерігалися збої на підтримуваних пристроях.
Контекст тестового процесу (версія 4.0)
Тестування не проводиться ізольовано. Тестування є невід’ємною частиною процесів розробки, що здійснюються в організації. Тестування також фінансується зацікавленими сторонами, і його кінцева мета – допомогти задовольнити бізнес-потреби зацікавлених сторін. Таким чином, спосіб проведення тестування залежатиме від ряду контекстуальних факторів, зокрема:
- Зацікавлені сторони (потреби, очікування, вимоги, бажання співпрацювати тощо)
- Члени команди (навички, знання, рівень досвіду, доступність, потреби в навчанні тощо)
- Сфера діяльності (критичність об’єкта тестування, ідентифіковані ризики, потреби ринку, специфічні правові норми тощо)
- Технічні фактори (тип програмного забезпечення, архітектура продукту, використовувана технологія тощо)
- Обмеження проєкту (обсяг, час, бюджет, ресурси тощо)
- Організаційні фактори (організаційна структура, існуюча політика, використовувана практика тощо)
- Життєвий цикл розробки програмного забезпечення (технічна практика, методи розробки тощо)
- Інструменти (доступність, зручність використання, відповідність тощо)
Ці фактори впливатимуть на багато питань, пов’язаних з тестуванням, зокрема: стратегію тестування, використовувані методи тестування, ступінь автоматизації тестування, необхідний рівень охоплення, рівень деталізації тестової документації, звітності тощо.
Тестові діяльності та завдання (версія 3.1)
Процес тестування складається з таких основних груп дій:
- Планування тестування
- Тестовий моніторинг і контроль
- Тестовий аналіз
- Тест дизайн
- Реалізація тесту
- Виконання тесту
- Завершення тесту
Кожна основна група видів діяльності складається зі складових видів діяльності. Кожна складова діяльність складається з кількох окремих завдань, які відрізнятимуться від одного проєкту чи випуску до іншого.
Крім того, хоча багато з цих основних груп діяльності можуть здаватися логічно послідовними, вони часто реалізуються ітеративно. Наприклад, гнучка розробка передбачає невеликі ітерації проєктування, створення та тестування програмного забезпечення, які відбуваються на безперервній основі та підтримуються постійним плануванням. Таким чином, тестування також відбувається на ітераційній, постійній основі в рамках цього підходу до розробки програмного забезпечення. Навіть у послідовній розробці програмного забезпечення ступінчаста логічна послідовність основних груп дій включатиме накладання, поєднання, одночасність або пропуски, тому зазвичай потрібно адаптувати ці основні групи дій у контексті системи та проекту.
Планування тестування
Планування тестування включає дії, які визначають цілі тестування та підхід до досягнення цілей тестування в межах обмежень, накладених контекстом (наприклад, визначення відповідних методів тестування та завдань, а також формулювання розкладу тестування для дотримання кінцевого терміну). Плани тестування можуть бути переглянуті на основі зворотного зв’язку від моніторингу та контролю.
Тестовий моніторинг і контроль
Моніторинг тестування передбачає постійне порівняння фактичного прогресу із запланованим із використанням будь-яких показників моніторингу тестування, визначених у плані тестування. Контроль тестування передбачає виконання дій, необхідних для досягнення цілей плану тестування (який з часом може оновлюватися). Моніторинг і контроль тестування підтримуються оцінкою критеріїв виходу, які в деяких моделях життєвого циклу розробки програмного забезпечення називаються визначенням завершеності. Наприклад, оцінка критеріїв виходу для виконання тесту як частини даного рівня тесту може включати:
- Перевірка результатів тестування та журналів відповідно до визначених критеріїв покриття
- Оцінка рівня якості компонентів або системи на основі результатів тестування та журналів
- Визначення необхідності додаткових тестів (наприклад, якщо тести, спочатку призначені для досягнення певного рівня охоплення ризику продукту, не змогли це зробити, вимагаючи написання та виконання додаткових тестів)
Перебіг тестування щодо плану повідомляється зацікавленим сторонам у звітах про хід тестування, включаючи відхилення від плану та інформацію для підтвердження будь-якого рішення припинити тестування.
Тестовий аналіз
Під час тестового аналізу аналізується тестова база, щоб визначити перевірені функції та визначити відповідні умови тестування. Іншими словами, тестовий аналіз визначає, «що тестувати» з точки зору вимірюваних критеріїв покриття.
Тестовий аналіз включає такі основні дії:
- Аналіз тестової бази, що відповідає розглянутому рівню тесту, наприклад:
- Специфікації вимог, як-от бізнес-вимоги, функціональні вимоги, системні вимоги, історії користувачів, епіки, випадки використання або подібні робочі продукти, які визначають бажаний функціональний і нефункціональний компонент або поведінку системи
- Інформація про проєктування та впровадження, як-от діаграми або документи архітектури системи чи програмного забезпечення, специфікації дизайну, графіки потоку викликів, діаграми моделювання (наприклад, UML або діаграми зв’язків сутностей), специфікації інтерфейсу або подібні робочі продукти, які визначають компонент або структуру системи
- Реалізація самого компонента або системи, включаючи код, метадані бази даних і запити, а також інтерфейси
- Звіти про аналіз ризиків, які можуть розглядати функціональні, нефункціональні та структурні аспекти компонента або системи
- Оцінка тестової бази та тестових елементів для виявлення дефектів різних типів, таких як:
- Неоднозначність
- Упущення
- Невідповідність
- Неточність
- Протиріччя
- Зайві твердження
- Ідентифікація функцій і наборів функцій, які необхідно перевірити
- Визначення та пріоритезація умов тестування для кожної функції на основі аналізу бази тестування та врахування функціональних, нефункціональних і структурних характеристик, інших бізнес- і технічних факторів і рівнів ризиків
- Захоплення двонаправленої простежуваності між кожним елементом основи тестування та пов’язаними умовами тестування
Застосування методів тестування «чорного ящика», «білого ящика» та тестування на основі досвіду може бути корисним у процесі аналізу тестування, щоб зменшити ймовірність пропуску важливих умов тестування та визначити більш точні умови тестування.
У деяких випадках тестовий аналіз створює умови тестування, які слід використовувати як цілі тестування в тестових чартерах. Тестові чартери є типовими продуктами роботи в деяких типах тестування на основі досвіду. Коли ці цілі тестування можна простежити до бази тестування, покриття, досягнуте під час такого тестування на основі досвіду, можна виміряти.
Виявлення дефектів під час тестового аналізу є важливою потенційною перевагою, особливо якщо не використовується інший процес перегляду чи перевірки та/або процес тестування тісно пов’язаний із процесом перегляду чи перевірки. Подібні види діяльності тетстового аналізу не тільки перевіряють, чи вимоги є послідовними, правильно вираженими та повними, але й перевіряють, чи вимоги належним чином охоплюють потреби клієнтів, користувачів та інших зацікавлених сторін. Наприклад, такі методи, як розробка, керована поведінкою (BDD) і розробка, керована приймальними тестами (ATDD), які передбачають створення умов тестування та тестових випадків на основі історій користувачів і критеріїв прийнятності перед кодуванням. Ці методи також перевіряють, підтверджують і виявляють дефекти в історіях користувачів і критеріях прийняття.
Дизайн тесту або проєктування
Під час проєктування тесту умови тестування переробляються у високорівневі тестові випадки, набори високорівневих тестових випадків та інше тестове програмне забезпечення. Отже, аналіз тестів відповідає на питання «що тестувати?» тоді як дизайн тесту відповідає на питання «як тестувати?»
Дизайн тесту включає наступні основні дії:
- Розробка та розстановка пріоритетів тестових випадків і наборів тестових випадків
- Визначення необхідних тестових даних для підтримки тестових умов і тестових випадків
- Розробка тестового середовища та визначення необхідної інфраструктури та інструментів
- Документування чи фіксація двосторонньої відстежуваності між основою тестування, умовами тестування та тестовими випадками
Розробка тестових умов у тестові випадки та набори тестових випадків під час розробки тесту часто передбачає використання тестових методів.
Як і аналіз тесту, дизайн тесту також може призвести до виявлення подібних типів дефектів у тестовій основі. Крім того, як і з аналізом тестів, виявлення дефектів під час проектування тесту є важливою потенційною перевагою.
Реалізація тесту або впровадження
Під час впровадження тесту створюється та/або завершується тестове програмне забезпечення, необхідне для виконання тесту, включаючи послідовність тестових випадків у тестові процедури. Отже, дизайн тесту відповідає на питання «як тестувати?» в той час як реалізація тестів відповідає на запитання «чи є у нас усе готове для проведення тестів?»
Реалізація тесту включає такі основні дії:
- Розробка та розстановка пріоритетів тестових процедур і, потенційно, створення автоматизованих тестових сценаріїв
- Створення наборів тестів із процедур тестування та (за наявності) сценаріїв автоматизованого тестування
- Розташування наборів тестів у розкладі виконання тесту таким чином, щоб забезпечити ефективне виконання тесту
- Створення тестового середовища (включаючи, потенційно, тестові джгути, віртуалізацію сервісів, симулятори та інші елементи інфраструктури) і перевірку того, що все необхідне налаштовано правильно
- Підготовка тестових даних і забезпечення їх належного завантаження в тестове середовище
- Перевірка та оновлення двосторонньої відстежуваності між основою тестування, умовами тестування, тестовими випадками, процедурами тестування та наборами тестів
Завдання розробки тесту та виконання тесту часто поєднуються.
У дослідницькому тестуванні та інших типах тестування на основі досвіду розробка та реалізація тесту можуть відбуватися та можуть бути задокументовані як частина виконання тесту. Дослідницьке тестування може ґрунтуватися на тестових чартерах (розроблених як частина аналізу тестування), а дослідницькі тести виконуються негайно після їх розробки та реалізації.
Виконання тесту
Під час виконання тесту набори тестів запускаються відповідно до графіка виконання тесту. Виконання тесту включає наступні основні дії:
- Запис ідентифікаторів і версій тестового(их) елемента(ів) або тестового об’єкта, тестового інструмента(ів) і тестового програмного забезпечення
- Виконання тестів вручну або за допомогою інструментів виконання тестів
- Порівняння фактичних результатів із очікуваними
- Аналіз аномалій для встановлення їх ймовірних причин (наприклад, збої можуть виникати через дефекти коду, але також можуть виникати помилкові спрацьовування
- Повідомлення про дефекти на основі помічених несправностей
- Реєстрація результатів виконання тесту (наприклад, пройдено, не пройдено, заблоковано)
- Повторення тестових дій у результаті дій, вжитих для виявлення аномалії, або в рамках запланованого тестування (наприклад, виконання виправленого тесту, тестування на підтвердження та/або регресійне тестування)
- Перевірка та оновлення двонаправленої простежуваності між основою тестування, умовами тестування, тестовими випадками, процедурами тестування та результатами тестування.
Завершення тестування
Діяльності завершення тестування збирають дані про завершені дії тестування для консолідації досвіду, тестового програмного забезпечення та будь-якої іншої відповідної інформації. Діяльність із завершення тестування відбувається на етапах проєкту, наприклад, коли випускається програмна система, тестовий проєкт завершено (або скасовано), завершено ітерацію проекту Agile, завершено тестовий рівень або завершено технічне обслуговування.
Завершення тесту включає наступні основні дії:
- Перевірка того, чи всі звіти про дефекти закриті, введення запитів на зміни або елементів невиконаних продуктів для будь-яких дефектів, які залишаються невирішеними наприкінці виконання тесту
- Створення підсумкового звіту про тестування для інформування зацікавлених сторін
- Доопрацювання та архівування тестового середовища, тестових даних, тестової інфраструктури та іншого тестового програмного забезпечення для подальшого повторного використання
- Передача тестового програмного забезпечення групам технічного обслуговування, іншим командам проекту та/або іншим зацікавленим сторонам, які можуть отримати користь від його використання
- Аналіз уроків, отриманих із завершених тестових дій, щоб визначити зміни, необхідні для майбутніх ітерацій, випусків і проектів
- Використання зібраної інформації для вдосконалення процесу тестування
Тестові діяльності та завдання (версія 4.0)
Процес тестування зазвичай складається з основних груп дій, описаних нижче. Незважаючи на те, що багато з цих дій можуть здатися логічними, вони часто виконуються ітеративно або паралельно. Ці дії тестування зазвичай потрібно адаптувати до системи та проєкту:
- Планування тестування складається з визначення цілей тестування, а потім вибору підходу, який найкращим чином досягає цілей у межах обмежень, накладених загальним контекстом.
- Тестовий моніторинг і контроль. Моніторинг тестування передбачає постійну перевірку всіх тестових дій і порівняння фактичного прогресу з планом. Тестовий контроль передбачає виконання дій, необхідних для досягнення цілей тестування.
- Аналіз тестування включає аналіз основи тестування для виявлення функцій, які можна перевірити, а також для визначення пріоритетів пов’язаних умов тестування разом із відповідними ризиками та рівнями ризику. Тест-основа та тест-об’єкти також оцінюються для виявлення дефектів, які вони можуть містити, і для оцінки їх тестування. Тестовий аналіз часто підтримується використанням тестових методик. Аналіз тестів відповідає на питання «що тестувати?» з точки зору вимірних критеріїв покриття.
- Розробка тесту включає розробку умов тестування в тестових випадках та іншому тестовому програмному забезпеченні. Ця діяльність часто передбачає ідентифікацію елементів покриття, які служать керівництвом для визначення вхідних даних тестового випадку. Методи тестування можна використовувати для підтримки цієї діяльності. Проєкт тестування також включає визначення вимог до тестових даних, проєктування тестового середовища та визначення будь-якої іншої необхідної інфраструктури та інструментів. Дизайн тесту відповідає на питання «як тестувати?».
- Реалізація тесту включає створення або отримання тестового програмного забезпечення, необхідного для виконання тесту (наприклад, тестових даних). Тестові випадки можуть бути організовані в тестові процедури та часто збираються в тестові набори. Створюються ручні та автоматизовані сценарії тестування. Процедури тестування впорядковані за пріоритетами та впорядковані в розкладі виконання тесту для ефективного виконання тесту. Тестове середовище створено та перевірено на правильність налаштування.
- Виконання тесту включає виконання тестів відповідно до графіка виконання тесту (тестових прогонів). Виконання тесту може бути ручним або автоматизованим. Виконання тесту може приймати різні форми, включаючи безперервне тестування або сеанси парного тестування. Фактичні результати тесту порівнюються з очікуваними. Результати тестування реєструються. Аномалії аналізуються, щоб визначити їх ймовірні причини. Цей аналіз дозволяє нам повідомляти про аномалії на основі помічених збоїв.
- Діяльність із завершення тестування зазвичай відбувається на етапах проєкту (наприклад, випуск, кінець ітерації, завершення рівня тестування) для будь-яких невирішених дефектів, запитів на зміни або створених елементів невиконаного продукту. Будь-яке тестове програмне забезпечення, яке може бути корисним у майбутньому, ідентифікується та архівується або передається відповідним командам. Тестове середовище вимкнено до узгодженого стану. Діяльність тестування аналізується, щоб визначити отримані уроки та вдосконалення для майбутніх ітерацій, випусків або проєктів. Створюється звіт про завершення тестування, який надається зацікавленим сторонам.
Тестові робочі продукти (версія 3.1)
Тестові робочі продукти створюються як частина процесу тестування. Так само, як існують значні відмінності в тому, як організації впроваджують процес тестування, також існують значні відмінності в типах робочих продуктів, створених під час цього процесу, у способах організації та керування цими робочими продуктами, а також у назвах, які використовуються для них продукти праці.
Багато продуктів тестування, описаних у цьому розділі, можна отримувати та керувати ними за допомогою інструментів керування тестами та інструментів керування дефектами.
Робочі продукти тестового планування
Робочі продукти планування тестування зазвичай включають один або кілька планів тестування. План тестування містить інформацію про тестову базу, з якою інші тестові робочі продукти будуть пов’язані через інформацію про відстеження, а також критерії виходу, які використовуватимуться під час моніторингу та контролю тестування.
Робочі продукти тестового моніторингу та контролю
Робочі продукти моніторингу та контролю тестування зазвичай включають різні типи звітів про тестування, включаючи звіти про хід тестування, які створюються на постійній та/або регулярній основі, і підсумкові звіти про тестування, створені на різних етапах завершення. Усі звіти про тестування мають надавати релевантні для аудиторії відомості про хід тестування станом на дату звіту, включаючи узагальнення результатів виконання тесту, щойно вони стануть доступними.
Робочі продукти моніторингу та контролю тестів також повинні вирішувати питання управління проєктом, такі як виконання завдань, розподіл і використання ресурсів, а також зусилля.
Робочі продукти тестового аналізу
Робочі продукти тестового аналізу включають визначені та пріоритезовані умови тестування, кожна з яких ідеально двонаправлено простежується до конкретного елемента (елементів) основи тестування. Для дослідницького тестування аналіз тестів може передбачати створення тестових чартерів. Аналіз тестів також може призвести до виявлення та звітування про дефекти в тестовій основі.
Робочі продукти тестового проєктування
Проєктування тестів відображується у тестових випадках і наборах тестових випадків для виконання умов тестування, визначених у тестовому аналізі. Часто є хорошою практикою розробляти тестові випадки високого рівня без конкретних значень вхідних даних і очікуваних результатів. Такі тестові випадки високого рівня можна повторно використовувати в кількох циклах тестування з різними конкретними даними, при цьому належним чином документуючи обсяг тестового випадку. В ідеалі кожен тестовий приклад можна двонаправлено простежити до тестових умов, які він охоплює.
Дизайн тесту також призводить до:
- дизайн та/або ідентифікація необхідних тестових даних
- дизайн тестового середовища
- визначення інфраструктури та інструментів
Хоча ступінь документування цих результатів значно відрізняється.
Робочі продукти тестового впровадження
Робочі продукти тестового впровадження включають:
- Процедури тестування та послідовність цих процедур тестування
- Набори тестів
- Графік виконання тесту
В ідеалі, після завершення впровадження тесту, досягнення критеріїв охоплення, встановлених у плані тестування, можна продемонструвати через двонаправлену відстежуваність між тестовими процедурами та конкретними елементами бази тестування через тестові випадки та умови тестування.
У деяких випадках реалізація тесту передбачає створення робочих продуктів за допомогою інструментів, таких як віртуалізація служб і сценарії автоматизованого тестування.
Реалізація тесту також може призвести до створення та перевірки тестових даних і тестового середовища. Повнота документації даних та/або результатів перевірки середовища може значно відрізнятися.
Тестові дані служать для призначення конкретних значень вхідним даних і очікуваним результатам тестових випадків. Такі конкретні значення разом із явними вказівками щодо використання конкретних значень перетворюють високорівневі тестові випадки на виконувані низькорівневі тестові випадки. Той самий тестовий приклад високого рівня може використовувати різні тестові дані під час виконання на різних випусках тестового об’єкта. Конкретні очікувані результати, пов’язані з конкретними даними тестування, визначаються за допомогою тестового оракула.
У дослідницькому тестуванні деякі робочі продукти тестування та впровадження можуть бути створені під час виконання тесту, хоча ступінь документування дослідницьких тестів (та їх простежуваність до конкретних елементів бази тестування) може значно відрізнятися.
Умови тестування, визначені в аналізі тесту, можуть бути додатково вдосконалені в реалізації тесту.
Робочі продукти виконання тестування
Продукти виконання тесту включають:
- Документація статусу окремих тестових прикладів або тестових процедур (наприклад, готовий до виконання, успішний, невдалий, заблокований, навмисно пропущений тощо)
- Звіти про дефекти
- Документація про те, який тестовий елемент(и), тестовий(і) об’єкт(и), інструменти тестування та тестове програмне забезпечення були задіяні в тестуванні
В ідеалі, коли виконання тесту завершено, статус кожного елемента бази тестування можна визначити та повідомити через двонаправлену відстежуваність із пов’язаною процедурою(ами) тестування. Наприклад, ми можемо сказати, які вимоги пройшли всі заплановані тести, які вимоги не пройшли тести та/або мають пов’язані з ними дефекти, а які вимоги мають заплановані тести, які ще чекають на виконання. Це дає змогу перевірити відповідність критеріям покриття та звітувати про результати випробувань у термінах, зрозумілих зацікавленим сторонам.
Робочі продукти завершення тестування
Робочі продукти завершення тестування включають підсумкові звіти про тестування, елементи дій для вдосконалення наступних проєктів або ітерацій, запити на зміни або елементи невиконаних продуктів, а також завершене програмне забезпечення для тестування.
Тестові робочі продукти (версія 3.1)
Програмне забезпечення для тестування створюється як вихідний робочий продукт із тестових дій. Існують значні відмінності в тому, як різні організації виробляють, формують, називають, організовують і керують своїми робочими продуктами. Належне керування конфігурацією забезпечує послідовність і цілісність робочих продуктів. Наступний перелік робочих продуктів не є вичерпним:
- Робочі продукти з планування тестування включають: план тестування, графік тестування, реєстр ризиків, а також критерії входу та виходу. Реєстр ризиків – це перелік ризиків разом із імовірністю ризику, впливом ризику та інформацією про керування ризикои. Графік випробувань, реєстр ризиків і критерії входу та виходу часто є частиною плану випробувань.
- Продукти моніторингу та контролю випробувань включають: звіти про хід випробувань, документацію контрольних директив та інформацію про ризики.
- Робочі продукти тестового аналізу включають: (пріоритетизовані) умови тестування (наприклад, критерії прийнятності) і звіти про дефекти щодо дефектів бази тестування (якщо не виправлено безпосередньо).
- Продукти розробки тестів включають: (пріоритезовані) тестові випадки, тестові статути, елементи покриття, вимоги до тестових даних і вимоги до тестового середовища.
- Робочі продукти впровадження тесту включають: процедури тестування, сценарії автоматизованого тестування, тестові набори, тестові дані, розклад виконання тесту та елементи тестового середовища. Приклади елементів тестового середовища включають: заглушки, драйвери, симулятори та віртуалізацію служб.
- Продукти виконання тесту включають: журнали тестування та звіти про дефекти.
- Робочі продукти із завершення тестування включають: звіт про завершення тестування, елементи дій для вдосконалення наступних проєктів або ітерацій, задокументовані отримані уроки та запити на зміни (наприклад, як елементи невиконаного продукту).
Відстежуваність (Тестова основа та Тестові робочі продукти) (версія 3.1)
Тестові робочі продукти та назви цих робочих продуктів значно відрізняються. Незалежно від цих варіацій, для впровадження ефективного моніторингу та контролю тестування важливо встановити та підтримувати відстежуваність протягом усього процесу тестування між кожним елементом бази тестування та різними продуктами тестування, пов’язаними з цим елементом, як описано вище. На додаток до оцінки охоплення тестуванням хороша відстежуваність підтримує:
- Аналіз впливу змін
- Зробити тестування можливим для перевірки
- Відповідність критеріям управління ІТ
- Покращення зрозумілості звітів про хід тестування та підсумкових звітів про тестування для включення статусу елементів основи тестування (наприклад, вимоги, які пройшли тестування, вимоги, які не пройшли тестування, і вимоги, які мають тести, що очікують на розгляд)
- Розповідання технічних аспектів тестування зацікавленим сторонам у зрозумілих для них термінах
- Надання інформації для оцінки якості продукту, можливостей процесу та прогресу проєкту щодо бізнес-цілей
Деякі інструменти керування тестами надають моделі тестових робочих продуктів, які відповідають частині або всім тестовим робочим продуктам, описаним у цьому розділі. Деякі організації створюють власні системи управління для організації робочих продуктів і забезпечення відстеження необхідної інформації.
Відстежуваність (Тестова основа та Тестові робочі продукти) (версія 4.0)
Для впровадження ефективного моніторингу та контролю за тестуванням важливо встановити та підтримувати відстежуваність протягом усього процесу тестування між елементами основи тестування, тестовим програмним забезпеченням, пов’язаним із цими елементами (наприклад, умови тестування, ризики, тестові випадки), результатами тестування та виявленими дефекти.
Точна відстежуваність підтримує оцінку охоплення, тому дуже корисно, якщо вимірювані критерії охоплення визначені в тестовій основі. Критерії охоплення можуть функціонувати як ключові показники ефективності для керування діяльністю, яка показує, наскільки досягнуто цілей тесту. Наприклад:
- Відстеження тестових випадків до вимог може підтвердити, що вимоги охоплені тестовими випадками.
- Простежуваність результатів тестування на ризики можна використовувати для оцінки рівня залишкового ризику в об’єкті тестування.
На додаток до оцінки охоплення хороша відстежуваність дає змогу визначити вплив змін, полегшує перевірку тестів і допомагає відповідати критеріям управління ІТ. Хороша відстежуваність також робить звіти про хід тестування та завершення більш зрозумілими завдяки включенню статусу елементів основи тестування. Це також може допомогти у зрозумілій формі донести технічні аспекти тестування до зацікавлених сторін. Простежуваність надає інформацію для оцінки якості продукції, можливостей процесу та прогресу проекту щодо бізнес-цілей.
Ролі тестування (версія 4.0)
У цьому навчальному плані розглядаються дві основні ролі в тестуванні: роль управління тестуванням і роль тестування. Діяльність і завдання, призначені цим двом ролям, залежать від таких факторів, як контекст проєкту та продукту, навички людей, які виконують ролі, і організація.
Керівник тестування бере на себе загальну відповідальність за процес тестування, команду тестування та керівництво тестовою діяльністю. Роль управління тестуванням головним чином зосереджена на діяльності з планування тестування, моніторингу та контролю тестування та завершення тестування. Спосіб виконання ролі керування тестуванням залежить від контексту. Наприклад, у розробці програмного забезпечення Agile деякі завдання з керування тестуванням можуть виконуватися командою Agile. Завдання, які охоплюють кілька команд або всю організацію, можуть виконувати менеджери тестування поза командою розробників.
Роль виконання тестування бере на себе загальну відповідальність за інженерний (технічний) аспект тестування. Роль виконання тестування в основному зосереджена на аналізі тестів, дизайні тестів, реалізації та виконанні тестів.
Різні люди можуть виконувати ці ролі в різний час. Наприклад, роль керування тестуванням може виконувати керівник групи, менеджер із тестування, менеджер із розробки тощо. Одна особа також може виконувати функції тестування та керування тестуванням одночасно.
В цьому відео починаємо працювати з секцією 1.4.
00:00:50 Процес тестування
00:18:03 Тестові види діяльності та завдання
01:25:29 Тестові робочі продукти
01:50:47 Відстежуваність
02:01:26 Ролі в тестуванні