ISTQB Certified Tester Foundation Level. Курс для початківців. Секція 5.5.

Ризики і тестування. Введення (версія 4.0)

Організації стикаються з багатьма внутрішніми та зовнішніми факторами, які роблять невизначеним питання, чи досягнуть вони своїх цілей і коли (ISO 31000). Управління ризиками дозволяє організаціям підвищити ймовірність досягнення цілей, покращити якість своєї продукції та підвищити впевненість і довіру зацікавлених сторін.

Основними видами діяльності з управління ризиками є:

Аналіз ризику (що складається з ідентифікації та оцінки ризику)
Контроль ризику (складається з пом’якшення ризику та моніторингу ризику)

Тестовий підхід, у якому тестові дії вибираються, пріоритезуються та керуються на основі аналізу та контролю ризиків, називається тестуванням на основі ризиків.

Визначення ризику (версія 3.1)

Ризик передбачає можливість події в майбутньому, яка матиме негативні наслідки. Рівень ризику визначається ймовірністю події та наслідками (шкодою) від цієї події.

Визначення ризику (версія 4.0)

Ризик – це потенційна подія, небезпека, загроза або ситуація, виникнення якої викликає несприятливий ефект. Ризик можна охарактеризувати двома факторами:

Імовірність ризику – ймовірність виникнення ризику (більша за нуль і менша за одиницю)
Вплив ризику (шкода) – наслідки цієї події

Ці два фактори виражають рівень ризику, який є мірою ризику. Чим вищий рівень ризику, тим важливіше управління цим ризиком.

Ризики продукту і ризики проєкту (версія 3.1)

Ризик продукту передбачає можливість того, що робочий продукт (наприклад, специфікація, компонент, система або тест) може не задовольнити законні потреби своїх користувачів або зацікавлених сторін. Коли ризики продукту пов’язані з конкретними характеристиками якості продукту (наприклад, функціональна придатність, надійність, ефективність продуктивності, зручність використання, безпека, сумісність, зручність супроводу і портативність), ризики продукту також називають ризиками якості.

Приклади ризиків продукту включають:

Програмне забезпечення може не виконувати призначені функції відповідно до специфікації
Програмне забезпечення може не виконувати призначені функції відповідно до потреб користувача, клієнта або зацікавлених сторін
Архітектура системи може недостатньо підтримувати деякі нефункціональні вимоги.
За певних обставин певне обчислення може бути виконано неправильно
Структура керування циклом може бути закодована неправильно
Час відповіді може бути недостатнім для високопродуктивної системи обробки транзакцій
Відгуки про досвід користувача (UX) можуть не відповідати очікуванням продукту

Проєктний ризик включає ситуації, які, якщо вони виникнуть, можуть негативно вплинути на здатність проєкту досягти своїх цілей. Приклади проєктних ризиків включають:

Проблеми проєкту:
- Можуть виникати затримки в доставці, виконанні завдання або задоволенні критеріїв виходу чи визначення виконаного
- Неточні оцінки, перерозподіл коштів на проєкти з вищим пріоритетом або загальне скорочення витрат в організації можуть призвести до недостатнього фінансування
- Пізні зміни можуть призвести до значної переробки
Організаційні питання:
- Навички, навчання та персонал можуть бути недостатніми
- Проблеми з персоналом можуть спричинити конфлікти та проблеми
- Користувачі, бізнес-персонал або експерти з певної тематики можуть бути недоступні через суперечливі бізнес-пріоритети
Політичні питання:
- Тестувальники можуть не повідомляти належним чином свої потреби або результати тестування
- Розробники або тестувальники можуть не врахувати інформацію, отриману під час тестування та оглядів (наприклад, не вдосконалювати практику розробки та тестування)
- Можливе неправильне ставлення до тестування або очікування від нього (наприклад, недооцінка цінності пошуку дефектів під час тестування)
Технічні проблеми:
- Вимоги можуть бути визначені недостатньо добре
- Вимоги можуть бути не виконані через існуючі обмеження
- Тестове середовище може бути не готове вчасно
- Перетворення даних, планування міграції та підтримка інструментів можуть виконуватися із запізненням
- Недоліки в процесі розробки можуть вплинути на послідовність або якість робочих продуктів проєкту, таких як дизайн, код, конфігурація, тестові дані та тестові випадки
- Погане управління дефектами та подібні проблеми можуть призвести до накопичення дефектів та інших технічних боргів
Проблеми з постачальниками:
- Третя сторона може не надати необхідний продукт чи послугу або збанкрутувати
- Контрактні питання можуть спричинити проблеми для проєкту

Ризики проєкту можуть впливати як на діяльність з розробки, так і на діяльність з тестування. У деяких випадках керівники проєктів несуть відповідальність за обробку всіх ризиків проєкту, але це не є незвичайним, коли менеджери тестування відповідають за ризики проєкту, пов’язані з тестуванням.

Ризики продукту і ризики проєкту (версія 4.0)

Ризики продукту пов’язані з характеристиками якості продукту (наприклад, описані в моделі якості ISO 25010). Приклади ризиків продукту включають: відсутність або неправильну функціональність, неправильні обчислення, помилки під час виконання, погану архітектуру, неефективні алгоритми, неадекватний час відповіді, погану взаємодію з користувачем, вразливі місця в безпеці. Ризики продукту, коли вони виникають, можуть призвести до різних негативних наслідків, зокрема:

Невдоволення користувачів
Втрата прибутку, довіри, репутації
Шкода третім особам
Високі витрати на обслуговування, перевантаження служби підтримки
Кримінальні покарання
У крайніх випадках фізичні пошкодження, травми або навіть смерть

Проєктні ризики пов’язані з управлінням і контролем проєкту. Проєктні ризики включають:

Організаційні проблеми (наприклад, затримки в постачанні робочої продукції, неточні оцінки, скорочення витрат)
Проблеми з людьми (наприклад, недостатні навички, конфлікти, проблеми з комунікацією, нестача персоналу)
Технічні проблеми (наприклад, погана підтримка інструментів)
Проблеми з постачальником (наприклад, збій доставки третьою стороною, банкрутство компанії-контрагента)

Ризики проєкту, коли вони виникають, можуть вплинути на графік, бюджет або обсяг проєкту, що впливає на здатність проєкту досягати своїх цілей.

Тестування засноване на ризику та якість продукту (версія 3.1)

Ризик використовується для зосередження зусиль, необхідних під час тестування. Він використовується, щоб вирішити, де і коли розпочати тестування, а також визначити області, які потребують більшої уваги. Тестування використовується для зменшення ймовірності виникнення несприятливої події або для зменшення впливу несприятливої події. Тестування використовується як діяльність зі зменшення ризиків, щоб надати інформацію про виявлені ризики, а також надати інформацію про залишкові (невирішені) ризики.

Ризик-орієнтований підхід до тестування надає проактивні можливості для зниження рівня ризику продукту. Він передбачає аналіз ризиків продукту, який включає ідентифікацію ризиків продукту та оцінку ймовірності та впливу кожного ризику. Отримана інформація про ризик продукту використовується для планування тестування, специфікації, підготовки та виконання тестових випадків, а також для моніторингу та контролю тестування. Ранній аналіз ризиків продукту сприяє успіху проєкту.

У підході, що ґрунтується на оцінці ризику, результати аналізу ризику продукту використовуються для:

Визначення методів тестування, які будуть використані
Визначення конкретних рівнів та типів тестування, які необхідно виконати (наприклад, тестування безпеки, тестування доступності)
Визначення обсягів тестування, яке необхідно провести
Надайте пріоритет тестуванню, намагаючись якомога раніше виявити критичні дефекти
Визначте, чи можна застосувати будь-які дії на додаток до тестування для зменшення ризику (наприклад, навчання недосвідчених дизайнерів)

Тестування на основі ризиків спирається на колективні знання та розуміння зацікавлених сторін проєкту для проведення аналізу ризиків продукту.

Щоб забезпечити мінімізацію ймовірності відмови продукту, заходи з управління ризиками забезпечують дисциплінований підхід до:

Аналізу (і регулярної переоцінки) того, що може піти не так (ризики)
Визначення, з якими ризиками важливо боротися
Впровадження заходів для пом’якшення цих ризиків
Складання планів на випадок непередбачених обставин, щоб подолати ризики, якщо вони стануть реальними подіями

Крім того, тестування може виявити нові ризики, допомогти визначити, які ризики слід пом’якшити, і знизити невизначеність щодо ризиків.

Тестування засноване на ризику та якість продукту (версія 4.0)

З точки зору тестування, метою аналізу ризику продукту є усвідомлення ризику продукту, щоб зосередити зусилля на тестуванні таким чином, щоб мінімізувати залишковий рівень ризику продукту. В ідеалі аналіз ризиків продукту починається на ранній стадії SDLC.

Аналіз ризику продукту складається з ідентифікації та оцінки ризику. Ідентифікація ризиків полягає у створенні повного списку ризиків. Зацікавлені сторони можуть ідентифікувати ризики за допомогою різних методів та інструментів, наприклад, мозкового штурму, семінарів, інтерв’ю або причинно-наслідкових діаграм. Оцінка ризику включає: класифікацію ідентифікованих ризиків, визначення їхньої ймовірності, впливу та рівня ризику, встановлення пріоритетів та пропонування шляхів їх усунення. Категоризація допомагає призначати заходи пом’якшення, оскільки зазвичай ризики, які потрапляють до однієї категорії, можна зменшити за допомогою подібного підходу.

Оцінка ризику може використовувати кількісний або якісний підхід або їх поєднання. У кількісному підході рівень ризику розраховується як множення ймовірності ризику та впливу ризику. У якісному підході рівень ризику можна визначити за допомогою матриці ризику.

Аналіз ризику продукту може вплинути на ретельність і обсяг тестування. Його результати використовуються для:

Визначення обсягів тестування, яке необхідно провести
Визначення конкретних рівнів тестування та запропонування типів тестів для виконання
Визначення методів тестування, які будуть використані, і охоплення, якого потрібно досягти
Оцінка зусиль, необхідних для виконання кожного завдання
Надання пріоритетів тестування, щоб якомога раніше виявити критичні дефекти
Визначення, чи можна застосувати будь-які дії на додаток до тестування для зменшення ризику

Контроль ризику продукту (версія 4.0)

Контроль ризиків продукту включає всі заходи, які вживаються у відповідь на ідентифіковані та оцінені ризики продукту. Контроль ризику продукту складається з пом’якшення ризику та моніторингу ризику. Пом’якшення ризику передбачає впровадження заходів, запропонованих в оцінці ризику, щоб зменшити рівень ризику. Мета моніторингу ризиків полягає в тому, щоб переконатися в тому, що дії щодо пом’якшення є ефективними, отримати додаткову інформацію для покращення оцінки ризику та визначення ризиків, що виникають.

Що стосується контролю ризику продукту, після аналізу ризику можливі кілька варіантів реагування на ризик, наприклад, пом’якшення ризику шляхом тестування, прийняття ризику, передача ризику або план дій у непередбачених ситуаціях (Veenendaal 2012). Заходи, які можна вжити для зменшення ризиків продукту шляхом тестування, такі:

Виберіть тестувальників із належним рівнем досвіду та навичок, які підходять для певного типу ризику
Застосовуйте належний рівень незалежності тестування
Проведіть огляди та статичний аналіз
Застосовуйте відповідні методи тестування та рівні покриття
Застосуйте відповідні типи тестів, спрямовані на пов’язані характеристики якості
Виконайте динамічне тестування, включаючи регресійне тестування