ISTQB Certified Tester Foundation Level. Курс для початківців. Секція 3.2.

Процес перегляду (версія 3.1)

Перегляди варіюються від неофіційних до офіційних. Неофіційні перегляди характеризуються недотриманням визначеного процесу та відсутністю офіційно задокументованих результатів. Для формальних перевірок характерна участь команди, задокументовані результати перевірки та задокументовані процедури проведення перевірки. Формальність процесу перевірки пов’язана з такими факторами, як модель життєвого циклу розробки програмного забезпечення, зрілість процесу розробки, складність робочого продукту, який перевіряється, будь-які законодавчі чи нормативні вимоги та/або необхідність аудиторського сліду.

Спрямованість перевірки залежить від узгоджених цілей перевірки (наприклад, виявлення дефектів, отримання розуміння, навчання учасників, таких як тестувальники та нові члени команди, або обговорення та прийняття рішень шляхом консенсусу).

Стандарт ISO (ISO/IEC 20246) містить більш поглиблений опис процесу перевірки робочих продуктів, включаючи ролі та методи перевірки.

Переваги раннього зворотнього зв’язку (версія 4.0)

Ранні та часті зворотні зв’язки дозволяють завчасно повідомити про потенційні проблеми з якістю. Якщо під час SDLC буде мало участі зацікавлених сторін, продукт, що розробляється, може не відповідати початковому або поточному баченню зацікавлених сторін. Нездатність виконати те, що хоче зацікавлена сторона, може призвести до дорогої переробки, зриву термінів, звинувачень і навіть може призвести до повного провалу проєкту.

Частий зворотний зв’язок із зацікавленими сторонами в рамках SDLC може запобігти непорозумінням щодо вимог і гарантувати, що зміни вимог будуть зрозумілі та впроваджені раніше. Це допомагає команді розробників краще зрозуміти, що вони створюють. Це дозволяє їм зосередитися на тих функціях, які приносять найбільшу цінність зацікавленим сторонам і мають найбільш позитивний вплив на виявлені ризики.

Процес перегляду робочих документів (версія 3.1)

Процес перегляду включає такі основні дії:

Планування

Визначення обсягу, який включає мету перевірки, які документи або частини документів перевіряти, а також якісні характеристики, що підлягають оцінці
Оцінка зусиль і часових рамок
Визначення характеристик перевірки, таких як тип перевірки з ролями, видами діяльності та контрольними списками
Вибір людей для участі в огляді та розподіл ролей
Визначення критеріїв входу та виходу для більш формальних типів огляду (наприклад, перевірки)
Перевірка відповідності критеріям входу (для більш формальних типів переглядів)

Початок перегляду

Розповсюдження робочого продукту (фізично чи за допомогою електронних засобів) та інших матеріалів, таких як форми журналу випусків, контрольні списки та відповідні робочі продукти
Пояснення учасникам обсягу, цілей, процесу, ролей і результатів роботи
Відповіді на будь-які запитання щодо огляду, які можуть виникнути в учасників

Індивідуальний огляд (тобто індивідуальна підготовка)

Перегляд всього або частини робочого продукту
Позначення можливих недоліків, рекомендації та запитання

Комунікація проблем та аналіз

Повідомлення про виявлені потенційні дефекти (наприклад, на оглядовій зустрічі)
Аналіз потенційних дефектів, визначення приналежності та статусу
Оцінка та документування характеристик якості
Оцінка результатів перевірки за критеріями виходу для прийняття рішення про перевірку (відхилити; необхідні значні зміни; прийняти, можливо, з незначними змінами)

Виправлення та звітність

Створення звітів про дефекти для тих знахідок, які потребують змін у робочому продукті
Виправлення дефектів, виявлених (як правило, виконується автором) у перевіреному робочому продукті
Повідомлення про дефекти відповідній особі або групі (якщо виявлені в робочому продукті, пов’язаному з перевіреним робочим продуктом)
Запис оновленого статусу дефектів (у офіційних переглядах), потенційно включаючи згоду автора коментаря
Збір показників (для більш формальних типів перегляду)
Перевірка відповідності критеріям виходу (для більш формальних типів перегляду)
Прийняття робочого продукту після досягнення критеріїв виходу

Процес перегляду робочих документів (версія 4.0)

Стандарт ISO/IEC 20246 визначає загальний процес перегляду, який забезпечує структуровану, але гнучку структуру, на основі якої конкретний процес перевірки може бути адаптований до конкретної ситуації. Якщо необхідний огляд є більш формальним, тоді буде потрібно більше завдань, описаних для різних видів діяльності.

Розмір багатьох робочих продуктів робить їх занадто великими, щоб охопити їх одним оглядом. Процес перегляду можна запустити кілька разів, щоб завершити перевірку всього робочого продукту.

Дії в процесі перегляду:

Планування. На етапі планування обсяг перегляду, який включає мету, робочий продукт, який потрібно перевірити, якісні характеристики, які потрібно оцінити, області, на яких слід зосередитися, критерії виходу, супровідну інформацію, таку як стандарти, зусилля та часові рамки для перевірки, визначаються.
Початок перегляду. Під час ініціювання перегляду мета полягає в тому, щоб переконатися, що всі учасники готові розпочати перевірку. Це включає переконання, що кожен учасник має доступ до робочого продукту, який перевіряється, розуміє свою роль і обов’язки та отримує все необхідне для виконання перегляду.
Індивідуальний огляд. Кожен рецензент проводить індивідуальний перегляд, щоб оцінити якість робочого продукту, що перевіряється, і виявити аномалії, рекомендації та запитання, застосовуючи один або кілька методів перевірки (наприклад, перевірка на основі контрольного списку, перевірка на основі сценарію). Стандарт ISO/IEC 20246 надає більше інформації про різні методи переглядів. Рецензенти реєструють усі виявлені аномалії, рекомендації та запитання.
Комунікація та аналіз. Оскільки аномалії, виявлені під час огляду, не обов’язково є дефектами, усі ці аномалії необхідно проаналізувати та обговорити. Для кожної аномалії необхідно прийняти рішення щодо її статусу, приналежності та необхідних дій. Зазвичай це робиться на оглядовій зустрічі, під час якої учасники також вирішують, який рівень якості перевіреного робочого продукту та які подальші дії необхідні. Для завершення дій може знадобитися повторний огляд.
Виправлення та звітність. Для кожного дефекту слід створити звіт про дефект, щоб можна було вжити подальших заходів щодо усунення. Після досягнення критеріїв виходу робочий продукт може бути прийнятий. Про результати розгляду повідомляється.

Ролі та відповідальність у процесі перегляду (версія 3.1)

Типовий перегляд включатиме такі ролі:

Автор

Створює робочий продукт, що перевіряється
Виправляє дефекти робочого продукту, що перевіряється (при необхідності)

Менеджмент

Відповідає за планування огляду
Приймає рішення про виконання переглядів
Призначає персонал, бюджет і час
Контролює поточну ефективність
Виконує контрольні рішення у разі неадекватних результатів

Фасилітатор (часто його називають модератором)

Забезпечує ефективне проведення оглядових нарад (якщо вони проводяться)
Посередництво, якщо необхідно, між різними точками зору
Часто є особою, від якої залежить успіх перевірки

Ведучий огляду

Бере на себе загальну відповідальність за перегляд
Вирішує, хто буде залучений, і організовує час і місце проведення

Рецензенти

Можуть бути експертами в галузі, особами, які працюють над проєктом, зацікавленими сторонами, які зацікавлені в робочому продукті, та/або особами з певним технічним чи бізнес-досвідом
Визначати потенційні дефекти в робочому продукті, що перевіряється
Може представляти різні точки зору (наприклад, тестувальник, розробник, користувач, оператор, бізнес-аналітик, експерт з зручності використання тощо)

Секретар (Scribe дослівно шкрябальник)

Зіставляє потенційні дефекти, виявлені під час індивідуального перегляду
Записує нові потенційні дефекти, відкриті питання та рішення наради з перегляду (якщо вона проводиться)

У деяких типах рецензування одна особа може виконувати кілька ролей, і дії, пов’язані з кожною роллю, також можуть відрізнятися залежно від типу рецензування. Крім того, з появою інструментів для підтримки процесу перегляду, особливо реєстрації дефектів, відкритих питань і рішень, часто відпадає потреба в секретарі.

Більш детальна інформація в стандарті ISO (ISO/IEC 20246).

Ролі та відповідальність у процесі перегляду (версія 4.0)

Огляди включають різні зацікавлені сторони, які можуть виконувати кілька ролей. Основними ролями та їх обов’язками є:

Менеджер – вирішує, що потрібно перевірити, і надає ресурси, наприклад персонал і час для перевірки
Автор – створює та виправляє робочий продукт, що перевіряється
Модератор (також відомий як фасилітатор) – забезпечує ефективне проведення оглядових зустрічей, включаючи посередництво, управління часом і безпечне середовище для огляду, в якому кожен може вільно говорити
Керівник перегляду – бере на себе загальну відповідальність за перегляд, наприклад, вирішує, хто буде залучений, а також організовує час і місце рецензування
Секретар (Scribe дослівно шкрябальник) – зіставляє аномалії від рецензентів і записує інформацію про рецензування, таку як рішення та нові аномалії, виявлені під час наради з перегляду
Рецензент – проводить перегляду робочого продукту. Рецензентом може бути хтось, хто працює над проєктом, експерт із предметної теми або будь-яка інша зацікавлена особа.

Більш детальна інформація в стандарті ISO/IEC 20246.

Типи переглядів (версі 3.1)

Хоча перегляди можна використовувати для різних цілей, одна з головних цілей – виявити дефекти. Усі типи перевірки можуть допомогти у виявленні дефектів, і вибраний тип перевірки має ґрунтуватися на потребах проєкту, наявних ресурсах, типі продукту та ризиках, бізнес-сфері та культурі компанії, серед інших критеріїв вибору.

Один робочий продукт може бути предметом кількох типів огляду. Якщо використовується більше ніж один тип перегляду, порядок може відрізнятися. Наприклад, перед технічною перевіркою можна провести неформальну перевірку, щоб переконатися, що робочий продукт готовий до технічної перевірки.

Типи перевірок можуть проводитися як експертні перевірки, тобто проводитися колегами, кваліфікованими для виконання тієї ж роботи.

Типи дефектів, виявлених під час огляду, відрізняються, особливо залежно від робочого продукту, який перевіряється. Перегляди можна класифікувати за різними ознаками. Наведемо чотири найпоширеніші типи відгуків і пов’язані з ними атрибути.

Неофіційний огляд (наприклад, «дружня» перевірка, парний перегляд)

Основне призначення: виявлення потенційних дефектів
Можливі додаткові цілі: генерація нових ідей або рішень, швидке вирішення незначних проблем
Не базується на офіційному (задокументованому) процесі
Може не включати оглядову зустріч
Може виконуватись колегою автора (buddy check) або кількома людьми
Результати можуть бути задокументовані
Корисність залежить від рецензентів
Використання контрольних списків необов’язкове
Дуже часто використовується в гнучкій розробці

Проходження

Основні цілі: виявлення дефектів, вдосконалення програмного продукту, розгляд альтернативних реалізацій, оцінка відповідності стандартам і специфікаціям
Можливі додаткові цілі: обмін ідеями щодо технік чи варіацій стилю, навчання учасників, досягнення консенсусу
Індивідуальна підготовка перед оглядовою зустріччю необов’язкова
Оглядову зустріч зазвичай проводить автор продукту роботи
Секретар обов’язковий
Використання контрольних списків необов’язкове
Може мати форму сценаріїв, пробних прогонів або моделювання
Створюються журнали потенційних дефектів і звіти про перевірку
На практиці може варіюватися від досить неформального до дуже офіційного

Технічний огляд

Основні цілі: досягнення консенсусу, виявлення потенційних дефектів
Можливі подальші цілі: оцінка якості та зміцнення довіри до робочого продукту, генерація нових ідей, мотивація та надання можливості авторам покращувати майбутні робочі продукти, розгляд альтернативних реалізацій
Рецензенти мають бути технічними колегами автора та технічними експертами в тій самій чи інших дисциплінах
Необхідна індивідуальна підготовка перед оглядовою зустріччю
Зустріч для перегляду є необов’язковою, в ідеалі її проводить навчений фасилітатор (зазвичай не автор)
Секретар обов’язковий, в ідеалі не автор
Використання контрольних списків необов’язкове
Створюються журнали потенційних дефектів і звіти про перевірку

Інспекція

Основні цілі: виявлення потенційних дефектів, оцінка якості та формування довіри до робочого продукту, запобігання майбутнім подібним дефектам шляхом навчання автора та аналізу першопричини
Можливі подальші цілі: мотивація та надання можливості авторам покращувати майбутні робочі продукти та процес розробки програмного забезпечення, досягнення консенсусу
Дотримується визначеного процесу з офіційно задокументованими результатами на основі правил і контрольних списків
Використовує чітко визначені ролі та може включати спеціального читача (який читає продукт роботи вголос, часто перефразовуючи, тобто описуючи його своїми словами, під час оглядової зустрічі)
Необхідна індивідуальна підготовка перед оглядовою зустріччю
Рецензенти є або колегами автора, або експертами в інших дисциплінах, які стосуються продукту роботи
Використовуються визначені критерії входу та виходу
Секретар обов’язковий
Оглядову зустріч проводить навчений фасилітатор (не автор)
Автор не може виступати в ролі керівника огляду, читача чи писаря
Створюються журнали потенційних дефектів і звіт про перевірку
Показники збираються та використовуються для вдосконалення всього процесу розробки програмного забезпечення, включаючи процес перевірки

Типи переглядів (версі 4.0)

Існує багато типів оглядів, починаючи від неофіційних до офіційних. Необхідний рівень формальності залежить від таких факторів, як дотримання стандарту SDLC, зрілість процесу розробки, критичність і складність робочого продукту, що перевіряється, законодавчі чи нормативні вимоги та потреба в журналі аудиту. Той самий робочий продукт можна перевірити за допомогою різних типів перевірки, наприклад, спочатку неофіційної, а потім більш формальної.

Вибір правильного типу рецензування є ключовим для досягнення необхідних цілей рецензування. Вибір ґрунтується не лише на цілях, але й на таких факторах, як потреби проєкту, наявні ресурси, тип робочого продукту та ризики, сфера діяльності та корпоративна культура.

Кілька поширених типів переглядів:

Неформальний огляд. Неофіційні перегляди не дотримуються визначеного процесу та не вимагають офіційно задокументованих результатів. Головне завдання – виявлення аномалій.
Проходження. Покрокове керівництво, яке очолює автор, може служити багатьом цілям, таким як оцінка якості та формування довіри до робочого продукту, навчання рецензентів, досягнення консенсусу, генерування нових ідей, мотивація та надання можливості авторам вдосконалюватися та виявляти аномалії. Рецензенти можуть виконати індивідуальний огляд перед проходженням, але це не обов’язково.
Технічний огляд. Технічний огляд виконується кваліфікованими рецензентами під керівництвом модератора. Цілі технічної перевірки полягають у досягненні консенсусу та ухваленні рішень щодо технічної проблеми, а також у виявленні аномалій, оцінці якості та зміцненні довіри до робочого продукту, створенні нових ідей, а також мотивації та можливості авторам вдосконалюватися.
Інспекція. Оскільки інспекції є найбільш формальним типом перевірки, вони дотримуються повного загального процесу. Основна мета – виявити максимальну кількість аномалій. Інші цілі полягають у тому, щоб оцінити якість, зміцнити довіру до продукту роботи, а також мотивувати та дозволити авторам вдосконалюватися. Показники збираються та використовуються для вдосконалення SDLC, включаючи процес перевірки. У ревізіях автор не може виступати в ролі рецензента чи писаря.

Застосування технік перегляду (версія 3.1)

Існує ряд методів переглядів, які можна застосувати під час індивідуальної перегляду (тобто індивідуальної підготовки) для виявлення дефектів. Ці методи можна використовувати в описаних вище типах перевірок. Ефективність методів може відрізнятися залежно від типу огляду, який використовується. Нижче наведено приклади різних методів індивідуального рецензування для різних типів переглядів.

Ad hoc

Під час спеціального перегляду рецензентам надається мало або взагалі не надається вказівок щодо того, як слід виконувати це завдання. Рецензенти часто читають робочий продукт послідовно, виявляючи та документуючи проблеми, коли вони з ними стикаються. Спеціальне рецензування – це широко використовувана техніка, яка потребує невеликої підготовки. Ця техніка сильно залежить від навичок рецензента та може призвести до багатьох повторюваних проблем, про які повідомляють різні рецензенти.

На основі контрольного списку

Огляд на основі контрольного списку – це систематичний метод, за допомогою якого рецензенти виявляють проблеми на основі контрольних списків, які розповсюджуються на початку перевірки (наприклад, фасилітатором). Контрольний список перевірки складається з набору запитань, заснованих на потенційних дефектах, які можуть бути отримані з досвіду. Контрольні списки мають бути специфічними для типу робочого продукту, що перевіряється, і їх слід підтримувати регулярно, щоб охоплювати типи проблем, пропущені під час попередніх перевірок. Основна перевага методу, заснованого на контрольному списку, полягає в систематичному охопленні типових дефектів. Слід подбати про те, щоб не просто слідувати контрольному списку під час індивідуального перегляду, а й шукати дефекти поза контрольним списком.

Сценарії та пробні прогони

Під час перегляду на основі сценарію рецензентам надаються структуровані вказівки щодо того, як прочитати робочий продукт. Перевірка на основі сценаріїв підтримує рецензентів у виконанні «пробних прогонів» робочого продукту на основі очікуваного використання робочого продукту (якщо робочий продукт задокументовано у відповідному форматі, наприклад варіанти використання). Ці сценарії надають рецензентам кращі вказівки щодо визначення конкретних типів дефектів, ніж прості записи контрольного списку. Як і у випадку перевірки на основі контрольного списку, щоб не пропустити інші типи дефектів (наприклад, відсутні функції), рецензенти не повинні бути обмежені задокументованими сценаріями.

На основі перспективи

У перспективному читанні, подібному до рольового рецензування, рецензенти розглядають різні точки зору зацікавлених сторін під час індивідуального рецензування. Типові точки зору зацікавлених сторін включають кінцевого користувача, маркетолога, дизайнера, тестувальника або оператора. Використання різних точок зору зацікавлених сторін веде до більшої глибини індивідуального рецензування з меншим дублюванням проблем між рецензентами.

Крім того, читання, засноване на перспективі, також вимагає від рецензентів спроби використати робочий продукт, який перевіряється, для створення продукту, який вони б витягли з нього. Наприклад, тестувальник спробував би згенерувати проекти приймальних випробувань, якщо зчитує специфікацію вимог на основі перспективи, щоб перевірити, чи включена вся необхідна інформація. Крім того, при читанні в перспективі очікується використання контрольних списків.

Емпіричні дослідження показали, що читання на основі перспективи є найефективнішою загальною технікою перегляду вимог і технічних робочих продуктів. Ключовим фактором успіху є включення та належне зважування точок зору різних зацікавлених сторін на основі ризиків.

Рольовий

Огляд на основі ролей — це техніка, за якої рецензенти оцінюють робочий продукт з точки зору окремих ролей зацікавлених сторін. Типові ролі включають конкретні типи кінцевих користувачів (досвідчені, недосвідчені, старші, діти тощо), а також конкретні ролі в організації (адміністратор користувача, системний адміністратор, тестувальник продуктивності тощо). Застосовуються ті самі принципи, що й у читанні в перспективі, оскільки ролі подібні.

Фактори успіху переглядів (версія 3.1)

Для успішного огляду необхідно розглянути відповідний тип огляду та використані методи. Крім того, існує низка інших факторів, які впливатимуть на результат перегляду.

Організаційні фактори успіху для оглядів включають:

Кожний перегляд має чіткі цілі, визначені під час планування перегляду та використані як вимірні критерії виходу
Застосовуються типи огляду, які підходять для досягнення цілей і відповідають типу та рівню робочих продуктів програмного забезпечення та учасників
Будь-які використовувані методи перегляду, такі як перевірка на основі контрольного списку або на основі ролей, підходять для ефективного виявлення дефектів у робочому продукті, який перевіряється
Будь-які використовувані контрольні списки стосуються основних ризиків і є актуальними
Великі документи пишуться та переглядаються невеликими частинами, щоб контролювати якість шляхом надання авторам ранніх і частих відгуків про недоліки
Учасники мають достатньо часу для підготовки
Огляди плануються з належним повідомленням
Керівництво підтримує процес перегляду (наприклад, шляхом включення достатнього часу для діяльності з перегляду в графіки проєкту)
Огляди інтегровані в політику якості та/або тестування компанії.

Пов’язані з людьми фактори успіху відгуків включають:

Для досягнення цілей перегляду залучаються потрібні люди, наприклад, люди з різними навичками або поглядами
Тестувальники вважаються цінними рецензентами, які роблять внесок у рецензування та дізнаються про робочий продукт, що дає їм змогу готувати більш ефективні тести та готувати ці тести раніше
Учасники приділяють достатньо часу та уваги до деталей
Огляди проводяться невеликими частинами, щоб рецензенти не втрачали концентрації під час індивідуального огляду та/або зустрічі з огляду (якщо вона проводиться)
Виявлені дефекти визнаються, оцінюються та розглядаються об’єктивно
Зустріч добре організована, щоб учасники вважали її цінним використанням свого часу
Огляд проводиться в атмосфері довіри; результат не використовуватиметься для оцінки учасників
Учасники уникають мови тіла та поведінки, які можуть вказувати на нудьгу, роздратування або ворожість до інших учасників
Забезпечується адекватне навчання, особливо для більш формальних видів перевірок, таких як перевірки
Пропагується культура навчання та вдосконалення процесу

Фактори успіху переглядів (версія 4.0)

Є кілька факторів, які визначають успіх оглядів, зокрема:

Визначення чітких цілей і вимірних критеріїв виходу. Оцінка учасників ніколи не повинна бути об’єктивною
Вибір відповідного типу перевірки для досягнення поставлених цілей і відповідно до типу робочого продукту, учасників перевірки, потреб проєкту та контексту
Проведення оглядів невеликими частинами, щоб рецензенти не втрачали концентрацію під час окремого огляду та/або зустрічі з огляду (якщо вона проводиться)
Надання відгуків зацікавленим сторонам і авторам від рецензій, щоб вони могли покращити продукт і свою діяльність
Надання достатнього часу учасникам для підготовки до перегляду
Підтримка процесу перегляду з боку керівництва
Зробити огляди частиною культури організації, щоб сприяти навчанню та вдосконаленню процесу
Забезпечення відповідного навчання для всіх учасників, щоб вони знали, як виконувати свою роль
Спрощення зустрічей