Month: March 2024

В цьому відео робиться спроба розібрати кілька десятків питань по шостому розділу сілабусу ISTQB CTFL.

Всі питання з відео з правильними відповідями наводяться нижче.

Question 1

Which of the following is likely to benefit most from the use of test tools providing test capture and replay facilities?

1. Integration testing.
2. System testing.
3. User acceptance testing.
4. Regression testing.

Question 2

Which of the following benefits are MOST likely to be achieved by using test tools?
(i) Easy to access information about tests and testing.
(ii) Reduced maintenance of testware.
(iii) Easy and cheap to implement.
(iv) Greater consistency of tests.

1. ii and iv
2. ii and iii
3. i and iv
4. i and iii

Question 3

A company recently purchased a commercial off-the-shelf application to automate their bill-paying process. They now plan to run an acceptance test against the package prior to putting it into production. Which of the following is their most likely reason for testing?

1. To detect bugs in the application.
2. To gather evidence for a lawsuit.
3. To build confidence in the application.
4. To train the users.

Question 4

A tool that supports traceability, recording of incidents or scheduling of tests is called:

1. A debugging tool.
2. A test execution tool.
3. A dynamic analysis tool.
4. A test management tool.

Question 5

A typical commercial test execution tool would be able to perform all of the following EXCEPT:

1. comparison of expected outcomes with actual outcomes.
2. reading test values from a data file.
3. generating expected outputs.
4. recording test inputs.

Question 6

Capture and replay facilities are least likely to be used to:

1. Recovery testing
2. GUI testing
3. User requirements.
4. Performance testing

Question 7

When an organization considers the use of testing tools, they should:

1. Use a tool in order to help define a good test process because the tool will force process repeatability and therefore enforce good test process.
2. Always start by bringing in automated test execution tools as these tools have the greatest return on investment and therefore should be introduced first.
3. Perform analysis of the test process and then assess whether it can be supported through the introduction of tool support.
4. Allow the developers to select the testing tools because tools are technical and developers have the appropriate skills to advise on test tool selection and configuration.

Question 8

From the list below, select the recommended principles for introducing a chosen test tool in an organization?
1. Roll the tool out to the entire organization at the same time.
2. Start with a pilot project.
3. Adapt and improve processes to fit the use of the tool.
4. Provide training and coaching for new users.
5. Let each team decide their own standard ways of using the tool.
6. Monitor that costs do not exceed initial acquisition cost.
7. Gather lessons learned from all teams.

1. 1, 2, 3, 5.
2. 2, 3, 4, 7
3. 1, 4, 6, 7.
4. 3, 4, 5, 6.

Question 9

Which of the following would NOT be a typical target of testing support tools?

1. Automate activities that require significant resources when done manually
2. Automate activities that cannot be executed manually
3. Automate repetitive tasks
4. Automating repetitive inspections

Question 10

The place to start if you want a (new) test tool is:

1. Invite a vendor to give a demo.
2. Find out what your budget would be for the tool.
3. Analyze your needs and requirements.
4. Attend a tool exhibition.

Question 11

Given the following types of tool, which tools would typically be used by developers and which by an independent test team:
(i.) static analysis.
(ii.) performance testing.
(iii.) test management.
(iv.) dynamic analysis.
(v.) test running.
(vi.) test data preparation.

1. developers would typically use ii, iv and vi; test team I, ii and v.
2. developers would typically use i and iv; test team ii, iii, v and vi.
3. developers would typically use i, iii, iv and v; test team ii and vi.
4. developers would typically use i, iv and vi; test team ii, iii and v.

Question 12

A data driven approach to test automation design is best described as:

1. Using action words to describe the actions to be taken, and the test data.
2. Scaling to support large numbers of users.
3. Being based on Equivalence Partitioning testing techniques.
4. Separating out the test data inputs and using a generic script that can real the test data and perform the same test steps with different data.

Question 13

What are the potential benefits from using tools in general to support testing?

1. Greater responsiveness of users, reduction of tests run, objectives not necessary.
2. Greater repeatability of tests, reduction in repetitive work, objective assessment.
3. Greater quality of code, reduction in paperwork, fewer objections to the tests.
4. Greater quality of code, reduction in the number of testers needed, better objectives for testing.

Question 14

Dynamic Analysis Tools are used to:

1. Determine differences between files or databases.
2. Monitor and report on how a system behaves under a variety of conditions.
3. Find defects, such as memory leaks, while software is executing.
4. Measure the percentage of specific types of code structure that have been exercised.

Question 15

What is a potential risk in using tools to support testing?

1. The tool will repeat exactly the same thing it did the previous time.
2. Insufficient reliance on the tool, i.e. still doing manual testing when a test execution tool has been purchased.
3. Unrealistic expectations, expecting the tool to do too much.
4. The tool may find defects that aren’t there.

Question 16

What type of tools to be used for Regression Testing

1. Performance
2. Record/Playback
3. A. & B.
4. None

Question 17

Which of the following activities should be performed during the selection and implementation of a testing tool?
(i) Investigate the organisation’s test process.
(ii) Conduct a proof of concept.
(iii) Implement the selected tool on a project behind schedule to save time.
(iv) Identify coaching and mentoring requirements for the use of the selected tool.

1. i, ii, iii.
2. i, ii, iv.
3. ii, iii, iv.
4. i, iii, iv.

Question 18

Which of the following are advanced scripting techniques for test execution tools?

1. Playback-driven and keyword-driven
2. Data-driven and capture-driven
3. Data-driven and keyword-driven
4. Capture-driven and keyhole-driven

Question 19

Which of the following are potential benefits of adding tools to the test process?
(I.) Reduction of repetitive testing procedures.
(II. )Ability to hire testers with fewer technical skills.
(III.) Ability to get an objective assessment of progress.
(IV.) Greater consistency in testing procedures.

1. II, III and IV
2. I, II and III
3. I, III and IV
4. I, II and IV

Question 20

Which of the following is likely to benefit most from the use of test tools providing test capture and replay facilities?

1. Integration testing.
2. System testing.
3. User acceptance testing.
4. Regression testing.

Question 21

Which of the following are potential benefits of using test support tools?

1. Reducing repetitive work and gaining easy access to test information
2. Ensuring greater consistency and minimizing software project risks
3. Allowing for greater reliance on the tool to automate the test process
4. Performing objective assessment and reducing the need for training

Основні принципи обрання інструментів (версія 3.1)

Основні міркування при виборі інструменту для організації включають:

• Оцінка зрілості власної організації, її сильних і слабких сторін
• Виявлення можливостей для вдосконалення процесу тестування, що підтримується інструментами
• Розуміння технологій, які використовуються об’єктом тестування, для вибору інструменту, сумісного з цією технологією
• Розуміння інструментів побудови та постійної інтеграції, які вже використовуються в організації, щоб забезпечити сумісність та інтеграцію інструментів
• Оцінка інструменту за чіткими вимогами та об’єктивними критеріями
• Розгляд того, чи доступний інструмент для безкоштовного пробного періоду (і як довго)
• Оцінка постачальника (включно з навчанням, підтримкою та комерційними аспектами) або підтримка некомерційних (наприклад, з відкритим кодом) інструментів
• Визначення внутрішніх вимог до коучингу та менторства у використанні інструменту
• Оцінка потреб у навчанні, враховуючи навички тестування (та автоматизації тестування) тих, хто працюватиме безпосередньо з інструментами
• Розгляд переваг і недоліків різних моделей ліцензування (наприклад, комерційних або з відкритим кодом)
• Оцінка співвідношення витрат і вигод на основі конкретного бізнес-кейсу (за потреби)

На останньому етапі слід провести оцінку підтвердження концепції, щоб визначити, чи ефективно інструмент працює з програмним забезпеченням, що тестується, і в межах поточної інфраструктури або, якщо необхідно, визначити зміни, необхідні для цієї інфраструктури для ефективного використання інструменту.

Пілотні проєкти під час впровадження інструмента в організації (версія 3.1)

Після завершення вибору інструменту та успішного підтвердження концепції впровадження обраного інструменту в організації зазвичай починається з пілотного проєкту, який має такі цілі:

• Отримання глибоких знань про інструмент, розуміння як його сильних, так і слабких сторін
• Оцінка того, як інструмент відповідає існуючим процесам і практикам, і визначення того, що потрібно змінити
• Прийняття стандартних способів використання, керування, зберігання та обслуговування інструменту та продуктів тестування (наприклад, прийняття рішення щодо іменування файлів і тестів, вибір стандартів кодування, створення бібліотек і визначення модульності наборів тестів)
• Оцінка того, чи будуть отримані вигоди за розумних витрат
• Розуміння показників, які ви бажаєте, щоб інструмент збирав і звітував, а також налаштування інструменту, щоб ці показники можна було фіксувати та звітувати

Фактори успіху при обранні інструменту (версія 3.1)

Фактори успіху для оцінки, впровадження, розгортання та постійної підтримки інструментів в організації включають:

• Поступове розгортання інструменту для решти організації
• Адаптація та вдосконалення процесів відповідно до використання інструменту
• Проведення тренінгів, інструктажу та наставництва для користувачів інструментів
• Визначення вказівок щодо використання інструменту (наприклад, внутрішні стандарти для автоматизації)
• Реалізація способу збору інформації про використання під час фактичного використання інструменту
• Використання інструментів моніторингу та переваги
• Надання підтримки користувачам даного інструменту
• Збір уроків, отриманих від усіх користувачів

Також важливо переконатися, що інструмент технічно та організаційно інтегрований у життєвий цикл розробки програмного забезпечення, який може залучати окремі організації, відповідальні за операції, або сторонніх постачальників.

В цьому відео починаємо працювати з секцію 6.2.
00:00:45 Main Principles for Tool Selection (V 3.1)
00:12:21 Pilot Projects for Introducing a Tool into an Organization (V 3.1)
00:15:47 Success Factors for Tools (V 3.1)

Розгляд інструментів тестування (версія 3.1)

Інструменти тестування можна використовувати для підтримки однієї або кількох дій тестування. До таких засобів відносяться:

• Інструменти, які безпосередньо використовуються під час тестування, наприклад інструменти виконання тестів і інструменти підготовки тестових даних
• Інструменти, які допомагають керувати вимогами, тестовими випадками, процедурами тестування, сценаріями автоматизованого тестування, результатами тестування, тестовими даними та дефектами, а також для звітування та моніторингу виконання тесту
• Інструменти, які використовуються для аналізу та оцінки
• Будь-який інструмент, який допомагає у тестуванні (електронна таблиця також є інструментом тестування в цьому значенні)

Класифікація інструментів тестування (версія 3.1)

Залежно від контексту інструменти тестування можуть мати одну або декілька з наступних цілей:

• Підвищення ефективності тестування шляхом автоматизації повторюваних завдань або завдань, які потребують значних ресурсів, коли виконуються вручну (наприклад, виконання тесту, регресійне тестування)
• Підвищення ефективності тестування шляхом підтримки ручного тестування протягом усього процесу тестування
• Поліпшення якості тестової діяльності, дозволяючи більш послідовне тестування та вищий рівень відтворюваності дефектів
• Автоматизація дій, які неможливо виконати вручну (наприклад, широкомасштабне тестування продуктивності)
• Підвищення надійності тестування (наприклад, шляхом автоматизації порівняння великих даних або моделювання поведінки)

Інструменти можна класифікувати за кількома критеріями, такими як призначення, ціна, модель ліцензування (наприклад, комерційна чи з відкритим кодом) і використовувана технологія. Інструменти класифіковані в цій навчальній програмі відповідно до тестових дій, які вони підтримують.

Деякі інструменти чітко підтримують лише або переважно одну дію; інші можуть підтримувати більше однієї діяльності, але класифікуються за діяльністю, з якою вони найбільш тісно пов’язані. Інструменти від одного постачальника, особливо ті, які були розроблені для спільної роботи, можуть надаватися як інтегрований пакет.

Деякі типи інструментів тестування можуть бути нав’язливими, що означає, що вони можуть вплинути на фактичний результат тесту. Наприклад, фактичний час відповіді для програми може відрізнятися через додаткові інструкції, які виконує інструмент тестування продуктивності, або обсяг досягнутого покриття коду може бути спотворений через використання інструменту покриття. Наслідки використання інтрузивних інструментів називають ефектом зонда.

Деякі інструменти пропонують підтримку, яка зазвичай більше підходить для розробників (наприклад, інструменти, які використовуються під час тестування компонентів та інтеграції). Такі інструменти позначені «(D)».

Підтримка інструментів для керування тестуванням і тестовим програмним забезпеченням

Інструменти керування можуть застосовуватися до будь-яких тестових дій протягом усього життєвого циклу розробки програмного забезпечення. Приклади інструментів, які підтримують керування тестуванням і тестовим програмним забезпеченням, включають:

• Інструменти керування тестами та інструменти керування життєвим циклом додатків (ALM)
• Інструменти керування вимогами (наприклад, відстеження до об’єктів тестування)
• Інструменти управління дефектами
• Інструменти керування конфігурацією
• Інструменти безперервної інтеграції (D)

Підтримка інструментів для статичного тестування

• Інструменти статичного аналізу (D)

Підтримка інструментів для проєктування та впровадження тестів

Інструменти розробки тестів допомагають у створенні придатних для обслуговування робочих продуктів у проєктуванні та реалізації тестів, включаючи тестові випадки, тестові процедури та тестові дані. Приклади таких інструментів:

• Інструменти тестування на основі моделі
• Засоби підготовки тестових даних

У деяких випадках інструменти, які підтримують розробку та впровадження тестів, також можуть підтримувати виконання тестів і журналювання або надавати свої результати безпосередньо іншим інструментам, які підтримують виконання тестів і журналювання.

Підтримка інструментів для виконання тестів і журналювання

Існує багато інструментів для підтримки та вдосконалення виконання тестів і ведення журналів. Приклади цих інструментів:

• Інструменти виконання тестів (наприклад, для запуску регресійних тестів)
• Інструменти покриття (наприклад, покриття вимог, покриття коду (D))
• Перевірка джгутів (D)

Підтримка інструментів для вимірювання продуктивності та динамічного аналізу

Інструменти вимірювання продуктивності та динамічного аналізу є важливими для підтримки діяльності з тестування продуктивності та навантаження, оскільки ці дії неможливо ефективно виконати вручну. Приклади цих інструментів:

• Інструменти тестування продуктивності
• Інструменти динамічного аналізу (D)

Підтримка інструментів для потреб спеціалізованого тестування

На додаток до інструментів, які підтримують загальний процес тестування, існує багато інших інструментів, які підтримують більш специфічне тестування нефункціональних характеристик.

Інструментальна підтримка тестування (версія 4.0)

Інструменти тестування підтримують і полегшують багато видів тестування. Приклади включають, але не обмежуються:

• Інструменти управління – підвищення ефективності процесу тестування шляхом полегшення керування SDLC, вимогами, тестами, дефектами, конфігурацією
• Інструменти статичного тестування – підтримують тестувальника у виконанні оглядів і статичного аналізу
• Інструменти розробки та реалізації тестів – полегшують створення тестових випадків, тестових даних і тестових процедур
• Інструменти виконання тестів і охоплення – полегшують автоматизоване виконання тестів і вимірювання охоплення
• Нефункціональні інструменти тестування – дозволяють тестувальнику виконувати нефункціональне тестування, яке важко або неможливо виконати вручну
• Інструменти DevOps – підтримка конвеєра доставки DevOps, відстеження робочого процесу, автоматизованого збирання, CI/CD
• Інструменти співпраці – полегшують спілкування
• Інструменти, що підтримують масштабованість і стандартизацію розгортання (наприклад, віртуальні машини, інструменти контейнеризації)
• Будь-який інший інструмент, який допомагає у тестуванні (наприклад, електронна таблиця є інструментом тестування в контексті тестування)

Переваги та ризики автоматизації тестування (версія 3.1)

Просто придбання інструменту не гарантує успіху. Кожен новий інструмент, запроваджений в організації, вимагатиме зусиль для досягнення реальних і тривалих переваг. Існують потенційні переваги та можливості використання інструментів у тестуванні, але є й ризики. Особливо це стосується інструментів виконання тестів (які часто називають автоматизацією тестування).

Потенційні переваги використання інструментів для підтримки виконання тесту включають:

• Зменшення повторюваної ручної роботи (наприклад, запуск регресійних тестів, завдання налаштування/видалення середовища, повторне введення тих самих тестових даних і перевірка на відповідність стандартам кодування), що економить час
• Більша узгодженість і повторюваність (наприклад, тестові дані створюються узгодженим чином, тести виконуються інструментом у тому самому порядку з тією ж частотою, а тести послідовно виводяться на основі вимог)
• Більш об’єктивне оцінювання (наприклад, статичні вимірювання, охоплення)
• Спрощений доступ до інформації про тестування (наприклад, статистичні дані та графіки про хід тестування, рівень дефектів і продуктивність)

Потенційні ризики використання інструментів для підтримки тестування включають:

• Очікування щодо інструменту можуть бути нереалістичними (включно з функціональністю та простотою використання)
• Час, вартість і зусилля для початкового впровадження інструменту можуть бути недооцінені (включаючи навчання та зовнішню експертизу)
• Час і зусилля, необхідні для досягнення значних і постійних переваг від інструменту, можуть бути недооцінені (включаючи необхідність змін у процесі тестування та постійного вдосконалення способу використання інструменту)
• Зусилля, необхідні для підтримки тестових робочих продуктів, створених інструментом, можуть бути недооцінені
• На інструмент можна покладатися занадто багато (розглядається як заміна дизайну або виконання тесту або використання автоматизованого тестування, де ручне тестування було б кращим)
• Контроль версій тестових робочих продуктів можна знехтувати
• Проблеми взаємозв’язку та сумісності між критично важливими інструментами, такими як інструменти керування вимогами, інструменти керування конфігурацією, інструменти керування дефектами та інструменти від багатьох постачальників, можуть бути знехтувані
• Постачальник інструменту може припинити діяльність, вилучити інструмент з експлуатації або продати інструмент іншому постачальнику
• Постачальник може надати погану відповідь щодо підтримки, оновлень і виправлення дефектів
• Проєкт з відкритим кодом може бути призупинено
• Інструмент може не підтримувати нову платформу чи технологію
• Може не бути чіткого права власності на інструмент (наприклад, для наставництва, оновлень тощо)

Переваги та ризики автоматизації тестування (версія 4.0)

Просто придбання інструменту не гарантує успіху. Кожен новий інструмент вимагатиме зусиль для досягнення реальних і тривалих переваг (наприклад, для впровадження інструменту, обслуговування та навчання). Існують також деякі ризики, які потребують аналізу та пом’якшення.

Потенційні переваги використання автоматизації тестування включають:

• Економія часу завдяки зменшенню повторюваної ручної роботи (наприклад, виконання регресійних тестів, повторне введення тих самих даних тесту, порівняння очікуваних результатів із фактичними результатами та перевірка на відповідність стандартам кодування)
• Запобігання простим людським помилкам завдяки більшій послідовності та повторюваності (наприклад, тести послідовно виводяться з вимог, дані тестів створюються систематично, а тести виконуються інструментом у тому самому порядку з тією ж частотою)
• Більш об’єктивна оцінка (наприклад, охоплення) і надання показників, які є надто складними для визначення людьми
• Спрощений доступ до інформації про тестування для підтримки управління тестуванням і звітності про тестування (наприклад, статистичні дані, графіки та зведені дані про хід тестування, рівень дефектів і тривалість виконання тесту)
• Скорочений час виконання тесту для забезпечення раннього виявлення дефектів, швидшого зворотного зв’язку та швидшого часу виходу на ринок
• Більше часу для тестувальників для розробки нових, глибших і ефективніших тестів

Потенційні ризики використання автоматизації тестування включають:

• Нереалістичні очікування щодо переваг інструменту (включно з функціональністю та простотою використання).
• Неточні оцінки часу, витрат, зусиль, необхідних для впровадження інструменту, підтримки сценаріїв тестування та зміни існуючого ручного процесу тестування.
• Використання тестового інструменту, коли ручне тестування більш доречне.
• Занадто покладатися на інструмент, наприклад, ігнорувати потребу критичного мислення людини.
• Залежність від постачальника інструменту, який може припинити роботу, припинити використання інструменту, продати інструмент іншому постачальнику або надати погану підтримку (наприклад, відповіді на запити, оновлення та виправлення дефектів).
• Використання програмного забезпечення з відкритим вихідним кодом, яке може бути залишено, що означає відсутність доступності подальших оновлень, або його внутрішні компоненти можуть потребувати досить частих оновлень як подальший розвиток.
• Інструмент автоматизації не сумісний із платформою розробки.
• Вибір невідповідного інструменту, який не відповідає нормативним вимогам або стандартам безпеки.

Особливі міркування щодо виконання тестів та інструментів керування тестами (версія 3.1)

Зазначені вище підходи вимагають досвіду роботи з мовою сценаріїв (тестувальників, розробників або спеціалістів з автоматизації тестування). При використанні підходів до тестування на основі даних або ключових слів тестувальники, які не знайомі з мовою сценаріїв, також можуть зробити свій внесок, створивши тестові дані або ключові слова для цих попередньо визначених сценаріїв. Незалежно від використовуваної методики створення сценаріїв, очікувані результати для кожного тесту потрібно порівнювати з фактичними результатами тесту або динамічно (під час виконання тесту), або зберігати для подальшого порівняння (після виконання).

Інструменти тестування на основі моделі (MBT) дозволяють зафіксувати функціональну специфікацію у формі моделі, наприклад діаграми діяльності. Зазвичай це завдання виконує системний розробник. Інструмент MBT інтерпретує модель, щоб створити специфікації тестового випадку, які потім можна зберегти в інструменті керування тестами або виконати інструментом виконання тестів.

Інструменти керування тестами часто потребують взаємодії з іншими інструментами чи електронними таблицями з різних причин, зокрема:

• Виробляти корисну інформацію у форматі, який відповідає потребам організації
• Підтримувати постійну відстежуваність вимог у інструменті керування вимогами
• Для зв’язку з інформацією про версію тестового об’єкта в інструменті керування конфігурацією

Це особливо важливо враховувати під час використання інтегрованого інструменту (наприклад, керування життєвим циклом програми), який включає модуль керування тестуванням, а також інші модулі (наприклад, графік проєкту та інформацію про бюджет), які використовуються різними групами в організації.

В цьому відео починаємо працювати з секцію 6.1.
00:02:17 Test Tool Considerations (v 3.1)
00:04:53 Test Tool Classification (v 3.1)
00:22:36 Tool Support for Testing (v 4.0)
00:27:21 Benefits and Risks of Test Automation
00:48:58 Special Considerations for Test Execution and Test Management Tools (V 3.1)