17. DO-178 인증감사: 소프트웨어 검증 리뷰 (SOI#3) – Job Aid (5)

(1)   소프트웨어 검증 리뷰의 구분

 

소프트웨어 검증 프로세스는 일반적으로 조사(Inspections), 시연(Demonstrations), 리뷰(Reviews), 분석(Analyses), 시험(Tests) 그리고 커버리지 분석(Coverage Analysis)의 조합이다. 그리고 다른 리뷰단계에서도 마찬가지지만 이러한 검증 활동 과정에서 소프트웨어 형상 관리와 품질 보증 프로세스가 수행된다.

 

소프트웨어 검증 활동은 정의된 소프트웨어 제품이 실제로 만들어진 소프트웨어 제품과 동일하다는 것을 확인하는 것이다. 따라서 소프트웨어 검증 리뷰는 소프트웨어 검증 프로세스가 이러한 확인을 제공할 것이라는 점과 제품이 충분히 시험되고 의도된 제품이라는 것에 대한 객관적인 증거를 만들어 낼 것이라는 점을 보장해야 한다.

 

소프트웨어 검증 리뷰의 목적을 정리하면 다음과 같다.

 

-       지원자의 검증 계획과 절차의 유효성과 실행을 평가

-       모든 관련된 소프트웨어 형상 관리와 품질 보증 태스크의 완료를 보장

-       소프트웨어 요구사항, 설계, 코드, 그리고 통합이 검증되었다는 것을 보장

-       소프트웨어 검증 프로세스가 RTCA/DO-178B Annex A, Table A-7의 요구사항 기반 시험 커버리지와 구조적 커버리지 기준을 달성할 것이라는 것을 보장

 

다음 기준은 검증 프로세스의 성숙도를 나타낸다.

 

①    개발 데이터(예를 들면, 요구사항, 설계, 소스 코드, 오브젝트 코드, 링크 및 로딩 데이터, 실행가능한 이미지)가 완료되고 리뷰되며 형상관리하에 있다.

②    시험 케이스와 절차가 문서화되고 리뷰되며 형상관리하에 있다.

③    시험 케이스와 절차가 실행된다. (공식 혹은 비공식으로)

④    완료된 시험 결과가 계획 문서에 작성된 대로 문서화된다.

⑤    소프트웨어 시험 환경이 문서화되고 컨트롤된다.

 

(2)   소프트웨어 검증 리뷰를 위해 필요한 데이터

 

지원자는 소프트웨어 검증 리뷰를 위한 준수여부를 결정하기 위해 인증당국(혹은 DER)이 확인할 수 있는 다음과 같은 소프트웨어 데이터를 소프트웨어 레벨에 맞게 만들어야 하며 이들 데이터는 검증 리뷰과정에서 확인가능해야 한다.

 

소프트웨어 데이터	RTCA/DO-178B Section
Software Requirements Data	11.9
Design Description	11.10
Source Code	11.11
Object Code	11.12
Software Verification Cases and Procedures	6.3.1 ~ 6.3.6 그리고 11.13
Software Verification Results	11.14
Software Life Cycle Environment Configuration Index (시험 환경 포함)	11.15
Software Configuration Index (시험 베이스라인)	11.16
Problem Reports	11.17
Software Configuration Management Records	11.18
Software Quality Assurance Records	11.19
Software Tool Qualification Data (가능하다면)	12.2.3

 

각각의 세부 내용에 대해서 필자가 별도로 포스팅한 링크를 일부 연결해 두었으므로 필요한 분들은 참고하시기 바란다. (TBD – 블로그 등록 시 각각에 대한 링크 연결)

 

(3)   소프트웨어 검증 리뷰에 대한 평가 기준

 

소프트웨어 검증 리뷰에 대한 평가 기준은 RTCA/DO-178B Annex A에서 검증에 적용하는 목표(Objective)를 사용해야 한다. 아래와 같다.

 

-       Table A-5 (목표 7)

-       Table A-6 (모든 목표)

-       Table A-7 (모든 목표)

-       Table A-8 (모든 목표)

-       Table A-9 (목표 1 ~ 2)

-       Table A-10 (모든 목표)

 

(4)   Job Aid 기준 SOI #3 정리

 

n  SOI#3에 대한 활동 – 검증 리뷰(Verification Review)

 

구분	내용
목적 (Purpose)	•           지원자의 검증 계획과 절차의 효과적인 수행을 평가 •           모든 관련된 형상관리와 품질보증 태스크의 완료를 체크 •           리뷰 과정에서 발견되는 계획과 표준과의 혹은 지원자가 요청한 차이점과의 받아들일 만한 차이점 •           선택된 소프트웨어 요구사항이 검증되었다는 것을 보장 •           소프트웨어 라이프 사이클 데이터가 Table A-6, A-7, A-8, A-9, 그리고 A-10으로부터의 DO-178B 목표를 만족한다는 것을 보장 •           검증 활동이 DO-178B Table A-7에서 발견되는 커버리지 요구사항을 만족한다는 것을 보장
리뷰를 수행하는 시기 (When Review Occurs)	•           다음 활동들이 존재할 때 (혹은 필요하다고 간주될 때) ü  시험 절차와 결과가 문서화되고 리뷰된다. ü  실행가능한 오브젝트 코드가 소프트웨어 요구사항을 만족한다. ü  커버리지 분석은 구조적 커버리지 요구사항을 만족한다는 것을 나타낸다. (레벨 A, B, C에 대해)   유의사항: 시험은 많은 지원자들이 문제를 가지고 있는 부분이다. 이러한 리뷰는 이슈가 발견되는 경우 주요한 재시험이 필요하지 않을 정도로 충분히 일찍, 하지만 시험 프로그램에서 어떤 경향을 볼 수 있을만큼 충분히 늦게 수행하는 것이 최선이다.
리뷰 전 검토할 데이터 (Data Reviewed Prior to Review)	•           SOI#1 그리고 SOI#2로부터의 리포트 •           SOI#1과 SOI#2에서의 Open 항목들 •           모든 계획들 (PSAC, SVP, SDP, SCMP, SQAP) ü  SOI#1과 SOI#2 이후 복습차원 ü  혹은 SOI#1과 SOI#2 이후 계획으로부터의 변경을 리뷰하기 위해
리뷰에서 검토할 데이터 (Data Reviewed at Review)	•           Software Requirements Data •           Design Description •           Source Code •           Software Verification Cases and Procedures •           Software Verification Results •           Problem Reports •           Software Configuration Management Records •           Software Quality Assurance Records •           추적 매트릭스(Trace Matrix) 혹은 툴(Tool) •           DER의 사전 리뷰 활동으로부터 나온 Finding, Observation
의제 (Agenda)	•           Supplement 3의 Section 1 참조   ※ 여기서 Supplement 3은 Job Aid로 함께 릴리즈된 문서 중 하나이다. 실제 진행 일정이 예시로 나와 있다. 굳이 여기서 자세한 설명이 필요한 부분은 아니어서 이 부분은 생략한다.
리뷰에 요구되는 기간 (Number of Days Required)	•           2 ~ 3일   ※ 대략적인 예상 기간일 뿐으로 실제 기간은 당시의 상황에 따라서 협의를 통해 최종 조율되는 부분이다. 참고만 하자.
평가 활동 및 질문 (Evaluation Activities and Questions)	•           SOI#3를 진행하는 동안 소프트웨어에 할당된 시스템 요구사항의 샘플에 대해서 그들이 적절하게 시험되었는지에 대한 추적이 수행된다. •           유사하게 시험 케이스는 추적성을 검증하기 위해 시스템 요구사항으로 추적된다. •           다음과 같은 SOI#3 테이블(별도 테이블 참조)은 SOI#3 동안에 수행할 일반적인 활동들과 물어보게 될 질문들을 기술하고 있다.   ※ SOI#3 테이블에 대한 부분은 추후 별도의 절에서 설명할 예정이다.
설명 (Instructions)	•           SOI#3(검증 리뷰)에 대한 15개의 주요 평가 활동이 있음 •           대응되는 DO-178 목표와 소프트웨어 엄격성과의 관계에서 각각의 활동에 대한 질문들을 리뷰하라

 

검증 리뷰를 수행하는 시점을 언제로 할 지는 상당히 어려우면서도 중요한 부분이다. 너무 늦게 해도 문제가 되고 너무 빨리 해도 문제가 된다. 정해진 시점은 없지만 그나마 위의 설명 중에 언급된 것처럼 문제가 발생했을 때 그 문제 하나로 시험 전체가 완전히 새로 시작되는 상황이 생기지 않을 정도의 시점(즉, 일이 너무 커지기 전에), 한편으로는 시험을 통해서 문제의 경향이 어느 정도 드러날 수 있는 시점(즉, 시험 횟수를 최소로 할 수 있는)이 가장 좋다. 하지만 과연 이것을 판단하는 것이 가능할까? 결국은 일정과 진행상황 등의 여러가지를 고려해서 정하는 수밖에 없을 것이다.