35. 툴평가 및 인증 (Section 11.4)

툴이라는 것은 그것이 하드웨어든 소프트웨어든 일반적으로는 하드웨어 설계와 검증에 사용된다. 그런데 이런 툴의 사용을 가만히 살펴보면 툴로 인해서 문제가 발생할 수 있는 여지가 있다는 것을 확인할 수 있다. 이를테면 다음과 같은 식이다.

 

• 설계툴: 하드웨어 아이템이나 설계를 만드는 과정에서 툴에 포함된 에러가 주입될 가능성 있음

• 검증툴: 검증에 사용되는 툴에 포함된 에러로 인해서 하드웨어 아이템이나 설계에 포함된 에러를 탐지하지 못할 가능성 있음

 

바로 이러한 이유로 인해서 DO-254 가이드라인에서는 툴을 사용하기 전에 툴에 대한 평가를 수행할 것을 요구하고 있다. 그리고 그 과정에서 필요한 경우에는 툴인증을 받도록 요구하게 된다.

 

결과적으로 툴평가 및 인증(Tool Assessment and Qualification)의 목적은 툴이 의도된 역할을 정해진 레벨에 맞게 제대로 수행할 수 있는지를 확인하는 것이라고 할 수 있다. 이번 절에서는 가이드라인에서 제시하는 툴평가와 인증의 전체적인 결정 과정을 중심으로 살펴보게 된다. 참고로 이번 절에서는 툴인증을 어떻게 수행하는 가에 대한 설명은 하지 않는다.

 

참고) 툴인증 자체에 대한 설명은 DO-254가 발행된 시점 기준으로는 DO-178B에서 관련된 내용을 확인할 수 있다. 그리고 2012년에는 툴인증에 대한 부분이 DO-178에서 아예 분리되어 DO-330이라는 별도의 가이드라인이 발행되었다. 툴인증에 대한 내용은 필자의 다른 포스팅을 참고하기 바란다.

 

35.1. 툴평가 및 인증 프로세스

 

툴평가 및 인증의 전체적인 과정에 대해서 DO-254 가이드라인에서는 다음과 같은 흐름도로 설명하고 있다.

 

흐름도의 요지는 제목에서 볼 수 있는 것처럼 설계와 검증툴을 구분하고 그에 따른 평가를 통해서 툴인증을 받아야 하는지를 결정하는 과정을 나타내는 것이다. 실제로 하드웨어 개발과정에서 사용하는 툴이 있는 경우 일단 위의 흐름도의 1번에서부터 검토가 시작된다. 그리고 화살표의 흐름대로 따라가면서 지시된 활동을 수행하고 결정박스에서는 Yes 혹은 No를 판단해서 해당하는 다음 단계로 넘어가게 된다.

 

아래의 표는 각 단계별 활동(Activity) 혹은 결정(Decision)박스, 그리고 화살표의 연결이 무엇을 의미하고 어떻게 판단해서 처리해야 하는지를 정리한 것이다.

 

#	활동(Activity) 혹은 결정(Decision) 박스 내용	해설
1	툴에 대한 식별 (Identify the Tool)	이름, 소스, 버전 그리고 기반이 되는 호스트 환경을 포함. 툴업데이트가 문서화되고 추적되어야 함
2	툴이 지원하는 프로세스 식별 (Identify the Process the Tool Supports)	설계에서 사용되는지 검증에서 사용되는지, 제약사항이 있는지, 고려해야 하는 어떤 문제가 있는지(이 경우 사용 가능성이 정당화되어야 함)를 식별
3	툴의 출력이 독립적으로 평가되는가? (Is the Tool Output Independently Assessed?)	여기서 독립적인 평가라는 것은 독립적인 방법을 사용해서 툴의 출력의 정확성을 검증하는 것 - 이런 경우에는 더 이상 툴평가가 필요 없음 (Yes에 해당) - 그 외의 경우에는 다음 단계로 진행 (No에 해당)
4	Level A, B 혹은 C의 설계툴인가? 혹은 Level A 혹은 B의 검증툴인가? (Level A, B or C Design Tool or Level A or B Verification Tool?)	툴을 사용하는 기능의 레벨이 무엇인지에 따라서 다음 단계가 결정됨 - Level D 기능인 경우 설계툴이든 검증툴이든 더 이상 툴평가가 필요 없음 (No에 해당) - Level C 기능에 대한 검증툴인 경우 더 이상 툴평가가 필요 없음(No에 해당) - Elemental Analysis와 같은 검증 시험의 완료를 평가하는 경우 더 이상 툴평가가 필요 없음 (No에 해당) - Level A, B, C 기능에 대한 설계툴인 경우 다음 단계로 진행 (Yes에 해당) - Level A, B 기능에 대한 검증툴인 경우 다음 단계로 진행 (Yes에 해당)
5	툴이 관련된 히스토리를 가지고 있는가? (Does the Tool have Relevant History?)	툴이 이전부터 사용되어 왔고 받아들일 수 있는 결과물을 만들어낸다는 것이 확인되어 온 경우 더 이상 툴평가가 필요 없음 (Yes에 해당) – 이 경우 정당성이 포함되어야 함 주의: 툴의 히스토리에 대해서는 비항공분야도 허용될 수 있음   그 외의 경우에는 다음 단계로 진행 (No에 해당)
6	툴인증을 위한 베이스라인과 문제점 리포트를 생성하라 (Establish Baseline and Problem Reporting for Tool Qualification)	툴인증을 준비하기 위해 툴형상관리를 위한 베이스라인과 툴문제점 리포트를 생성
7	기본적인 툴인증 (Basic Tool Qualification)	툴인증에 대한 계획을 세우고 계획에 따른 실행 요구사항을 만들기 위해서 툴 사용자 가이드 혹은 툴기능 및 사용에 대한 다른 설명이 사용될 수 있음
8	툴의 유형과 레벨은? (Type of Tool and Level?)	툴이 Level A 혹은 B 하드웨어 설계툴인가? (9번으로 이동) 툴이 Level C 하드웨어 설계툴인가? (10번으로 이동) 툴이 Level A 혹은 B 하드웨어 검증툴인가? (10번으로 이동)
9	설계툴 인증 (Design Tool Qualification)	기본적으로는 DO-178B / EUROCAE ED-12B의 툴인증 지침에 따라서 툴인증을 받음, 인증당국과의 협의를 통해서 다른 방법이 사용될 수도 있음
10	완료 (Complete)	툴평가, 평가 결정에 대한 정당성, 툴인증 데이터(가능한 경우)를 문서화 필요에 따라서 설치 가이드, 사용자 매뉴얼, 툴인증 데이터에 대한 특정 참조 제공

 

35.2 툴평가 및 인증 데이터

 

툴평가 및 인증 데이터에는 다음과 같은 것들이 포함되어야 한다.

 

① 툴과 툴이 지원하는 프로세스 그리고 가능하다면 다음 항목들을 식별
a. Figure 11-1의 3번에 의한 독립된 평가의 이유 및 결과
b. Figure 11-1의 4번에 의한 툴지정(Tool Designation)
c. Figure 11-1의 5번에 의한 툴히스토리(Tool History)

② Figure 11-1의 6에 의한 모호하지 않은 형상 정의와 시험되는 형상이 실제 적용되는 것과 다른 경우 적용가능성에 대한 정당성

③ 툴인증에 대한 상세내역
시험에 사용되는 요구사항, 시험 절차, 예상 결과, 분석 절차, 독립성 확보 방안 포함

④ 설계툴 인증을 위한 계획: 계획에서 식별되는 활동을 위한 절차와 결과 포함

⑤ 회피 방법을 포함한 알려진 툴정오표의 경향과 적용가능시 툴인증 결과로써 생성되는 문제점 리포트

 

이상으로 DO-254 가이드라인에 대한 설명을 마친다. 앞서 언급한 바가 있지만 DO-254 가이드라인의 본문(부록 제외)의 내용은 하드웨어 설계 보증 레벨 A에서부터 E까지 모든 레벨에서 공통으로 적용되는 내용이라는 점을 다시 한 번 기억하자. 레벨 A와 B인 경우에만 DO-254 가이드라인 부록(Appendix) B의 내용을 추가로 적용하게 되므로 착오없으시기 바란다.

 

지금까지 설명된 내용은 기본적으로 DO-254 가이드라인의 내용에 기반해서 해설한 것으로 그 중 아주 일부에 대해서만 필자의 의견이 추가된 것이다. 따라서 적어도 해석의 오류가 있지 않는 한 가이드라인에서 벗어나는, 혹은 설명하지 않는 내용은 포함하지 않도록 노력했다. 그럼에도 DO-254와 하드웨어에 대한 필자의 지식 부족으로 미진하거나 부분적으로 오류가 있을 수 있다. 혹시 그런 부분을 발견하시는 분은 필자에게 꼭 알려주시기를 부탁드린다.

 

이어지는 절부터는 DO-254 가이드라인의 본문 내용이 아닌 부록(Appendix)에 대한 설명이다. 다시 한 번 말하지만 특히 자신이 개발하는 하드웨어의 설계 보증 레벨이 A와 B인 경우에는 부록(Appendix) B의 내용을 반드시 확인해야 한다는 점을 명심하자.

 

참고) 지금까지 설명한 내용 이외에 툴평가 및 인증과 관련해서 참고할 만한 내용을 Q&A 형태로 정리해 보았다.   Q) 툴이 특정 설계 혹은 검증 활동에 필요한 이상의 기능을 가지고 있는 경우 툴인증을 어떻게 받아야 하나? A) 가능하다면 툴 전체가 아닌 특정 하드웨어 라이프 사이클 활동에서 사용되는 툴의 특정 기능들만 평가하면 된다. 하지만 오히려 그렇게 구분해서 별도로 받는 것이 더 어려울 가능성이 높다.   Q) 동일한 툴이 설계와 검증 단계에서 모두 사용될 경우 툴인증을 어떻게 받아야 하나? A) 설계툴로서 평가되어야 한다. 다만 사용되는 기능을 명확하게 분리할 수 있다면 개별적으로 받을 수는 있지만 현실적으로는 어렵다고 할 수 있다.   Q) 툴인증은 무엇을 기준으로 받아야 하나? A) DO-254 인증을 받는 경우에는 Figure 11-1의 9번의 설명대로 DO-178B를 그대로 따르면 된다. 다만 인증 당국이 그것에 동의하지 않거나 다른 기준, 예를 들면 툴인증의 최신 버전인 DO-330을 따를 것을 요구하는 경우에는 비록 가이드라인에서 DO-178B를 명시적으로 제시하고 있더라도 인증 당국의 요구를 그대로 따라야 한다. 물론 이는 충분히 협의가 가능한 부분이다.