13. DO-178 소프트웨어 리뷰의 진행 과정(Tasks) – Job Aid (2)

본격적으로 SOI 각각에 대해서 알아보기 전에 먼저 SOI가 가지고 있는 특성을 확인해 보자. Job Aid에서는 이에 대해서 소프트웨어 리뷰 태스크(Software Review Tasks)라는 용어로 다음과 같이 설명하고 있다.

 

해석을 보자.

 

공통 태스크의 개요   소프트웨어 리뷰에 대한 SOI와 관계없이 각각의 리뷰에 대해서 다음과 같은 태스크들이 수행될 것이다.   (1)   리뷰에 대한 준비 (2)   리뷰의 수행 (적절한 Job Aid 테이블을 참조하고 리뷰 Compliance, Findings, Observations, Actions, 그리고 Issues를 문서화함) (3)   리뷰에 대한 종료 브리핑을 준비하고 진행, 그리고 (4)   후속 활동을 수행 (예를 들면, 리포트 준비, 다른 리뷰가 필요한지 혹은 최종 준수가 증명되었는지 평가)

 

앞서 설명한 네 가지 단계의 리뷰는 분명 서로 다른 리뷰이고 각각의 리뷰를 수행한 결과로 나오는 산출물이 모두 다르다. 그런데 위의 설명처럼 각각의 리뷰에서 수행되는 활동의 특성에 초점을 맞추어 보면 위와 같이 동일한 형태로 설명할 수 있는 진행 과정을 확인할 수 있다. 그런 의미에서 먼저 공통적으로 설명할 수 있는 부분을 한꺼번에 설명하고 이후 각각의 SOI에서는 이러한 진행 과정 이외에 구분되는 차이점들을 중심으로 설명하게 될 것이다.

 

참고로 이후의 설명은 On-site Review를 기준으로 작성되어 있다. 기본적으로는 Desk Review에도 동일하게 적용되는 내용들이다. 대신 Desk Review에만 특별히 필요한 부분에 대해서는 각 설명의 말미에 별도로 관련 내용을 정리했다.

 

현재 Job Aid에는 각각에 대한 진행 과정이 실제 인증당국에서 진행하는 상황에 맞게 상당히 구체적으로 제시되어 있다. 예를 들면 다음과 같다.

 

FAA 내부적으로 실제 이루어 지는 과정과 관련된 담당자, 부서들이 직접적으로 언급되고 있기 때문에 어찌 보면 상당히 흥미로운 부분이긴 한데 지금 수준에서 우리가 이런 내용까지 깊게 들어갈 필요는 없어 보인다. 위의 예시에서 가장 상단에 ‘STEP 1’으로 표시된 수준까지만 정리하고 그 하위 레벨의 진행 과정은 일반적인 설명으로 대신한다.

 

(1)   TASK 1: 리뷰에 대한 준비

 

첫번째 태스크의 목적은 다음과 같다.

 

-       리뷰팀을 모으기

-       지원자에게 리뷰를 통지하기

-       리뷰를 위한 자료 전달을 조율

-       소프트웨어 리뷰에 대한 모든 팀원들의 준비

 

소프트웨어 리뷰를 수행하기 위해서 준비해야 할 부분들이다. 이것들을 포함해서 전체적인 진행 단계는 아래와 같다.

 

①    STEP 1: 인증팀과 조율하기 (by Team Leader)

②    STEP 2: 리뷰팀 구성하기 (by Team Leader)

③    STEP 3: 리뷰에 앞서 적어도 6주 전에 지원자에게 통지문 보내기 (by Team Leader)

④    STEP 4: 리뷰팀원들과 조율하기 (by Team Leader)

⑤    STEP 5: 각자의 책임을 논의하기 위해 소프트웨어 리뷰에 앞서 모든 팀원들과 미팅하기 (by Team)

 

앞서 설명한 것처럼 Desk Review는 On-site Review를 기반으로 한 위의 과정과 함께 추가로 고려할 다음과 같은 부분이 있다.

 

Desk Review를 위한 특별 고려사항   -       리뷰에 대해서 지원자에게 통보할 때 데이터가 언제 그리고 어디로 보내 져야 하는지를 합의해야 한다. 또한 카피본의 수를 정할 필요가 있다. -       Desk Review 동안에 나올 수 있는 질문에 대해서 지원자의 시설에 컨택포인트(POC, Point of Contact)를 세워야 한다. -       매일 마지막 시점에 지원자와의 컨퍼런스콜을 하는 것을 고려하거나 대면 인터뷰가 불가능할 것이기 때문에 지원자에게 팩스로 보낼 질문들의 로그를 유지해야 한다.

 

(2)   TASK 2: 리뷰의 수행과 결과의 작성

 

두번째 태스크의 목적은 다음과 같다.

 

-       리뷰를 완료하기 위해 필요한 모든 활동을 수행

-       Compliance, Finding, Observation, Action, Issue를 작성

-       다음 단계를 결정

 

실제 리뷰가 진행되고 리뷰의 결과가 취합되는 과정이다. 여기서 리뷰의 결과를 어떻게 정리하느냐는 Job Aid에서 제시하는 형태로 진행할 수도 있지만 실제 리뷰를 진행하는 팀의 선택에 따라서는 전혀 다른 방법으로 진행할 수도 있다. 중요한 것은 리뷰의 결과가 인증당국과 지원자에게 정확하게 전달되고 받아들여 질 수 있는가이다.

 

①    STEP 1: 지원자와 FAA 팀과 함께 도입브리핑을 진행 (by Team Leader)

②    STEP 2: 지원자의 시스템, 소프트웨어 그리고 개발 프로세스의 개요를 소개 (by Applicant and Team)

③    STEP 3: 지원자의 소프트웨어 데이터를 리뷰하고 적절한 인력과 인터뷰 진행 (by Team)

④    STEP 4: 소프트웨어 리뷰 Compliance, Finding, Observation, Action, Issue를 작성 (by Team)

⑤    STEP 5: 매일 마지막 시점에 진행상황을 평가하고 요약하며 Compliance, Finding, Observation, Action, Issue를 작성하고 다음 날의 계획을 세우기 위해 미팅을 함 (by Team)

 

위의 과정 중에서 STEP 4와 STEP 5에서 나오는 Compliance, Finding, Observation, Action, Issue에 대해서 Job Aid에서는 다음과 같이 정의하고 있다.

 

간단하게 정리하면 다음과 같다.

 

-       Compliance: DO-178의 Objective를 만족함 (문제없음)

-       Finding: DO-178의 Objective를 만족하지 않음 (문제임, 반드시 시정해야 함)

-       Observation: DO-178의 Objective와는 관계없이 개선을 제안하는 부분 (문제아님, 지원자가 받아들여도 되고 받아들이지 않아도 무방함)

-       Action: 수정할 부분에 대해서 데드라인과 함께 사람 혹은 조직에 할당 (문제임, 반드시 시정해야 함)

-       Issue: 소프트웨어와 직접 관계된 부분은 아니지만 안전성, 시스템, 프로그램 관리, 조직 등과 같은 이슈

 

소프트웨어 리뷰를 통해서 나올 수 있는 결과는 모두 위의 항목으로 구분될 수 있으며 설명을 보면 알 수 있듯이 반드시 시정해야 하는 Finding이 가장 중요한 항목이라고 할 수 있다.

 

Desk Review를 위한 특별 고려사항   -       도입 브리핑은 리뷰가 On-site가 아니기 때문에 리뷰팀원들간의 논의만이 있을 것이다. -       지원자는 프로그램 개요에 대한 발표를 하지 않을 것이다. – 이 정보는 문서를 읽음으로써 얻어질 것이다. -       인력을 인터뷰하거나 개발 활동을 직접 보는 것은 불가능할 것이다. 하지만 지원자에게 전달할 질문 목록을 유지하기를 원하거나 전화상으로 논의하는 것을 원할 수 있다.

 

(3)   TASK 3: 종료 브리핑을 준비하고 진행

 

세번째 태스크의 목적은 다음과 같다.

 

-       Compliance, Finding, Observation, Action, Issue를 취합하고 지원자와 공유

-       종료 브리핑을 통해서 DO-178 준수와 관련된 모든 이슈, 다른 관련 이슈, 그리고 다음 단계를 설명함

 

소프트웨어 리뷰가 완료되고 그 결과를 정리해서 지원자와 공유하는 과정이다. 공유의 형태는 브리핑이 가장 일반적인데 특별히 정해진 형식은 없다. 당시의 상황이나 진행하는 사람 등에 따라서 유동적이라고 보면 된다. 다만 여기서 중요한 것은 DO-178 목표(Objective)를 준수한 부분과 준수하지 않은 부분, 그리고 그와 관련해서 반드시 수행해야 할 것이 무엇인지를 알려주는 것이다. 특히 이런 부분은 지원자에게 아주 민감한 사항이 될 수 있기 때문에 상당한 주의를 기울여서 전달하게 된다.

 

①    STEP 1: 리뷰팀과의 미팅을 통해서 브리핑을 준비 (by Team)

②    STEP 2: 종료 브리핑을 진행 (by Team)

 

종료 브리핑에서 가장 마지막에 진행하는 부분은 아래와 같다.

 

해석을 보자.

 

2.5 리포트가 FAA에 의해서 준비되고 Finding, Observation, Compliance, Issue, 그리고 Action을 요약하고 문서화하기 위한 편지와 함께 보내질 것이란 것을 지원자에게 알림. (Team Leader)

 

종료 브리핑이 끝나면 공식적으로 FAA에 결과가 보고된다는 것을 지원자에게 알려주는 것이다. 이런 점에서 종료 브리핑을 통해서 검출된 항목에 대한 확인이 중요하다고 할 수 있다. 참고로 여기서의 확인은 지원자의 관점에서는 소프트웨어 리뷰를 통해서 검출된 항목 하나하나에 대해서 동의하는지에 초점이 맞추어 지는 것이며 이에 대한 확인을 기준으로 최종 리포트의 작성은 다음 TASK에서 수행된다.

 

Desk Review를 위한 특별 고려사항   -       리뷰에 대한 브리핑 혹은 요약이 여전히 준비되어야 한다. 하지만 전달은 컨퍼런스콜 혹은 문서로 작성된 리포트가 될 수 있다.

 

(4)   TASK 4: 후속 활동의 수행

 

네번째 태스크의 목적은 다음과 같다.

 

-       리뷰 이후의 후속 활동을 수행, 예를 들면

l  컨퍼런스콜을 수행

l  지원자와 추가적인 리뷰를 진행

l  지원자에 의해서 Compliance, Finding, Observation, Action, Issue의 결정을 감독

 

종료 브리핑을 통해서 소프트웨어 리뷰가 공식적으로 종료되면 그것을 기반으로 후속 활동이 수행된다. 위에서 몇 가지 예를 들기는 했지만 이 부분 역시 상당히 유동적인 부분이어서 결과적으로는 가장 필요한 활동, 중요한 활동이 진행된다고 보면 된다. 참고로 이는 DO-178 인증의 주체가 되는 인증당국, 지원자, 그리고 리뷰를 수행한 리뷰팀과의 긴밀한 논의와 검토를 통해서 결정될 수 있다.

 

①    STEP 1: 리포트를 준비 (by Team Leader)

-       FAA에 제출할 최종 리포트를 작성하는 것으로 TASK 3의 종료 브리핑에 제시된 내용에 살이 붙고 전체적으로 정리되는 것이다.

 

②    STEP 2: 예비 Finding과 Observation을 지원자와 조율 (by Team)

-       ①에서 작성된 초안이 지원자에게 전달되고 피드백을 받는 과정이다.

-       피드백 결과에 따라서 조율이 이루어지고 최종 리포트가 작성된다.

 

③    STEP 3: 향후 활동을 결정 (by Team Leader)

-       FAA 혹은 DER의 또 다른 리뷰가 필요한지를 결정한다.

-       지원자가 결함을 해결하고 준수를 보여주기 위해 처리해야 하는 활동을 구분한다.

-       이슈 페이퍼가 준비되고 지원자에게 전달할 필요가 있는지를 결정한다.

 

④    STEP 4: 지원자에게 보낼 편지를 준비하고 최종 리포트를 제출 (by Team Leader)

⑤    STEP 5: 인증팀과 조율 (by Team)

 

마지막의 ‘인증팀과 조율’에 대해서 Job Aid에서는 다음과 같이 설명하고 있다.

 

해석을 보자.

 

STEP 5: 인증팀과 조율(TEAM) 5.1 인증 프로젝트를 위한 Project Manager, System Engineer, 다른 Engineer들, Flight Test Personnel, Human Factors Personnel, Principal Inspector, 다른 관리자들, 등과 적절한 이슈에 대해서 논의한다. 5.2 필요에 따라서 CSTAs, TSs, Directorate Personnel, 그리고 Headquarters Personnel과 이슈 페이퍼, 특별한 조건 등을 만들고 제공한다. 5.3 Certification Review Items(CRI)에 대한 준수, 리뷰 활동에 대한 리포팅, 공동 확인 이슈 등과 같은 외국의 인증 이슈가 있다면 기술한다.

 

낯선 용어들이 많이 나오는데 필자가 잘 모르는 (혹은 접할 수 없는) 내용들이어서 이 부분은 이렇게 소개하는 정도로 마무리하겠다.

 

Desk Review를 위한 특별 고려사항   -       리뷰를 수행하는 동안에 지원자가 함께 있는 것이 아니고 염려되는 부분을 설명할 기회를 가지지 않기 때문에 리포트를 제출하기 전에 모든 이슈와 질문들을 설명하기 위한 컨퍼런스콜이나 미팅을 준비하는 것이 중요하다.

 

DO-178 인증을 받기 위한 지원자의 위치에 있는 지원자들이라면 위의 내용에서 지원자가 연결되는 지점을 중심으로 그 시점에서 무엇을 준비하고 대응해야 하는지를 이해하는 것이 중요하다. 참고로 이는 우리나라에서 많이 진행되는 DER과의 감사활동에도 상당부분 유사하게 적용되는 부분이라고 할 수 있기 때문에 실전에서도 충분히 참고가 될 것이다.