행정망 먹통, 6일 새 전혀 다른 원인 지목…풀리지 않는 의문

“L4 스위치 장애”라더니 “라우터 모듈 포트 이상”
장비 손상 파악에 오랜 시간 걸린 점 납득 어렵고
IT업계선 “소프트웨어 문제일 가능성 높아” 지적도

기자손지민 / 수정 2023-11-27 08:53 / 등록 2023-11-26 21:31

“(행정전산망 먹통의) 장애가 발생한 원인은 ‘엘(L)4’ 장비에 문제가 생겼다는 걸 발견했는데, 그 안에 어떤 부분이 실제로 문제를 일으켰는지에 대해서는 저희가 조금 더 면밀한 조사를 거쳐서….”(11월19일 서보람 행정안전부 디지털정부실장)

“이 현상의 원인은 ‘라우터’(L3) 장비의 케이블을 연결하는 모듈(부품)의 포트(데이터를 주고받는 통로) 일부가 이상이 있었기 때문이었습니다.”(11월25일 송상효 행안부 ‘지방행정전산서비스 개편 티에프(TF)’ 공동팀장)

지난 17일 각종 민원서류 발급을 올스톱시켰던 ‘행정전산망 먹통 사태’의 원인이 6일 만에 네트워크 장비 ‘엘4 스위치’ 장애에서 또 다른 네트워크 장비 ‘라우터’의 연결 단자(포트) 손상으로 바뀌었다. 지난 25일 정부가 ‘지방행정전산서비스 장애 원인 및 향후 대책 브리핑’에서 이같이 장애 원인에 대한 최종 결과를 발표했지만, 장비 손상을 뒤늦게 알아차린 이유나 라우터의 손상 원인 등은 밝혀지지 않아 여전히 석연찮은 의문점들이 남아 있다.

라우터는 서로 다른 네트워크를 연결해주는 장치다. 네트워크의 관문과 같은 장치로, 한 지역에서 다른 지역의 네트워크로 데이터가 전송되면 이 데이터들을 받아 분배하는 역할을 한다. 처음 원인으로 지목된 엘4 스위치는 분배되는 데이터들이 특정 지점(노드)에 몰려 과부하되지 않도록 분산하는 장비다. 오류가 난 ‘시도 새올행정시스템’을 관리하는 국가정보자원관리원(관리원)의 대전본원 라우터 가운데 관리원 광주센터 라우터와 연결되는 라우터 모듈의 포트가 망가진 것이 이번 사태의 직접적인 원인이 됐다.

행안부 티에프의 설명을 종합하면 행안부는 지난 17일 오전 공무원이 업무를 보기 위해 로그인하는 인증시스템(GPKI)에 오류가 생겨 ‘새올’에 접속이 안 되자, 데이터가 인증서버에 도달하기 전 단계인 엘4 스위치를 뜯어보기 시작했다. 시스템 장애 전날인 16일 엘4 스위치의 운영체제(OS)를 업데이트했던 점도 이 장치를 먼저 들여다보게 된 계기가 됐다. 18일 새벽 우선 문제가 된 엘4 스위치를 고성능으로 교체하자 시스템이 다시 작동했다. 장치를 떼어내고 새로 끼우자 그동안 발생했던 불량 패킷(데이터 전송 단위)이 싹 사라지고, 고성능 장치가 다시 분산을 시작하니 문제가 해결된 듯 보였던 것이다. 19일 오후 행안부가 ‘행정전산망 정상화’를 발표하며 엘4 스위치를 원인으로 지목한 것도 이런 이유에서다.

그러나 문제는 계속됐다. 엘4 스위치를 교체했지만 계속해서 불량 패킷이 발생했고, 인증서버에 또다시 문제가 쌓이기 시작한 것이다. 엘4 스위치의 운영체제 문제로 보고 16일 업데이트 이전으로 상태를 되돌려도 같은 문제가 발생했다고 한다. 특히 그중에서도 대전본원과 광주센터 사이에서 패킷이 계속해서 유실되는 현상을 발견했고, 이를 지역과 지역 간의 문제로 보고 라우터로 눈을 돌려 원인을 살펴본 결과 모듈의 포트 손상을 찾아냈다.

다만, 모듈의 포트가 왜 손상됐는지는 밝혀지지 않았다. 이재용 국가정보자원관리원장은 지난 25일 브리핑에서 “물리적인 부품 손상이기 때문에 원인을 밝혀내기는 상당히 어렵다”고 말했다. 이 원장에 따르면 장비들을 관리하는 전산실은 매일 육안으로 점검한다. 눈에 잘 보이지 않는 부품 고장을 잡아내긴 어려운 점검체계였던 셈이다.

전문가들은 그동안 장비가 손상된 줄도 모른데다 이를 찾는 데 며칠씩 걸린 것은 납득하기 어렵다고 말한다. 김승주 고려대 정보보호대학원 교수는 “평소 장비 점검을 제대로 했다면 점검 기록이 남아 있어 원인을 금방 찾을 수 있었을 텐데 점검을 주기적으로 제대로 했는지 의문이 든다”며 “육안으로 점검하는 것은 의미가 없다”고 지적했다.

정보기술(IT) 업계에서는 물리적 손상뿐 아니라 소프트웨어에도 근본적인 문제가 있는 것으로 보인다는 목소리도 나온다. 한 업계 관계자는 “애초에 문제가 됐던 인증시스템 장애와 같은 문제는 보통 소프트웨어 문제일 가능성이 높고, 이를 밝히려면 로그(작동 기록) 데이터 분석 기록이 나와야 하는데 행안부에서는 이를 공개하지 않고 하드웨어 장비 문제로 마무리 지으려 하는 것으로 보인다”고 말했다.

의문점이 계속 나오는 상황에서 행안부는 장비 문제로 원인을 확정하고 다음달 8일까지 관리원에서 관리 중인 모든 하드웨어 장비 중 조달청 고시 기준으로 오래된 장비 총 9600여대를 우선적으로 점검하겠다는 계획이다.

손지민 박지영 기자 sjm@hani.co.kr

https://www.khan.co.kr/national/national-general/article/202311251632001

정부 “17일 지방행정전산망 장애 원인은 ‘케이블 연결 포트 불량’”

입력 : 2023.11.25 16:32 수정 : 2023.11.25 17:31박용필 기자

지난 17일 발생했던 ‘지방행정전산망 장애’의 원인은 ‘포트 불량’이었다고 정부는 25일 발표했다. 네트워크 장비에 케이블을 연결하는 기계 부품의 불량이 전국의 민원업무를 ‘올 스톱’시켰다는 것이다.

‘지방행정전산서비스 개편 TF(테스크포스)’는 이날 정부서울청사에서 브리핑을 열고 이같이 밝혔다. TF 공동팀장인 송상효 숭실대 교수는 “원인은 라우터 장비(개별 네트워크들을 연결해주는 장비)의 케이블을 연결하는 모듈에 있는 포트 중 일부가 이상이 있었기 때문”이라며 “이 때문에 라우터에서 패킷(데이터 묶음)을 (서버로) 전송할 때 용량이 큰 패킷이 유실되는 현상이 발생했고, 통합검증서버는 라우터로부터 서비스 제공에 필요한 패킷을 정상적으로 수신하지 못해 지연이 중첩되면서 장애가 발생했다”고 밝혔다.

즉 개별 네트워크 서버들을 연결해주는 장비의 케이블 연결 부품 불량으로 데이터 송수신이 제대로 안돼, 로그인 절차를 관리하는 인증 서버가 작동을 멈췄다는 것이다.

정부는 앞서 지난 19일 지방행정전산망 장애 관련 첫 브리핑 당시 ‘네트워크 장비(L4 스위치) 오류’를 원인으로 추정했다. 장애의 원인을 달리 발표한 경위에 대해 송 교수는 “장애가 발생한 다음 날인 지난 18일 오전 4시 L4 스위치 2개를 교체한 뒤 ‘정부 24’가 정상 작동을 해서 (지난 19일) 그렇게 추정했던 것”이라며 “당시 주말이라 서비스는 정상 작동했지만 일부 기능에 지연이 발견됐고, 센터 간 네트워크를 연결하는 부분을 분석한 결과 (라우터) 포트 불량이 발견됐다”고 했다.

오류가 난 시스템을 대신할 백업 시스템이나 이중화 장비가 제 기능을 하지 못한 부분에 대해 TF는 “이중화나 백업 체계를 작동할 사안이 아니다”라고 했다. 이재용 국가정보자원관리원장은 “홍수·지진 등으로 전산실 운영이 불가능해질 경우 원격의 다른 전산실에서 서비스 운영을 대신한다는 개념이 백업 시스템”이라며 “이번 경우는 데이터나 프로그램이 손실된 것이 아니어서 센터를 고쳐서 정상 가동하는 것이 훨씬 빠른 경로고 그렇게 운영하는 것이 맞다”고 했다.

송 교수도 “‘이중화’ 구성은 하나의 시스템이 작동되지 않을 경우를 대비해 이를 대신할 시스템을 구성하는 것인데, 이번 경우는 시스템이 아닌 시스템 내의 일부 모듈에 이상이 생긴 것이라 이중화가 작동하지 않은 것”이라며 “이중화 구성은 적절하게 잘 구성돼 있다”고 했다.

장애 전날 이뤄진 ‘네트워크 장비 소프트웨어 업데이트’와의 연관성에 대해서는 “시기적으로 볼 때 원인 중 하나로 추정됐지만, 분석 결과 연관성을 찾지 못했다”고 했다. 해킹 가능성에 대해서도 “아직 관련 징후가 발견된 것 없다”고 했다.

원인 발표에 시일이 걸린 이유에 대해서는 “해당 라우터에 연결된 시스템이 복잡하고 많아 관련 시스템의 로그(작동기록)들을 모두 분석하고, 원인에 대한 확신을 갖기 위해 8차례에 걸쳐 검증을 거치느라 다소 시일이 소요됐다”고 했다.

이날 TF가 발표한 원인은 지난 17일 발생한 지방행정전산망 장애에만 해당하는 것이다. 이후 발생한 3건의 다른 전산 서비스 장애와는 무관하다고 TF는 밝혔다.

이날 브리핑에선 재발 방지 및 개선에 관한 대책도 발표됐다. 고기동 행안부 차관은 “포트 불량이 있을 수 있는 노후 장비들에 대해 이날부터 전수 점검에 착수했다”고 밝혔다. “국민에게 장애 상황을 신속히 알리기 위해 관련 매뉴얼을 보완하고, 중요 서비스 시스템과 연관 장비들에 대한 통합 모니터링 체계를 구축하는 한편, 상설 장애대응반도 구성하겠다”고도 했다.

또 전산 서비스가 중단돼도 행정서비스 제공이 가능하도록 대안을 마련하고, 국가전산망 마비를 재난 및 사고 유형으로 명시하겠다고 했다. 낡은 하드웨어와 소프트웨어를 신속히 교체하고 기술력 높은 기업 참여를 위한 공공정보화사업의 사업 대가 현실화 등도 추진해 나가겠다고 했다.

보시스템 개발·운영을 외주용역에 의존하는 기존 체계를 개선하기 위해 디지털 인재의 정부 영입을 추진하는 한편, 국가정보자원관리원에 입주한 시스템에 대한 이중화, 재해복구시스템, 네트워크 구성 등의 기술구조를 전면 검토할 계획이라고 했다.

https://m.boannews.com/html/detail.html?tab_type=1&idx=123904

행정전산망 마비 사태 왜 일어났나? 네트워크 장비 교체 시기와 시스템 이중화 대처 ‘미흡’ 논란

2023-11-20 15:26

사고 발생 하루 전 펌웨어 업데이트 작업...롤백하고 정상 작동 확인
국가보안기술연구소에서 장애 원인 관련 테스트 예정
좀 더 신속한 장비 교체와 시스템 이중화 구성 미흡 지적

[보안뉴스 김경애 기자] 대국민 민원 서비스인 ‘정부24’와 공무원 전용 행정전산망 ‘새올’ 시스템을 비롯한 국가 행정전산망이 약 3일 동안 마비됐다가 복구된 가운데, 이를 관리하는 행정안전부 산하 국가정보자원관리원에서 발생한 장애 원인이 아직까지 명확하게 밝혀지지 않고 있어 이에 대한 관심이 커지고 있다. 본지 취재 결과 네트워크 장애 원인으로는 △장비 교체 과정에서의 문제 △네트워크 작업 과정에서의 오류 △OS 펌웨어 문제로 인한 오류 등 크게 3가지 중 하나로 추정되고 있다.


▲국가정보자원관리원의 장애 발생 이슈와 관련해 정부24 홈페이지에 올라온 공지사항[이미지=정부24]

첫째, 네트워크 장비 교체의 경우 장비를 교체하는 과정에서 호환성 문제 등으로 제대로 통신이 이뤄지지 않거나 장애가 발생하는 일이 흔하기 때문이다. 그러나 전산망 마비 사태 이후 장비가 교체됐기 때문에 장비 교체로 인한 원인은 아닌 것으로 보인다.

장비 교체와 관련해 본지 취재 결과, 사고 발생 이후 18일 국가정보자원관리원의 요청으로 기존에 사용하던 L4 스위치 제품을 고성능의 L4 스위치 새 제품으로 교체한 것으로 파악됐다. 이후 서비스가 가오픈됐으며, 행안부에서 19일(일요일) 장비 교체에 대해 공식 발표했다.

따라서 장비 관련해서는 장비의 노후화 또는 다른 부분에서 문제가 됐을 가능성이 있다. 국가보안기술연구소는 추후 이번 사태의 원인 파악을 위해 장비에 대한 테스트를 진행할 계획으로 알려졌다.

둘째, 네트워크 작업 과정에서의 오류다. 이는 작업자의 실수를 예로 들 수 있다. 이와 관련 한 보안전문가는 “L4의 경우 장비가 많으면 스크립트를 짜서 명령을 내리는데, 스크립트가 돌면서 자동으로 명령에 따라 수행한 후, 해당 장비에서 빠져 나와 또 다른 장비에서 명령을 수행하게 된다”며, “그런데 출구 명령이라고 할 수 있는 엑시트를 잘못 넣으면 장비에서 빠져나오지 않고 그 안에서 머물러 돌면서 작업 수행이 제대로 이뤄지지 않는다”고 설명했다. 즉, 작업자의 실수로 인한 오류 발생 가능성도 배제할 수 없다는 얘기다. 그러나 본지 취재에 따르면 작업과정에서 오류는 파악되지 않았다.

마지막 세번 째는, OS 펌웨어 문제다. 이 경우, 네트워크 장애에 있어 비일비재하게 발생하는 이슈 중 하나로 L4 스위치는 여러 서버를 연결해주는 중개 역할이기 때문에 많은 장비와 연결돼 있는데, 업데이트 과정에서 호환성 문제 등 여러 변수와 요인들로 인해 한 번에 업데이트가 안 되는 경우가 많다는 지적이다.

이와 관련 한 보안전문가는 “OS 펌웨어 업데이트의 경우 워낙 변수가 많아 한 번에 되는 경우는 거의 없다”며 “예를 들어 방화벽 장비도 똑같은 것을 사용하는데 동작하지 않는 경우도 있다. 그래서 일반 기업, 기관에서도 OS 펌웨어 업데이트는 시간을 정해두지 않고 작업한다. 이번 사태의 경우 롤백을 했는데도 문제가 발생했다는 건 특이 케이스로 펌웨어 동작 자체의 문제점일 수도 있고, 버전 업데이트 과정에서 통신에 문제가 발생한 것일 수도 있다”고 예측했다.

이와 관련 본지 취재 결과, 국가정보자원관리원의 네트워크 장애 발생 하루 전날인 16일(목요일) 당시 L4 OS 펌웨어 작업이 진행됐지만, 별다른 특이점이 발견되지는 않은 것으로 조사됐다.

이와 관련 익명을 요구한 보안업계 관계자는 “국가정보자원관리원의 요청으로 펌웨어 업데이트 일정에 따라 사고 발생 전날 펌웨어 OS 작업을 한 건 맞다. 사고 발생 이후 롤백(이전 단계로 원상 복구)으로 원상복구를 시켰지만 특이점, 이상한 점을 발견하지 못했다”며 “펌웨어는 당시 정상 운영된 것으로 확인됐다”고 밝혔다.

이처럼 네트워크 장애에 대한 정확한 원인이 파악되고 있지 않은 가운데, 장애 발생 시 서비스를 신속하게 대체할 수 있는 조치인 서비스 이중화 구성은 미흡했다는 지적이 일고 있다. 서비스 이중화는 정상적인 서비스 제공을 위해 한쪽에서 장애가 발생하면 빠르게 대체되어 정상적으로 서비스가 유지될 수 있도록 하는 장애대응 시스템 구성이다.

이와 관련 익명의 보안전문가는 “일반적으로 서비스 장애 발생시 서비스가 정상 운영되도록 이중화하는 게 일반적인데, 이번 사건의 경우 장애가 오래 지속된 걸 봐서는 이중화 체계가 제대로 갖춰지지 않은 것으로 보인다”고 했다. 또 다른 보안 관계자는 “장애 이중화 구성에 대해서는 언급할 수 없다”며 양해를 구했다.

따라서 이번 장애 발생 사건과 관련해 사고 발생시 신속한 장비 교체에 대한 부분과 서비스 이중화에 대해서는 뭇매를 피할 수 없게 됐다.

고려대학교 정보보호대학원 임종인 교수는 “L4 스위치가 문제였고, 이중화 백업 시스템이 제대로 작동하지 않은 점이 사실이라면 지난해 카카오 화재 사건과 같은 경우”라며 “당시 설계 미스 등 여러 요인으로 백업체계가 제대로 작동하지 않아 복구에 여러 날이 소요됐다”며, “무엇보다 위기관리 시스템이 잘 작동될 수 있도록 시스템 구축 및 관리가 철저히 이뤄져야 한다”고 지적했다.

서울여자대학교 정보보호학과 김명주 교수는 “업무영속성(BCP)과 재난복구성(DRP)이 실질적으로 이루어지지 않은 것이 문제”라며 “L4 스위치는 이중화를 해도 같은 제품일 경우 펌웨어 갱신시 동시에 망가질 수도 있다. 더 큰 차원에서의 이중화를 생각해볼 시점이며, 지금까지 잘 운영해온 시스템이라고 안주하지 말고 어느 시점에서는 원점 기반 리모델링이 필요하다. 지금이라도 이러한 근원적이며 거시적인 리뷰가 진행돼야 한다”고 강조했다.

스틸리언 신동휘 CTO는 “펌웨어, 네트워크 작업 등에서 문제가 발생했을 가능성이 있다”며, “원인 파악이 쉽지 않은 만큼 정상화 이후 충분히 파악할 수 있도록 시간이 확보돼야 한다”고 말했다.

익명을 요청한 또 다른 교수는 “장애의 원인 규명이 철저히 이뤄져야 한다. 이는 동일 유형 장애의 재발 방지를 위해 매우 중요하기 때문”이라며, “또한, 장애대응 체계의 전반적인 점검과 개선이 필요하다”고 당부했다.
[김경애 기자(boan3@boannews.com)]