종단간 암호화, 오해부터 깨자

메신저 앱을 고를 때 ‘종단간 암호화’라는 문구를 본 적이 있을 겁니다. 많은 사람이 이 말을 들으면 ‘내 대화는 완벽하게 안전하겠구나’라고 생각합니다. 하지만 보안 메신저 제가 10년 넘게 보안 컨설팅을 하면서 만난 고객 중에 이 문구 때문에 오히려 더 큰 위험에 노출된 경우가 적지 않았습니다. 종단간 암호화는 절대 만능이 아닙니다. 오히려 그것이 주는 안도감 때문에 다른 보안 위협을 간과하게 되는 경우가 많습니다.

예를 들어, 한 중소기업 대표는 ‘우리는 텔레그램 비밀대화를 쓰니까 안전하다’고 말했지만, 정작 직원들이 회사 업무를 일반 채팅방에서 공유하고 있었습니다. 비밀대화는 종단간 암호화가 적용되지만, 일반 채팅방은 서버에 대화 내용이 저장될 수 있습니다. 이런 식으로 종단간 암호화의 적용 범위를 정확히 모르는 채 사용하는 사람이 대부분입니다.

이 글에서는 종단간 암호화가 실제로 어떻게 동작하는지, 어떤 상황에서 효과적이고 어떤 상황에서 무용지물이 되는지를 구체적인 사례와 함께 짚어보겠습니다. 그리고 마지막에는 여러분이 직접 서비스를 선택할 때 적용할 수 있는 기준을 제시할 테니, 끝까지 읽어보시길 권합니다.

종단간 암호화는 무엇이고, 무엇을 보호하나

종단간 암호화(End-to-End Encryption, E2EE)는 메시지를 보내는 사람의 기기에서 암호화하고, 받는 사람의 기기에서만 복호화할 수 있게 하는 기술입니다. 중간에 있는 서버는 암호화된 데이터만 보기 때문에, 설령 해커가 서버를 뚫거나 통신사를 통해 데이터를 가로채도 내용을 읽을 수 없습니다. 이게 종단간 암호화의 핵심입니다. 예를 들어, 왓츠앱은 기본적으로 모든 메시지에 E2EE를 적용하고 있고, 시그널은 프로토콜 자체가 E2EE를 기반으로 설계되었습니다.

하지만 여기서 중요한 점은 ‘메시지 내용’만 보호된다는 것입니다. 메타데이터, 즉 누가 언제 어디서 누구에게 메시지를 보냈는지에 대한 정보는 보호되지 않습니다. 2013년 에드워드 스노든의 폭로 이후 많은 사람이 이 사실을 알게 되었지만, 여전히 상당수가 ‘종단간 암호화 = 완전한 익명성’으로 오해합니다. 실제로 미국 국토안보부 문서에 따르면, 테러리스트들도 E2EE를 사용하지만, 그들의 통화 패턴과 위치 데이터를 통해 추적할 수 있다고 합니다.

또한 종단간 암호화는 ‘전송 중’ 데이터만 보호합니다. 즉, 메시지가 상대방 기기에 도착한 후에는 그 기기의 보안에 달려 있습니다. 상대방의 스마트폰이 멀웨어에 감염되어 있다면, 암호화된 메시지라도 복호화된 상태에서 유출될 수 있습니다. 제가 상담했던 한 금융사 직원은 ‘우리는 암호화된 메신저를 쓰니까 안전하다’고 믿었지만, 실제로는 상대방 기기가 해킹당해 대화 내용이 유출된 사례가 있었습니다. E2EE는 기기 보안을 대체하지 못합니다.

메신저 앱별 종단간 암호화 적용 범위와 차이

시중에 나와 있는 주요 메신저 앱들은 종단간 암호화를 적용하는 방식이 제각각입니다. 왓츠앱은 기본적으로 모든 채팅에 E2EE를 적용하지만, 백업 파일은 예외입니다. 구글 드라이브나 iCloud에 백업할 때는 암호화가 해제된 상태로 저장될 수 있습니다. 2021년에 왓츠앱은 백업 파일도 E2EE로 암호화하는 옵션을 도입했지만, 기본값은 아닙니다. 사용자가 직접 설정해야 하는데, 이 사실을 모르는 사람이 많습니다.

텔레그램은 더 복잡합니다. 일반 채팅방은 서버에 암호화된 상태로 저장되지만, 서버가 복호화 키를 가지고 있어서 실제로는 서버 관리자가 볼 수 있습니다. ‘비밀대화’ 모드에서만 E2EE가 적용되고, 그마저도 클라우드 동기화가 되지 않습니다. 시그널은 모든 메시지에 E2EE를 적용하고, 백업도 암호화되며, 오픈소스로 구현을 검증할 수 있습니다. 제가 보안 전문가로서 개인적으로 가장 신뢰하는 앱은 시그널입니다.

하지만 여기서 중요한 것은 ‘어떤 앱이 더 안전한가’가 아니라, ‘내가 사용하는 앱에서 E2EE가 정확히 어디에 적용되는가’를 아는 것입니다. 2022년에 카카오톡이 ‘오픈채팅’에 E2EE를 도입했지만, 일반 1:1 채팅은 아직도 서버에 평문으로 저장됩니다. 저는 한국 기업을 대상으로 보안 교육을 할 때 항상 이 점을 강조합니다. 회사 내부에서 카카오톡을 업무용으로 쓴다면, 대화 내용이 서버에 저장될 수 있다는 것을 인지해야 합니다.

종단간 암호화가 무너지는 4가지 상황

아무리 강력한 종단간 암호화라도 몇 가지 상황에서는 무용지물이 됩니다. 첫째, 상대방 기기가 이미 해킹된 경우입니다. 메시지가 도착해서 복호화된 순간, 그 내용은 기기 메모리에 평문으로 존재합니다. 스파이웨어가 설치되어 있다면 그대로 유출됩니다. 둘째, 사용자가 직접 키를 공유하는 경우입니다. 예를 들어, 보안에 취약한 사용자가 자신의 비밀키를 다른 사람에게 보내거나, 피싱 사이트에 입력하면 모든 대화가 노출됩니다. 실제로 2023년에 발생한 유명인 사생활 유출 사건의 상당수가 이 경우였습니다.

셋째, 중간자 공격(MITM)입니다. 사용자가 가짜 서버에 연결되도록 유도하면, 암호화가 적용되기 전에 데이터가 가로채질 수 있습니다. 이를 방지하기 위해 https://search.naver.com/search.naver?query=보안 메신저 대부분의 메신저는 키 지문(Key Fingerprint)을 비교하는 기능을 제공합니다. 하지만 일반 사용자가 이 지문을 확인하는 경우는 극히 드뭅니다. 넷째, 백업과 관련된 문제입니다. 앞서 언급했듯이, 클라우드에 백업할 때 암호화가 해제되는 경우가 많습니다.

저는 한 번은 기업 고객에게 ‘종단간 암호화를 쓰고 있는데도 대화가 유출되었다’는 연락을 받은 적이 있습니다. 조사해보니, 직원이 회사 노트북에 개인 메신저를 설치하고, 그 노트북이 랜섬웨어에 감염되어 전체 파일이 유출된 것이었습니다. 암호화된 대화도 결국 상대방 기기에 도착하면 평문으로 존재하기 때문에, 기기 보안이 허술하면 모든 보안이 무너집니다. 이런 사례를 보면 ‘종단간 암호화를 쓴다’는 것만으로 안심하는 것은 매우 위험합니다.

기업에서 종단간 암호화 도입 시 고려할 점

기업 환경에서 종단간 암호화를 도입할 때는 개인 사용자와 다른 고려 사항이 있습니다. 첫째, 규정 준수 문제입니다. 금융회사나 의료기관은 대화 내용을 감사(audit)할 의무가 있는 경우가 많습니다. E2EE를 적용하면 서버에서 내용을 볼 수 없기 때문에, 규제 요구사항을 충족하기 어려워집니다. 이런 경우에는 ‘게이트웨이 암호화’나 ‘조건부 전송’ 같은 대안을 고려해야 합니다. 둘째, 키 관리입니다. 기업에서는 직원이 퇴사하거나 기기를 분실했을 때, 그 직원이 과거에 주고받은 메시지에 접근할 수 없도록 키를 폐기하거나 재발급해야 합니다. 이 과정을 제대로 관리하지 않으면, 전 직원이 회사 기밀을 계속 읽을 수 있는 상황이 발생할 수 있습니다.

셋째, 백업과 복구 전략입니다. E2EE를 적용하면 서버에서 복호화할 수 없기 때문에, 사용자가 비밀번호를 잊어버리면 데이터를 복구할 수 없습니다. 실제로 한 기업에서 직원이 비밀번호를 잊어버려서 수개월간의 업무 대화가 모두 사라진 사례가 있었습니다. 이를 방지하려면 복구 키를 안전한 곳에 보관하거나, 인증 정보를 분산 관리하는 방식을 도입해야 합니다. 넷째, 사용자 교육입니다. 아무리 좋은 기술을 도입해도, 직원들이 피싱에 걸리거나 부주의하게 사용하면 소용이 없습니다.

저는 기업 보안 담당자들에게 항상 이렇게 조언합니다. ‘종단간 암호화는 도구일 뿐입니다. 중요한 것은 전체 보안 체계입니다.’ E2EE를 도입할 때는 암호화 적용 범위, 키 관리 정책, 직원 교육, 백업 전략을 종합적으로 고려해야 합니다. 그리고 무엇보다, 회사의 업무 특성에 맞는 앱을 선택해야 합니다. 예를 들어, 고객 응대 업무가 많은 회사라면 고객 대화를 기록해야 하기 때문에 E2EE가 오히려 방해가 될 수 있습니다.

내게 맞는 종단간 암호화 서비스 선택 기준

이제 여러분이 직접 서비스를 선택할 때 어떤 기준을 적용해야 하는지 이야기하겠습니다. 첫 번째 기준은 ‘기본 적용 여부’입니다. 왓츠앱처럼 기본적으로 모든 메시지에 E2EE가 적용되는 서비스가, 텔레그램처럼 특정 모드에서만 적용되는 서비스보다 안전합니다. 기본값이 아닌 기능은 사용자가 실수로 끄거나 잊어버리기 쉽습니다. 두 번째는 ‘오픈소스 여부’입니다. 시그널이나 왓츠앱(시그널 프로토콜 기반)처럼 암호화 구현이 공개되어 있는 서비스는, 보안 전문가들이 지속적으로 검증하기 때문에 버그가 발견되더라도 빠르게 수정됩니다. 반면에 폐쇄적인 서비스는 실제로 어떤 암호화를 쓰는지 알 수 없습니다.

세 번째는 ‘백업 암호화’입니다. 클라우드 백업 시에도 E2EE가 유지되는지 확인하세요. 왓츠앱은 별도 설정을 해야 하고, 시그널은 기본적으로 백업이 암호화됩니다. 네 번째는 ‘키 확인 가능 여부’입니다. 상대방과 키 지문을 비교할 수 있는 기능이 있는지, 있다면 얼마나 쉽게 접근할 수 있는지 확인하세요. 이 기능은 중간자 공격을 예방하는 데 필수적입니다. 다섯 번째는 ‘회사 또는 개인의 요구사항’입니다. 규정 준수가 필요하다면 E2EE가 오히려 독이 될 수 있습니다.

마지막으로, 저는 여러분이 ‘종단간 암호화’라는 문구에 현혹되지 않기를 바랍니다. 중요한 것은 그 서비스가 어떤 상황에서 어떤 데이터를 보호하는지 구체적으로 이해하는 것입니다. 예를 들어, 친구와의 일상 대화에는 왓츠앱이나 시그널을, 업무용으로는 회사가 관리하는 협업 도구를 사용하는 것이 현명한 선택일 수 있습니다. 제가 보안 컨설팅에서 항상 강조하는 것은 ‘하나의 도구에 모든 것을 기대하지 마라’는 것입니다. 종단간 암호화는 강력한 보안 도구이지만, 그것만으로는 충분하지 않습니다. 여러분의 위협 모델을 명확히 하고, 그에 맞는 도구를 선택하세요.

자주 묻는 질문

종단간 암호화가 적용된 메신저에서 백업하면 대화 내용이 유출될 수 있나요?

네, 가능합니다. 왓츠앱처럼 백업 파일이 암호화되지 않은 상태로 클라우드에 저장될 수 있는 서비스가 있습니다. 설정에서 백업 암호화를 활성화하면 안전하지만, 기본값이 아닐 수 있습니다. 시그널은 백업이 기본적으로 암호화됩니다.

텔레그램 비밀대화와 일반 채팅방의 차이는 무엇인가요?

비밀대화는 종단간 암호화가 적용되어 서버에서 내용을 볼 수 없지만, 일반 채팅방은 서버에 암호화된 상태로 저장되고 서버가 복호화 키를 가지고 있어 관리자가 볼 수 있습니다. 비밀대화는 클라우드 동기화도 되지 않습니다.

종단간 암호화를 사용하면 해킹으로부터 완전히 안전한가요?

아닙니다. 종단간 암호화는 전송 중인 데이터만 보호합니다. 상대방 기기가 해킹되거나, 사용자가 피싱에 걸려 키를 유출하면 대화 내용이 노출될 수 있습니다. 기기 보안과 사용자 행동이 매우 중요합니다.