문서함 앱이 https://api.docs.example에서 서버 인증서를 받았지만, 문서 목록을 요청하기도 전에 연결을 중단합니다. 인증서 파일도 있고 서버도 응답하는데 왜 연결되지 않을까요?
앱이 인증서를 받았다고 해서 접속하려던 서버인지까지 확인한 것은 아닙니다. 앱은 자신이 접속하려던 이름과 인증서가 맞는지, 인증서를 신뢰할 근거가 있는지, 지금도 유효한지를 확인해야 합니다. 가상의 문서함 서비스에서 이 조건을 하나씩 바꿔 보겠습니다. TLS 연결의 나머지 조건은 정상이라고 가정합니다.
정상적으로 연결되는 경우부터 살펴보겠습니다
앱이 접속하려는 이름은 api.docs.example입니다. 서버 인증서에도 이 이름이 들어 있고, 인증서를 발급한 중간 인증 기관(CA)을 거쳐 앱이 신뢰하는 루트 CA까지 검증할 수 있습니다. 검증 시각도 필요한 인증서들의 유효 기간 안에 있습니다.
이 상태에서 인증서 검사를 통과하고 TLS의 나머지 절차를 마치면 문서 목록을 요청할 수 있습니다. 어느 조건 때문에 연결이 거부되는지 알아보기 위해, 다른 조건은 그대로 두고 하나씩 바꿔 비교합니다.
다른 서비스의 인증서라면 이름 검사에서 멈춥니다
요청 주소는 그대로 두고, 서버가 DNS 이름에 files.docs.example만 들어 있는 인증서를 보내는 경우를 보겠습니다. 발급 경로와 유효 기간에는 문제가 없습니다. 그래도 앱이 접속하려던 곳은 api.docs.example이므로 이름이 맞지 않습니다.
앱은 접속하려던 이름을 기준으로 인증서를 확인합니다. 서버가 보낸 인증서에 맞춰 기대하는 이름을 바꾸면, 엉뚱한 상대가 제시한 이름까지 받아들이게 됩니다. 여기서는 URL의 호스트 이름과 인증서의 subjectAltName에 담긴 DNS 이름을 비교합니다. TLS 서비스 이름 검증을 다루는 RFC 9525의 일치 판정도 클라이언트가 기대한 식별자와 인증서가 제시한 식별자를 비교하도록 정합니다.
앱은 누가 발급한 인증서인지와 요청한 서버 이름에 맞는 인증서인지를 따로 확인합니다. 이 예시에서는 다른 검사를 통과해도 이름이 다르기 때문에 연결을 거부합니다.
접속할 이름과 인증서의 이름을 비교합니다
단계 설명과 조건별 결과
- 앱은 api.docs.example에 연결하려고 합니다. 아직 인증서의 이름을 받기 전입니다.
- 서버가 인증서를 앱으로 보냅니다. 전달 중인 이름을 이미 검증한 것으로 표시하지 않습니다.
- subjectAltName에서 api.docs.example을 읽었습니다. 이제 기대한 이름과 비교합니다.
- 이름이 일치합니다. 정상인 경로와 기간, 나머지 TLS 절차까지 마치면 문서 요청을 보낼 수 있습니다.
같은 이름 — 이름이 일치합니다. 정상인 경로와 기간, 나머지 TLS 절차까지 마치면 문서 요청을 보낼 수 있습니다.
다른 이름 — 발급 경로와 기간이 정상이더라도 이름이 다르므로 연결을 거부하고 문서 요청을 보내지 않습니다.
발급 경로를 잇지 못해도 연결할 수 없습니다
이번에는 이름을 정상으로 되돌리고, 서버가 중간 CA 인증서를 보내지 않는 상황을 보겠습니다. 앱에도 필요한 중간 인증서가 없고 다른 경로로 구할 수도 없다고 가정합니다.
서버 인증서에 발급자 이름이 적혀 있는 것만으로는 검증이 끝나지 않습니다. 앱은 발급 경로에 있는 인증서와 공개키로 서명을 검사하고, 그 경로가 자신이 신뢰하는 루트 CA까지 연결되는지 확인합니다. RFC 5280의 인증 경로 검증은 이 경로와 신뢰 기준으로 인증서의 이름과 공개키가 올바르게 연결돼 있는지 검증합니다.
이 예시에서는 중간 인증서가 없어 앱이 신뢰하는 루트 CA까지 경로를 만들지 못하므로, 서버 인증서의 이름과 날짜가 맞아도 연결을 거부합니다. 다른 조건은 그대로 두고 빠졌던 중간 인증서를 다시 제공하면 경로를 검증할 수 있습니다.
검증할 경로가 중간에서 끊깁니다
단계 설명과 조건별 결과
- 서버 인증서와 앱이 신뢰하는 루트 CA는 있습니다. 사이를 잇는 중간 인증서가 아직 없습니다.
- 중간 인증서가 없어 발급자 공개키를 확보하지 못합니다.
- 검증이 중간의 빈 연결에서 멈춥니다. 루트까지 도달하지 못합니다.
- 필요한 공개키가 없어 경로를 검증할 수 없으므로 연결을 거부합니다.
중간 인증서 없음 — 필요한 공개키가 없어 경로를 검증할 수 없으므로 연결을 거부합니다.
중간 인증서 복원 — 복원한 경로를 검증했습니다. 이 예시에서 고정한 이름과 기간도 정상입니다.
같은 인증서도 앱의 신뢰 기준에 따라 결과가 달라집니다
중간 인증서까지 모두 받았어도 앱마다 결과가 다를 수 있습니다. 앱 A는 예시의 루트 CA를 신뢰하도록 구성돼 있지만, 앱 B는 그렇지 않다고 하겠습니다. 요청 이름과 서버가 보내는 인증서, 검증 시각은 같습니다.
앱 A는 자신이 신뢰하는 루트 CA까지 경로를 검증할 수 있지만, 앱 B는 해당 루트 CA를 신뢰하지 않으므로 같은 경로를 받아들이지 못합니다. 신뢰할 CA를 선택하는 것은 클라이언트의 로컬 결정입니다. 서버가 루트 인증서까지 보내 준다는 이유만으로 앱의 신뢰 기준에 추가되지는 않습니다.
서버는 같은 인증서를 보냈는데 한 앱에서만 연결된다면, 두 앱의 신뢰 설정이 같은지 살펴볼 이유가 여기에 있습니다.
같은 묶음이 두 앱에 도착해도 신뢰 설정은 다릅니다
단계 설명과 조건별 결과
- 서버의 묶음은 하나이고 앱 A와 B의 로컬 신뢰 설정은 서로 다릅니다.
- 서버·중간 인증서를 두 앱으로 한 번씩 보냅니다.
- 두 앱에 같은 파일이 도착했습니다. A의 신뢰 기준에는 루트가 있지만 B에는 없습니다.
- 다른 조건이 정상인 이 예시에서 A는 경로를 받아들이고 B는 거부합니다. 루트 파일을 추가로 받아도 B의 신뢰 설정은 바뀌지 않습니다.
서버·중간 인증서 전달 — 다른 조건이 정상인 이 예시에서 A는 경로를 받아들이고 B는 거부합니다. 루트 파일을 추가로 받아도 B의 신뢰 설정은 바뀌지 않습니다.
루트 파일도 함께 전달 — 다른 조건이 정상인 이 예시에서 A는 경로를 받아들이고 B는 거부합니다. 루트 파일을 추가로 받아도 B의 신뢰 설정은 바뀌지 않습니다.
인증서가 만료되면 같은 연결도 거부됩니다
이제 앱 A와 정상 경로를 그대로 두고 검증 시각만 옮겨 보겠습니다. 예시의 서버 인증서가 9월 1일 00:00 UTC부터 10월 1일 00:00 UTC까지 유효하다면, 9월 30일에는 기간 안에 있지만 10월 2일에는 기간을 벗어납니다. 인증서 파일의 내용은 바뀌지 않았어도 검사 결과는 달라집니다.
인증서는 notBefore와 notAfter로 유효 기간을 나타냅니다. 검증할 때는 현재 시각이 그 기간에 포함되는지를 확인합니다. 만료 후뿐 아니라 시작 시각 전에도 통과하지 못합니다.
인증서는 고정하고 검사 시각만 옮깁니다
단계 설명과 조건별 결과
- 이름과 발급 경로, notBefore와 notAfter는 바꾸지 않습니다.
- 검사 시각을 9월 30일 00:00 UTC로 옮깁니다.
- 검사 시각이 유효 기간 안에 있으므로 시간 검사를 통과합니다.
기간 안 — 검사 시각이 유효 기간 안에 있으므로 시간 검사를 통과합니다.
시작 전 — 아직 유효하지 않은 인증서이므로 거부합니다.
만료 후 — 유효 기간이 지난 인증서이므로 거부합니다.
연결이 거부되면 요청한 이름과 인증서의 이름부터 비교합니다. 필요한 발급 경로를 만들 수 있는지, 앱이 해당 경로의 루트 CA를 신뢰하는지, 검사 시각이 유효 기간 안에 있는지도 확인합니다. 인증서가 있어도 이 조건을 충족하지 못하면 연결은 거부됩니다.