HTTPS的前世今生和原理详解

发布网友 发布时间：2022-09-19 02:00

我来回答

共1个回答

热心网友 时间：2023-10-24 11:16

HTTPS百科：

HTTP是明文传输的协议，数据很容易被窃听和篡改，并且攻击者很容易冒充客户端和服务端，HTTPS可以解决这两个的安全问题。HTTS仍是HTTP协议，只是在HTTP与TCP之间添加了用于加密数据的TSL/SSL协议。很多其它应用层的协议也采用在传输层之上添加TSL/SSL协议来保证安全，如FTPS、IMAPS。

加密和解密使用的是同一个密钥。加密和解密的双发都需要持有同一个密钥。常见对称加密算法：AES、DES、3DES。

加密和解密使用的是不同的密钥，加密时使用的密钥称为公钥匙，解密是使用的密钥称为私钥。使用公钥加密的密文只能用私钥解开。公钥可以发布出去使用，但私钥一定不能泄漏。常见的非对称加密算法：RSA、背包算法、ECC。

数字签名用于校验数据是否被篡改，即数据是否和原数据是否一致。
数字签名包含签名和验证两个运算。数字签名具有不可抵赖性，签名验证正确后就不能否认。
数字签名一般包含一个自己知道的私钥和一个公开的公钥，与传统的加密不同的是签名时使用私钥，验证签名是使用公钥。

1994年Netscape提出了SSL协议并制订了SSL协议的原始规范，即SSL1.0。但由于SSL1.0使用的是弱加密算法而受到密码学界的质疑，所以SSL1.0并没有公共发布。

SSL1.0之后Netscape对SLL协议规范进行了重大改近，并在1995年发布 SSL2.0协议 。虽然SSL2.0版本被认为是一个相当强大且健壮的协议，但仍存在一些易受攻击的漏洞，所以并没有得到广泛的使用。

由于SSL2.0的安全问题，Netscape联合哈佛的Paul Kocher等人重新设计了SSL协议，并在1996年发布，即SSL3.0版本，该版本较2.0版本有较大的差别。 SSL 3.0协议 获得了互联网广泛认可和支持。

随着互联网的飞速发展，网络安全越来越重要，业界非常迫切的需要一个标准的安全协议，于是IETE接手了SSL协议，并将其更名为 TSL（Transport Layer Security Protocol，安全传输层协议 ，并在1999年发布了TSL1.0版本。
不过TSL1.0于SSL3.0差别并不大（TLS 1.0 内部的协议版本号其实是3.1）。
虽然TSL是SSL的升级，但一些称呼上还存在混淆，所以大家通常将二者统称为SSL/TLS协议。

TSL1.1 于2006年发布，主要是修复了一些漏洞。

TSL1.2于2008年发布，1.2版本主要移除了一些老旧的加密套件，并引入了 AEAD 加密模式。1.2版本是目前应用最广泛的版本。

TSL1.3 于2018年发布。1.3版本在2014年提出，经4年的反复修改直到第28个草案才于2018年正式纳入标准。
1.3版本相较1.2版本有很大的改动，即增强了安全性也也大大提升了访问速度。主要有以下改动：

在公网通讯时想要保证通信信道的安全，目前来看只有将通信的数据进行加密后可防止窃听、冒充和篡改。

防止窃听：
数据加密后传输的就是加密后的密文，这些密文即使被窃听了但在没有解密的密钥的情况下是得不到真正的内容的。

防冒充和篡改：
通讯的数据加密后传输，在没有加密用的秘钥的情况下时无法构造出合法的数据包的，也就无法冒充或篡改数据。

将通信数据加密后传输可以解决很多的安全问题，但要实现通信的加密最为关键的点在于通信的双发用于加密的密钥怎么协商才能保证密钥不被泄漏和篡改那？密钥协商是HTTPS中最大的难点。

通信时使用对称加密，并且在客户端请求时直接将对称加密的密钥返回给客户端。
但在安全的信道建立起来之前任何传输仍是明文的，使用明文风发密钥毫无安全性可言，并且由对称加密使用同一个密钥，所以第三方在窃听到密钥后即可以窃听和篡改数据也可以冒充客户端和服务端。 所以直接分发对称加密的密钥显然行不通。

为方便说明这里只看客户端单向向服务端发送数据的情况，服务端向客户端发送数据与其类似。
通信时使用非对称加密，在客户端请求时将公钥放回给客户端。
但返回公钥时仍然是明文传输的，所以公钥还是很容易就会被泄漏，泄漏了公钥后，虽然第三方无在没有密钥的情况下是没法窃听数据或直接冒充服务端，但由于泄漏了公钥第三方还是可以冒充客户端或者进行‘中间人’攻击。
所以单纯使用非对称加密也是行不通的。

'中间人’攻击：

只要通信时使用的密钥不泄漏，那么在通信时完全没必要使用非对称加密，毕竟对称加密的效率更高。所以可以在通信正式开始前使用非对称加密来协商出通信时使用的对称加密的密钥，步骤如下：

虽然对称加密与非对称加密结合可以使我们或得两种的优点，但这样还是无法避免‘中间人’攻击。

DH密钥协商算法不会直接交互密钥，而是交互用于生产密钥的参数，DH算法基于当前‘无法’对大数进行质数分解来保证即使参数泄漏了，第三方也无法通过参数推导出密钥。
DH算法密钥协商步骤：

通过以上步骤客户端和服务端就协商出了密钥s，并且整个过程中没有传输过s。为了防止被破解a和b通常非常大，p 是一个至少 300 位的质数，g一般很小通常是3或者5.
但DH算法的缺点也很明显，DH无法防止冒充，还是会受到中间人攻击。

数字证书（digital certificate），又称公开密钥认证（Public key certificate）或身份证书（identity certificate），用来下发公钥匙和证明公钥拥有者的身份。

证书由第三机构颁发用来验证服务提供方的合法性，使用时服务提供方将证书给到客户端，客户端通过特定的机制验证书的合法性，从而信任提供证书的服务端和证书中的公钥。

数字证书以文件的形式存在，证书文件中包含了公钥信息、拥有者身份信息（主体）、以及数字证书认证机构（发行者）对数字证书自身的数字签名，证书的数字签名用来保证证书没有被篡改。

一般我们向CA申请证书时不用我们我们提供公钥和私钥，CA会给我们分配一个密钥对，并将公钥写到证书中，然后将证书和私钥给我们。

证书有统一的标准，其合法性（证书是否过期、数字签名是否有效、颁发的机构是否可信）通过一定的程序按标准来进行验证，如浏览器会保证HTTPS证书是否是合法的，Linux下openSSL库提供了证书验证功能。

核对证书后若证书可信，就可以使用证书中的公钥对数据进行加密与证书的拥有者进行通信。

HTTPS的证书在扩展字段中包含了域名相关的信息，所以HTTPS的证书在申请的时候CA会严格的校验申请的机构或个人是否真的拥有这个域名。

数字证书认证机构（英语：Certificate Authority，缩写为CA）。证书标准是公开的任何人都可以去制作证书，但自己制作的证书是不受信任的，只有权威的CA机构颁发的证书才被信任。

权威的CA证书审核和部署流程严苛而繁杂，所以权威的根证书的有效期一般在几十年内。
也只有权威的CA的根证书会被各大操作系统支持，将其预制与操作系统内。

证书一般遵循X.509规范，主要包含以下内容：

CA生成的证书包含以上内容和一些扩展字段外，还包含CA使用自己的私钥对这些内容进行加密后的密文。在验证证书时使用CA的根证书对秘文进行验证，从而判断证书是否是合法的。

权威结构使用根证书来签发二级CA证书，二级CA证书可以给其它服务签发证书。但不是所有证书都可以继续签发新的证书，证书使用基础约束扩展来*证书的签发，我们普通申请到证书基础约束扩展都是False的。查看根证书的基本约束可以看到证书颁发机构为‘是’。

根证书并不直接签发服务的证书，只要基于以下两点：

上一级证书对下一级证书进行签名，签名值包含在证书中，可以使用上一级证书中的公钥来验证下一级证书的签名值。根证书的签名是自己签的，并且验证签名的公钥包含在根证书中。

完整的证书连的关系应该有服务器放回，但有的并没有返回，对于没有放回完整证书连的证书，证书中的扩展字段CA 密钥标识符( Authority Key Identifier)记录了证书的上一个证书，通过该字段获取到上一级中间证书，再从中间证书的该字段中继续向上查找，直到根证书。
服务端最好可以返回证书连，这样可以避免浏览器自己去查找，提示握手速度。服务器返回的证书链并不包含根证书，根证书预至与操作系统内部。

在linux中openssl库会集成根证书。openssl的根证书的存放路径通过‘openssl version -a’查看。

校验证书时先根据证书链逐级校验证书的签名，签名校验的最关键的在根证书。根证书预至于操作系统中，CA要将自己的证书预至与各个系统中是非常困难的，所以预支与系统中的根证书是可信的。

回顾一下对于HTTPS的证书来说申请的时候CA会严苛的验证，保证这个域名是属于申请这个证书的机构的。这样攻击者或许可以伪造一个改域名的证书，但伪造的证书的根证书在系统中并不会存在，所以伪造的证书是不会被信任的。这样通过证书链的校验就可以有效的防止服务端被‘冒充’。

经过上面证书数字签名验证只是验证了证书确实是合法的证书，后还要验证证书的有效性，有效性验证主要包括以下字段：

验证合法的证书也可能由于种种原因被吊销，如证书的私钥泄漏了、证书错发了等，为了验证证书是否有效引入了证书吊销机制。

OSCP是证书提供方提供的证书验证接口，用户通过调用OSCP接口验证证书是否被吊销了。
但OCSP服务可能因为策略或服务故障导致无法访问，这时一般浏览器会选择信任证书，毕竟证书被吊销的情况只是极少数。也有部分CA将OCSP失败后的策略写到证书的扩展字段中，用用户根据扩展字段去做处理。
OSCP方式有自己明显的缺陷，为了验证证书而请求OSCP的同时也将自己在什么时候访问了什么服务也告诉了CA，CA利用我们的访问数据作恶咋办，还有OCSP的接口很慢的话不就拖慢了我们服务的相应数独。为了解决这两个问题各大CA厂商联手推出了CRL方案。

CRL方案是将被吊销的证书列表定期拉去到本机，一般是几天拉取一次。在校验证书时去本机列表中查找。
CA会在证书的扩展字段中写入CRL更新的地址：

CRL也有自己明显的确定，首先CRL是定期拉取的不能保证实时生效，然后CRL的列表一般很大可能达到数M。

CRLSet是chrome自建自用的解决方案。google觉得CRL更新太慢了，每个CA都有自己的CRL并且CRL内容也太多了。于是自己搞了一个CRLSet，将各大CA被吊销的高风险证书添加到CRLSet中，chrome在校验证书时可以去自己CRLSet中校验。
CRLSet只有各个CA吊销的证书的部分，大概包含所有吊销证书的2%。
CRLSet的更新相对快一些，最慢几个小时就会从各个CA中更新一次，CRLSet可以用在需要紧急吊销证书的情况下让吊销快速生效。

CRLSet提供了 https://github.com/agl/crlset-tools 工具来拉取和校验证书是否在CRLSet中。

可以在 chrome://components/ 中更新chrome的CRLSet

客户端向服务端发送hello请求，里面包含了客户端SSL/TSL的版本、支持的加密套件和一个随机数Random1

服务端收到客户端的hello后，根据客服端支持的加密套件和自己支持的加密套件选择出后面使用的加密和散列套件并返回给客户端，同时返回的还有服务端生产的一个随机数 Random2

服务端向客户端返回自己的证书，客户端收到证书后通过校验证书来信任服务端，并从证书中获取到证书中的公钥。

服务端在返回证书后会立即向客户端发送该请求。不过该请求不是必须的，只有选择的加密套件需要额外的参数是才会发送该请求交互参数。
如果密钥协议商算法是DH算法，那么DH的参数就在该请求中返回给客户端，DH算法有以下几种：DHE_DSS、DHE_RSA、ECDHE_ECDSAECDHE_RSA
dh算法会返回dh的参数p、g、dh的公钥和公钥的签名，公钥即g^b mod p，b为服务端的随机数

这里g就是0X03，p就是0X0017。

服务端在发送完上述信息后，就会立马发送Server Hello Done，来告知客户端服务端的相关信息已经发送完毕，就等客户端开始做密钥协商了。
客户端在收到该消息后就开始验证证书，协商密钥等工作。

在接受到服务器的Server Hello Done信息之后，客户端会计数出预备主密钥，并将其返回给服务端。

如果使用的是RSA/ECDSA算法，那么发送的就是预备主密钥。
如果使用的是DH算法，那么发送的就是通过之前的参数计数出来的公钥匙，即B（ g^b mod p）服务端在收到B后通过 B ^ a mod p得到第三个随机数。而客户端已经通过s = A b mod 得到了s。

到了这里服务端和客户端已经得到了三个随机数，通过之前协商好的加密算法使用这个三个随机数就得到一个对称加密的密钥，后面通信时就使用该密钥。

该请求用于通知对方已经计数出通信用的密钥，接下来的通信都使用该密钥进行。服务端和客户端都会发出该请求，一般是服务端先发出。

在完成上述步骤以后，双发都会发送一个Finished请求给对方，Finished的数据是通过协商好的密钥加密的，以此来验证之前协商好的密钥、协议版本是否是有效的。

参考资料：