网络数据传输安全

共计 10296 个字符，预计需要花费 26 分钟才能阅读完成。

一、网络数据传输安全概述

为了保证数据在网络传输过程中的安全性通常需要进行数据加密与解密,在TCP/IP协议设计的初期，没有过多考虑数据在网络传输过程中可能存在的安全性问题。随着TCP/IP协议及相关技术的日渐成熟，才慢慢开始重视这个问题。

网络安全涉及到很多个方面，其中常见的有：

数据窃听
数据篡改
身份伪装

1. 完整性

数据完整性是指不允许数据在传输过程中被修改（第三方恶意篡改或电平信号造成的部分数据丢失），说允许其他人看到明文数据。通过以不可逆的算法对数据提取特征码（也叫数据指纹），通过验证特征码的一致性来判断数据是否被修改过，通信过程如下：

数据发送发：

plaintext(明文) == 转换算法 == plaintext(明文) + footprint(数据指纹A)

数据接收方：

plaintext(明文) + footprint(数据指纹A) == 转换算法 == footprint(数据指纹B) == 对比数据指纹A与B是否一致

2. 机密性

机密性是指对要传输的数据进行加密和解密，防止第三方看到通信数据的明文内容。其对应的通信过程如下：

数据发送方：

plaintext(明文) == 转换算法 == ciphertext(密文)

数据接收方：

ciphertext(密文) == 转换算法 == plaintext(明文)

3. 身份验证

身份验证通常是指数据接收方需要确认发送数据给自己的数据是自己想要通信的那一方，防止他人冒充通信对方的身份进行通信。身份验证的大体原理是：数据发送方与数据接收方约定一种特殊的数据加解密方式，数据发送方将一个通过约定的加密方式进行加密后的数据发送给数据接收方，数据接收方如能按照约定的加密方式正确解密该数据就表示对数据发送方的身份验证成功。其对应的通信过程如下：

数据发送方：

plaintext(明文) == 转换算法 == ciphertext(密文)

数据接收方：

ciphertext(密文) == 转换算法 == plaintext(明文)

二、数据加密算法分类

网络数据传输所涉及到的几个方面都需要特定的转换算法来实现，常用的转换算法大体上可以分为以下几类：

1. 单向加密

单向加密是指只对明文数据进行加密，而不解密数据，相当于生成数字摘要

主要功能：

通常用于保证数据的完整性和防篡改。

常用的算法实现：

MD5： 128bits
SHA： SHA1(160bits), SHA224, SHA256, SHA384

特点：

不可逆：无法还原原来的数据。
输入相同，输出必然相同。
定长输出：无论原始数据有多长，结果的长度是相同的。
雪崩效应：输入的微小改变，将会引起结果的巨大改变。

存在的问题：

可能出现代理人攻击，代理人可以对原始内容进行修改之后重新生成数据指纹，数据接收方验证数据指纹时会发现数据是正常的。此时，数据发送方只能把生成的数据指纹进行加密后再发送给数据接收方，那么问题就又回到了加密密钥的传输和管理上，有点类似HTTPS了。

2.叫非对称加密

非对称加密也被称作公钥加密，也就是说加密和解密所使用的密钥是不同的。

主要作用：

通常用于保证身份验证。

常用的公钥加密算法有：

RSA：可以实现数字签名和数据加密
DSA：只能实现数字签名，不能实现数据加密

特点：

加密与解密使用的不同的密钥。
通常公钥是公开的，所有人都可以得到；私钥是不能公开的，只有自己才有。
用公钥机密的内容只能用与之对应的私钥才能解密，反之亦然。
实际上它所使用的密钥是一对儿，一个交公钥，一个叫私钥。这对密钥不是独立的，公钥是从私钥中提炼出来，因此私钥是很长的，968位、1024位、2048位、4096位的都有。

我们发现公钥加密貌似已经解决了密钥管理的问题–所有人只需要知道自己的那一对儿密钥即可，需要跟谁通信就去获取对方的公钥，然后通过这个公钥对数据进行加密和机密就可以了。我们可以用它来完成以下两件事情：

用自己的私钥加密， 可以保证身份验证，因为用你的私钥加密的数据只能用你的公开的公钥才能解密数据；但是不能保证数据的机密性，因为所有人都知道你的公钥。浏览器检查CA证书合法性时，验证CA机构的数字签名时就是通过这种方式进行的。
用对方的公钥加密， 可以保证数据的机密性，因为只有用对方的私钥才能解密，而对方的私钥只有他一个人有。HTTPS通信时，通过密钥协商技术得到的密钥进行传输时就是通过这种方式来保证机密性的。其实用对方公钥加密也可以用于用于身份验证，验证过程是：A用B的公钥加密数据后将密文传输给B，B用自己的私钥进行解密并将明文发送回给A，A对比B返回的明文和自己加密前的明文一致则表示对B完成了身份验证，通过SSH进行免密钥登录时就是通过这种方式来完成用户身份验证的。

事实上，公钥加密算法很少用于数据加密，它通常只是用来做身份认证，因为它的密钥太长，加密速度太慢–公钥加密算法的速度甚至比对称加密算法的速度慢上3个数量级（1000倍）。

存在的问题：

既然公钥加密通常只用于身份验证，而不是用于保证数据的机密性，也就意味着这个密钥对儿并不能完全作为加密和解密数据的秘钥来用。那么，秘钥的管理和传输问题依然存在着，这个问题到底怎样来解决呢？
另外还有个问题就是，怎样验证以获取公钥的合法性呢？

防止公钥被伪造的解决方案

公钥实际上也是一段文本，验证公钥的合法性涉及到两个方面：

1）该公钥的发布者身份是否合法
2）该公钥的内容是否被篡改过

其实，这个已经不是靠纯技术能解决的问题了，这需要借助一些机构和人为约定来解决。常见的解决方案有两种：

1）公钥的合法拥有者，通过官方渠道声明其密钥的数据指纹： 既然时官方发布的信息，那么身份的合法性是有保证的；用户在获取公钥后也生成一个数据指纹，通过对比这两个数据指纹就知道公钥内容是否被修改过；SSH的身份验证实际上就是这个原理。
2）通过一些权威的机构来完成这些验证： 比如https使用的证书就是由CA机构签发的，这个在后面讲https原理时再做具体介绍。

我们常见的对于上面这些加密算法的经典应用就是ssh和https了，它们都是使用这些加密算法实现的网络协议。下面我们对ssh和https的工作原理进行下介绍，一方面当做上面这些加密算法的实例讲解，帮助大家了解这些算法的经典应用；另一方面，也帮助大家更深入的理解ssh和https是什么，以及它们是怎样工作的。

3. 对称加密

对称加密是指数据加密与解密使用相同的密钥。

主要功能：

通常用于保证数据的机密性。

常用的算法实现：

DES： Data Encryption Standard，秘钥长度为56位，2003年左右被破解–秘钥可以暴力破解。
3DES： DES的改进版本。
AES： Advanced Encryption Standard，支持的秘钥长度包括 128bits，192bits，258bits，384bits，512bits。

需要说明的是，秘钥长度越长，数据加密与解密的时间就越久。

特点：

加密与解密使用的密钥相同。
在一定程度上实现了数据的机密性，且简单、快速。
但是由于算法一般都是公开的，因此机密性几乎完全依赖于密钥。
同一发送方与不同接收方进行通信时应使用不同的密钥，防止数据被窃听或拦截后被解密。

存在的问题：

当通信对象很多时会面临众多秘钥的有效管理问题。
对于一个新的数据通信对象，密钥怎样进行传输的问题。

三、HTTPS工作原理

网络数据传输安全

对于HTTPS我们应该有以下几个认知：

1）使用HTTPS传输数据是安全的，因为数据都是被加密传输的；
2）使用HTTPS需要在服务器端配置密钥对；
3）使用HTTPS需要花钱找专业的权威机构进行CA证书的签发。

那么使用HTTPS与网站服务器进行交互的流程和原理到底是怎样的呢？让我们先以逆向思考的方式来进行说明：

我们说过，公钥加密/非对称加密方式虽然安全，但是由于密钥过长，加密和解密速度都远远低于对称加密。因此，出于对性能方面的考虑，HTTPS并不是把所有传输的数据都使用公钥加密的方式进行机密性的保护，而是继续使用对称加密的方式来加密数据。还有一个原因就是，使用公钥机密算法来保证数据机密性的话，需要通信双方都要有密钥对儿，否则总有一方发出的数据是能被对方公布的公钥解密的。

既然时使用对称加密的方式加密数据，就需要有一个通信双方都知道的加解密所使用的密钥。HTTPS是通过上面提到的密钥交换技术来动态协商这个密钥的，实际上就是由客户端生成一个随机密钥，然后发送给服务器端，这样就解决了密钥的管理问题。

既然说HTTPS是安全的，那么客户端生成的这个随机密钥肯定不能以明文的方式发送给服务器端啊。是的，当客户端以https的方式访问一个站点时，该站点会自动下发其公钥信息。客户端会使用这个公钥对产生的随机密钥进行加密，然后传送给服务器端。服务器端以自己的私钥对这个密文进行解密，然后得到这个密钥的明文内容。至此，客户端与服务端用于对称加密和解密的密钥协商与传输工作已经安全的完成了。

那么要通过网络获取服务器端的公钥信息，那么怎么验证该公钥信息的合法性呢？我们上面说过，不是所有问题都能依赖技术来解决的。这里要验证公钥信息的合法性就要依靠CA证书签发机构了，网站服务的提供者必须找一个大家都信任的机构来对他提供的公钥进行签名，用户得到一个网站下发的公钥后看到有这个机构的签名就认为这个公钥是合法的，是可信赖的。

那么CA机构的签名要以什么样的形式来提供呢？实际上网站服务器下发给客户端（通常是浏览器）的公钥已经不仅仅是密钥对儿中公钥的内容了，而是包含了证书签发机构写入的其他信息的CA证书。这个CA证书中包括证书签发机构的标识和公钥的数据指纹，当然还有包含网站服务提供者的公钥信息以及证书到期时间等等。但是，我们前面提到过，单向加密只能保证数据的完整性，不能保证数据机密性。CA证书的伪造者完全可以伪造公钥信息并生成相应的数据指纹，然后发送给用户。那么现在的问题就变成了要验证CA证书中公钥的合法性以及CA证书提供者的身份了。貌似问题只是转移了，而没有被解决。

其实每个CA证书的签发机构也都有自己的密钥对儿，他们放在CA证书中的公钥的数据指纹时通过自己的私钥加密过的，而这些CA证书签发机构的公钥是被各浏览器厂商内置在浏览器内部的。当浏览器接收到某网站服务器下发的CA证书后会根据CA证书中签发机构的标识来读取浏览器内置的相应CA签发机构的公钥信息，通过这个公钥信息对公钥数据指纹的密文进行解密就可以得到CA证书中包含的公钥信息的真实数据指纹。浏览器再通过单向加密的方式自己计算一次CA证书中包含的公钥信息的数据指纹，两个数据指纹一致则说明这个CA证书确实是该CA机构签发的，同时也证明了CA证书中的公钥信息没有被篡改过。至此，所有的问题就都解决了。

现在我们再来以正常的顺序描述一下使用HTTPS与网站服务器进行交互的过程：

1）浏览器A与网站服务器B通过三次握手后建立网络连接。
2）浏览器A告诉网站服务器B：我想跟你通过HTTPS协议进行秘密交流。
3）网站服务器B把包含自己公钥信息的CA证书下发给浏览器A，并告诉浏览器A这个CA证书里有我的公钥信息，你决定一个对称加密使用的秘钥串，然后通过这个公钥加密后发送给我。
4）浏览器A接收到网站服务器B下发的CA证书后，对这个CA证书的及其包含的公钥信息的合法性表示怀疑。于是根据CA证书中包含的证书签发机构的标识找到自身内置的该签发机构的公钥对CA证书中公钥的数据指纹进行解密，然后再自己计算一下CA证书中公钥的数据指纹，对了一下这两个数据指纹是一致的。浏览器A放心了，知道这个CA证书是合法的，CA证书中的公钥也没有被篡改过。
5）然后浏览器A通过通过密钥协商技术产生了一个随机的字符串作为与网站服务器B进行秘密通信的密钥，并把这个密钥通过CA证书中包含的公钥进行加密后发送给网站服务器B。
6）网站服务器B接收到密文格式的密钥后，通过自己的私钥进行解密得到密钥的明文内容。
7）浏览器A和网站服务器B开始了秘密交流。

CA证书的申请及其使用过程

客户端使用HTTPS与服务器通信中使用到了CA认证。
非对称加密：客户端和服务端均拥有一个公有密匙和一个私有密匙。公有密匙可以对外暴露，而私有密匙只有自己可见。
使用公有密匙加密的消息，只有对应的私有密匙才能解开。反过来，使用私有密匙加密的消息，只有公有密匙才能解开。这样客户端在发送消息前，先用服务器的公匙对消息进行加密，服务器收到后再用自己的私匙进行解密。

非对称加密的优点：
非对称加密采用公有密匙和私有密匙的方式，解决了http中消息保密性问题，而且使得私有密匙泄露的风险降低。因为公匙加密的消息只有对应的私匙才能解开，所以较大程度上保证了消息的来源性以及消息的准确性和完整性。
非对称加密的缺点：
非对称加密时需要使用到接收方的公匙对消息进行加密，但是公匙不是保密的，任何人都可以拿到，中间人也可以。那么中间人可以做两件事，第一件是中间人可以在客户端与服务器交换公匙的时候，将客户端的公匙替换成自己的。这样服务器拿到的公匙将不是客户端的，而是中间人的。服务器也无法判断公匙来源的正确性。第二件是中间人可以不替换公匙，但是他可以截获客户端发来的消息，然后篡改，然后用服务器的公匙加密再发往服务器，服务器将收到错误的消息。
非对称加密的性能相对对称加密来说会慢上几倍甚至几百倍，比较消耗系统资源。正是因为如此，https将两种加密结合了起来。
为了应对上面非对称加密带来的问题，就引入了数字证书与数字签名

HTTPS的缺点

虽然说HTTPS有很大的优势，但其相对来说，还是存在不足之处的：

HTTPS协议握手阶段比较费时，会使页面的加载时间延长近50%，增加10%到20%的耗电；
HTTPS连接缓存不如HTTP高效，会增加数据开销和功耗，甚至已有的安全措施也会因此而受到影响；
SSL证书需要钱，功能越强大的证书费用越高，个人网站、小网站没有必要一般不会用。
SSL证书通常需要绑定IP，不能在同一IP上绑定多个域名，IPv4资源不可能支撑这个消耗。
HTTPS协议的加密范围也比较有限，在黑客攻击、拒绝服务攻击、服务器劫持等方面几乎起不到什么作用。最关键的，SSL证书的信用链体系并不安全，特别是在某些国家可以控制CA根证书的情况下，中间人攻击一样可行。

四、SSH工作原理

1. SSH是什么？

简单来说，_SSH就是一种网络协议，主要用于计算机之间的加密登录与数据传输_，使用方式如下：

# ssh user@host

表示要以user这个用户的身份登录host这台网络机器。也可以省略前面的user，这样来用ssh host，表示以当前本地登录的用户名登录host这台网络机器。

2. SSH工作原理

其实SSH是充分利用了公钥加密/非对称机密、对称加密和单向加密来实现数据安全登录的。在使用SSH进行通信时，通信过程分为以下几个步骤：

1）生成会话密钥： 这个会话密钥，不是密钥对儿中公钥或私钥，而是通过密钥协商技术生成密钥。这个密钥会被通过被登录机器的密钥对进行加密后传输，用于后续所有（通过对称加密方式进行的)加密通信。
2）用户身份认证（登录）：* 这个对登录者进行身份验证的过程是通过登录者的密钥对儿对数据进行加解密验证实现的，这个过程中传输的所有数据都是通过上一步生成的密钥加密过的。
3）数据加密通信： 后面就行基于第1步生成的密钥进行数据加密传输的通信过程了。

下面来看具体解析。

账号密码安全登录的实现

上面提到，SSH是通过对数据进行加密后进行传输来保证数据安全的。但是，SSH的数据加密采用的是对称加密算法，只是对称加密所使用的密钥是通过公钥加密/非对称加密实现加密后的安全传输的。另外，每台Linux机器都有自己的密钥对儿（通常放在/etc/ssh目录下），这个密钥对儿跟具体的用户无关。其工作流程是：

1）在主机A上向主机B发送连接请求；
2）主机B在与用户建立连接后，把自己的公钥发送给主机A；
3）主机A通过密钥协商技术产生一个随机密钥，然后使用主机B的公钥对这个随机密钥进行加密后发送给主机B;
4）主机B接收到主机A发送过来的密文形式的密钥后，通过自己的私钥进行解密，得到对称加密使用的密钥明文；至此，会话密钥已经生成完毕了；
5）主机A通过生成的会话密钥对账号和密码等信息进行加密然后发送给主机B；
6）主机B接收到加密信息后，使用会话密钥进行解密，从而得到明文的账号和密码进行账号验证；
7）主机B在验证账号和密码后通知主机A是否登录成功；

这样即便有人结果了账号密码信息，也是密文信息，并不能知道里面是什么内容。貌似已经OK了，但是，主机A怎么验证主机B的身份呢？如果有主机C冒充主机B截获了登录请求，将自己伪造的公钥发送给主机A，怎么办？尽管信息是加密过的，通信过程也是合法的，但是通信信息都被主机C截获了，其实这就是所谓的中间人攻击（Man-in-the-middle attack）。其实，对主机B进行验证就是对主机B发送过来的公钥的合法性进行验证的过程。

公钥合法性验证的实现

上面我们提到过，验证公钥的合法性有两种方式：

1）验证公钥的官方发布的公钥数据指纹
2）通过权威的结构进行验证

SSH主要用于机器之间的安全登录，因此通常不会通过权威的机构去签发证书，它主要是通过验证数据指纹的方式来验证公钥的合法性的。公钥的合法性验证是发生在主机A接收到主机B发送的公钥之后，主机A向主机B协商产生会话密钥之前，也就是上个部分所列举的数据机密时间的第2个步骤和第3个步骤之间。具体的工作流程如下：

1）上个部分所列举的数据加密实现的第1-2步；
2）主机A会去当前用户家目录下的.ssh/known_hosts文件中查找是否存在该机器的公钥，如果不存在，表示主机A是第一次与该主机进行通信，那么主机A会计算出该公钥的数据指纹并要求用户对该指纹进行合法性确认。就是我们经常看到的的这样子：
3）用户需要把目标主机管理员公布的公钥的数据指纹与主机A计算得到的数据指纹进行比对，如果一致，则说明该公钥是合法的；如果不一致则说明不合法；
4）用户如果确认该公钥是合法的，则输入yes表示继续后面的连接，主机A则会把这个公钥的内容保存到当前用户家目录下的.ssh/known_hosts文件中，然后提示用户输入密码，如下图所示：
下次再登录，执行到步骤2时，主机A发现该公钥已经在.ssh/known_hosts文件中存在了，就不用要求再次确认了，而是会直接提示输出密码：
5）至此，主机B的身份合法性验证就结束了。

每个用户都有自己的kown_hosts文件，它们是相互独立的。我们也可以为所有用户保存一份公共的可信赖的远程主机的公钥，这个文件通常是/etc/ssh/ssh_known_hosts。

问题：假如之前我们通过ssh登录过的一台机器的IP被绑定到其他机器上了会出现什么情况？

当机器A接收到机器B的公钥指纹时，发现knowns_hosts文件中虽然有机器B的公钥，但是计算得出的公钥指纹与机器B发送过来的公钥指纹不一致。这肯定是不一致的，因为每台机器的密钥对都是随机生成的，几乎不可能出现重复。因此，我们会看到如下提示信息：

网络数据传输安全

上面的大概意思是，主机A发现主机B的公钥指纹对不上了，怀疑我们正在遭受中间人攻击（即有人在冒充主机B），并且密码验证方式和键盘交互验证方式都被禁止使用了。其实，我们自己知道是因为IP被绑定到其他机器上引起的这个问题，所以我们如果想继续登录新的主机B，_只需要在.ssh/known_hosts文件中把原来保存的主机B的公钥删掉就可以了_。

3. SSH免密钥登录的实现

使用SSH免密钥登录的优点

大家都知道，SSH免密钥登录是通过公钥认证的，用户登录时只需要提供用户名，而不需要输入密码。其实其优点不止这一个，我们来总结下：

1）使用账号和密码进行登录时，由于用户无法设置空密码，因此每次登录都要输入密码。而且即使系统允许给用户设置空密码，也是十分危险的行为。而公钥认证允许用户给私钥设置空密码，同时还能保证安全性。
2）使用账号和密码进行登录时密码容易被人看到，且密码也容易被猜到；而公钥认证所使用的密钥不用手动输入，而且内容很长，因此安全性比较高。
3）使用账号和密码进行登录时，服务器上的一个账号如果想给多个人同时使用，机器密码维护工作会变得很繁琐，因为他们所有人都需要知道密码是什么，当修改密码也要通知他们每个人。而使用公钥认证只需要把它们的公钥保存在服务器上，如果要取消某个人的操作权限，只需要把这个人的公钥删掉，而不需要修改服务器密码。

SSH免密钥登录过程

其实_登录的过程就是被登录端对登录用户进行身份验证的过程_，前面是通过账号和密码来验证用户身份，因为密码应该只有该账号的拥有者才知道。而我们知道公钥加密算法中，用公钥加密的数据只能由与其配对的私钥才能解密，而私钥只有用户自己才有。那么，我们是否可以通过这种方式来验证用户身份呢？实际上SSH免密钥登录就是这样的原理。比如，我们想在主机A上以root用户以SSH免密钥的方式登录主机B，登录验证过程是这样的：

1）主机A与主机B协商产生会话密钥；
2）主机A会向主机B发送一个登录请求（如：[email protected].2），发送的信息包括用户名root和root的公钥指纹，且所有信息都是通过会话密钥加密过的。
3）主机B通过会话密钥解密主机A发送的数据得到请求登录的用户名root和root的公钥指纹，然后读取root用户家目录下的所有公钥数据（/root/.ssh/autorized_keys文件中），并分别通过单向加密算法获取各公钥的数据指纹与主机A发送过来的数据指纹做对比，从而找到主机A上的root用户的公钥；
4）主机B使用找到的root用户的公钥对一个随机数进行加密发送发送给主机A；
5）主机A使用root用户的私钥对主机B发送的随机数密文进行解密，然后把解密结果发送给主机B;
6）主机B验证主机A解密后的数据与自己发送的数据一致，则对root用户的身份验证成功；

那么主机A是怎样获取root用户的私钥的呢？主机B又是怎样获取root用户的公钥的呢？ 这个就是实现SSH免密钥登录所要配置的内容：

1）生成密钥对儿：在当前机器A上，可以通过ssh-keygen命令生成一个ssh密钥对儿，一路回车就可以；生成的密钥对儿默认保存在当前登录用户家目录下的.ssh目录，也可以指定保存目录。我们当前是以root用户登录，因此是保存在/root/.ssh目录：
网络数据传输安全
2）我们可以把这个密钥对儿中的两个文件复制到其他用户家目录的.ssh目录下（如/home/wader/.ssh/目录），也可以复制到其他任意目录。需要说明的是一定要注意目录和文件的权限：.ssh 目录的权限必须是0700，authorized_keys 文件权限必须是0600。
3）当在主机A上通过 ssh root@hostB进行登录时，主机A会尝试读取登录用户的家目录下的私钥文件（这里是以root用户登录主机B，因此主机A会读取/root/.ssh/id_rsa文件作为私钥），也可以通过-i选项指定要使用的私钥文件；
4）我们需要手动把公钥的内容复制到要登录机器B的相应用户（如root）家目录下的指定文件中：/home/root/.ssh/autorized_keys；可以使用

    ssh-copy-id root@hostB

命令直接完成这个操作，也可以通过复制粘贴的方式来完成；

5）在当前机器上就可以通过ssh私钥使用root用户登录机器B了。

4. ssh免密钥登录在git中的使用

我们在管理git仓库中的项目时，可以使用http/https协议，也可以使用ssh协议来管理我们的项目代码：
http/https协议：

http://111/GROUP_OR_USER/PROJECT_NAME.git
https://111/GROUP_OR_USER/PROJECT_NAME.git

ssh协议:

ssh://git@111/GROUP_OR_USER/PROJECT_NAME.git

无论使用http/https协议还是ssh协议来管理项目仓库，对于非公开的仓库都是需要进行登录（即账户身份验证）的。如果我们使用http/https协议的话，就需要提供用户名和密码进行验证；如果我们使用ssh协议的话，就可以把我们公钥保存到项目仓库机器的指定位置，来通过非对称加密的方式进行身份验证，验证的原理上面已经详细说明过了。

网络数据传输安全