您的位置：首页 > 运维架构 > 网站架构

互联网架构演变

2020-12-05 14:04 951 查看

1、阶段1:单机集中构建网站(all in one)

早期互联网产品用户量少，并发量低，数据量小，多数只需要单个应用服务器可以满足需要，而数据库和文件服务部署在外部单个服务器上，这就是最早互联网架构。

所有的代码都是写在JSP里面，所有的代码都写在一起。这种方式称为all in one。

此阶段的代码耦合性非常大，不容易维护修改。

单体架构的优点是容易开发、部署和测试，其缺点是系统耦合性高、技术选型单一、开发效率低下。

特点：

(1)、不具备代码的可维护性。

(2)、容错性差。

容错性，是指软件检测应用程序所运行的软件或硬件中发生的错误并从错误中恢复的能力。

(3)、代码耦合度高

2、阶段2:应用服务器配置集群

该时期，随着访问量持续增加，单台应用服务器已经无法处理用户的全部请求，此时我们需要增加服务器的数量，把用户请求分散到不同的服务器中，从而提高负载能力。

目前先假设数据库服务器压力还能够承受的情况下，把应用服务器增加至多台，把用户请求分散到不同的服务器中，从而提高负载能力。

注：解决问题的时候又会伴随着新的问题产生，开发程序都是矛和盾的关系，此时我们如何判断那台服务器的用户请求已经达到了服务器的峰值呢、如何把服务器的请求分配到用户请求量小的服务器上？这些问题都伴随着服务器的增加而产生。

问题：

1.用户的请求如何转发到具体的应用服务器

2.转发的算法有哪些

3.应用服务器如何返回用户的请求

4.用户每次访问的服务器不是同一台，如何维护session的一致性

解决方案：

(1).用户的请求如何转发到具体的应用服务器

　　　　nginx

(2).转发的算法有哪些

　　　　轮询随机最小访问次数

(3).应用服务器如何返回用户的请求

　　　　responce

(4).用户每次访问的服务器不是同一台，如何维护session的一致性

　　　　nginx+redis(mysql mongdb)

使用Nginx实现负载均衡(Load Balance)，当然如果有钱的话可以上硬件的负载均衡'f5服务器',本着能省则省的原则，我们选择nginx。

Nginx主要功能:反向代理+动静分离+负载均衡

注：又有新的问题产生了，解决了tomcat的负载均衡问题，但是又产生了问题，比如只配置一台nginx，如果这台nginx因为某些原因而挂了呢？那么tomcat也就会产生以上原来的问题。所以在引入nginx后会产生的新问题。

问题：

(1)、单台nginx挂掉，那么如何处理

(2)、多台nginx如何协调合作、Nginx集群之间如何保证HA(Highly Available高可用性集群)

该阶段已经无法解决该问题了，解决方法是第三阶段的。

3、阶段3:负载均衡服务器配置集群

问题：

(1)、单台nginx挂掉，那么如何处理

(2)、多台nginx如何协调合作、Nginx集群之间如何保证HA(Highly Available高可用性集群)

解决：

(1)、单台nginx挂掉，那么如何处理

　　　　配置多台nginx配合使用

(2)、多台nginx如何协调合作、Nginx集群之间如何保证HA(Highly Available高可用性集群)

　　　　LVS(Linux虚拟服务器)来实现负载均衡+使用keepalived实现高可用性集群HA

Keepalived 是一种高性能的服务器高可用或热备解决方案， Keepalived 可以用来防止服务器单点故障的发生，通过配合 Nginx 可以实现 web 前端服务的高可用。

顺带提一下，LVS是Linux Virtual Server的简写，意即Linux虚拟服务器，是一个虚拟的服务器集群系统。本项目在1998年5月由章文嵩博士成立，是中国国内最早出现的自由软件项目之一。

https://baike.baidu.com/item/Keepalived/10346758?fr=aladdin

https://baike.baidu.com/item/LVS/17738?fr=aladdin

4、阶段4:CDN+Varnish负载均衡服务器配置集群

该阶段是对阶段3的进一步优化，我们可以在Tomcat和Nginx之间再进一步优化。

Varnish是一款高性能的开源HTTP加速器，可以有效降低web服务器的负载，提升访问速度。根据官方的说法，Varnish是一个cache型的HTTP反向代理。

CDN的全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。通过在网络各处放置节点服务器所构成的在现有的互联网基础之上的一层智能虚拟网络，CDN系统能够实时地根据网络流量和各节点的连接、负载状况以及到用户的距离和响应时间等综合信息将用户的请求重新导向离用户最近的服务节点上。

Varnish可作为CDN缓存服务器的可选服务之一。

在用户对tomcat访问某些内容时，可以直接寻找Varnish而不需要访问tomcat，进一步降低了tomcat的压力。

5、阶段5:数据库读写分离

大多数互联网业务，往往读多写少，这时候，数据库的读会首先称为数据库的瓶颈，这时，如果我们希望能够线性的提升数据库的读性能，消除读写锁冲突从而提升数据库的写性能，那么就可以使用“分组架构”（读写分离架构）。用一句话概括，读写分离是用来解决数据库的读性能瓶颈的。

所以此阶段，我们就需要对数据库进行演进了。

这就和我们去买饮料一样，等待拿单的肯定比点单的时间长。因为点完单，后面还需要等待制作饮料、打包饮料、确认饮料递给用户是否正确等问题。所以我们需要设置1列点单的队伍，而设置2列等单的队伍即可。这样在一定程序上会加快饮料的点单和拿单的速度。总的来说，就是在一定程序上加快了数据的处理速度。

6、阶段6:Nosql+分布式搜索引擎(ElasticSearch)

Redis，一个叫Antirez的男人把我带到了这个世界上。Redis的诞生和Mysql有很大的渊源。

在Redis为出现之前，MySQL的压力并不小，读写都要找到它。互联网发展的越来越快，它容纳的数据也越来越多，用户请求也随之暴涨，而每一个用户请求都变成了对它的一个又一个读写操作，MySQL是既负责读也负责写。到“双11”这种购物的日子，那么MySQL的压力是非常大的。

MySQL在此过程中，有一大半的用户请求都是读操作，而且经常都是重复查询一个东西，浪费它很多时间去进行磁盘I/O。是不是可以学学CPU，搞个一级二级缓存什么的，所以也给数据库也加一个缓存呢？于是redis也就此产生。

redis和MySQL经常一同出现在后端服务器中。应用程序们从MySQL查询到的数据，就在redis中缓存，如果在一定时间内重复查询该数据，就先找redis缓存中是否存在，如果存在则直接去，如果不存在再去MySQL中获取。因为redis把查询的数据都在内存中缓存，不用去执行I/O操作，所以找redis比找MySQL节省不少时间。

为了保证Redis的HA(高可用)，那么我们依照上面的做法，增加Redis的数量，为了更好的实现高可用性，我们可以设置'一主二从'。

Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。

https://baike.baidu.com/item/elasticsearch/3411206?fr=aladdin

https://www.elastic.co/cn/elasticsearch/

7、阶段7:Nosql(HA)+分表分库+Mycat

该阶段进一步优化数据库，我们使用mycat进行优化，Mycat 是数据库中间件;为什么使用Mycat？

　　①.Java与数据库紧耦合
　　②.高访问量高并发对数据库的压力
　　③.读写请求数据不一致

一个数据库由很多表的构成，每个表对应着不同的业务，垂直切分是指按照业务将表进行分类，分布到不同的数据库上面，这样也就将数据或者说压力分担到不同的库上面。

相对于垂直拆分，水平拆分不是将表做分类，而是按照某个字段的某种规则来分散到多个库之中，每个表中包含一部分数据。简单来说，我们可以将数据的水平切分理解为是按照数据行的切分，就是将表中的某些行切分到一个数据库，而另外的某些行又切分到其他的数据库中。

8、阶段8:分布式文件系统

分布式文件系统把大量数据分散到不同的节点上存储，大大减小了数据丢失的风险。分布式文件系统具有冗余性，部分节点的故障并不影响整体的正常运行，而且即使出现故障的计算机存储的数据已经损坏，也可以由其它节点将损坏的数据恢复出来。因此，安全性是分布式文件系统最主要的特征。分布式文件系统通过网络将大量零散的计算机连接在一起，形成一个巨大的计算机集群，使各主机均可以充分发挥其价值。此外，集群之外的计算机只需要经过简单的配置就可以加入到分布式文件系统中，具有极强的可扩展能力。

数据“3-2-1”黄金备份法则，加上合适的可用性解决方案，企业可有效避免上述损失。要实现全面的数据保护，企业应存有3 份备份数据（其中一份在生产环境），存放于2种不同媒体，并有1份数据存于异地环境。