服务器集群怎么搭建（如何最快搭建LINUX服务器集群）

本文目录

• 如何最快搭建LINUX服务器集群
• 搭建全分布式集群的原理是什么
• 高性能高并发网站架构，教你搭建Redis5缓存集群
• 如何用多台电脑搭建一个集群
• 如何实现集群技术
• 快速搭建kubernetes高可用集群（3master+3worker+负载均衡）
• 宝塔搭建redis集群

如何最快搭建LINUX服务器集群

　　1.2.并行技术
　　这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
　　2.使用MPICH构建一个四节点的集群系统
　　这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
　　2.1 所需设备
　　1).4台采用Pentium II处理器的PC机，每台配
　　置64M内存，2GB以上的硬盘，和EIDE接口的光盘驱动器。
　　2).5块100M快速以太网卡，如SMC 9332 EtherPower 10/100(其中四块卡用于连接集群中的结点，另外一块用于将集群中的其中的一个节点与其它网络连接。)
　　3).5根足够连接集群系统中每个节点的，使用5类非屏蔽双绞线制作的RJ45缆线
　　4).1个快速以太网(100BASE-Tx)的集线器或交换机
　　5).1张Linux安装盘
　　2.2 构建说明
　　对计算机硬件不熟的人，实施以下这些构建步骤会感到吃力。如果是这样，请找一些有经验的专业人士寻求帮助。
　　1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上电源，打开PC机的机箱，在准备与网络上的其它设备连接的PC机上安装上两块快速以太网卡，在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加的内存。确定完成后盖上机箱，接上电源。
　　2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的1根RJ45线将额外的以太网卡(用于与其它网络相连的那块，这样机构就可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网)，然后打开电源。
　　3. 使用LINUX安装盘在每一台PC机上安装。请确信在LINUX系统中安装了C编译器和C的LIB库。当你配置TCP/IP时，建议你为四台PC分别指定为192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC为你的服务器节点(拥有两块网卡的那台)。在这个服务器节点上的那块与机构局域网相连的网卡，你应该为其指定一个与机构局域网吻合的IP地址。
　　4.当所有PC都装好Linux系统后，每台机器的/etc/hosts文件，让其包含以下几行：
　　192.168.1.1 node1 server
　　192.168.1.2 node2
　　192.168.1.3 node3
　　192.168.1.4 node4
　　每台机器的/etc/hosts.equiv文件，使其包含以下几行：
　　node1
　　node2
　　node3
　　node4
　　$p#
　　以下的这些配置是为了让其能使用MPICH’s p4策略去执行分布式的并行处理应用。
　　1. 在服务器节点
　　，建一个/mirror目录，并将其配置成为NFS服务器，并在/etc/exports文件中增加一行：
　　/mirror node1(rw) node2(rw) node3(rw) node4(rw)
　　2. 在其他节点上，也建一个/mirror目录，关在/etc/fstab文件中增加一行：
　　server:/mirror /mirror nfs rw,bg,soft 0 0
　　3. /mirror这个目录从服务器上输出，装载在各个客户端，以便在各个节点间进行软件任务的分发。
　　4. 在服务器节点上，安装MPICH。MPICH的文档可在
　　5.任何一个集群用户(你必须在每一个节点新建一个相同的用户)，必须在/mirror目录下建一个属于它的子目录，如 /mirror/username，用来存放MPI程序和共享数据文件。这种情况，用户仅仅需要在服务器节点上编译MPI程序，然后将编译后的程序拷贝到在/mirror目录下属于它的的子目录中，然后从他在/mirror目录下属于它的的子目录下使用p4 MPI策略运行MPI程序。
　　2.3 MPICH安装指南
***隐藏网址***
　　2.解压：gunzip ;c mpich.tar.gz 　tar xovf-(或zcat mpich.tar.Z　tar xovf-)
　　3.进入mpich目录
　　4.执行：./configure为MPICH选择一套适合你的实际软硬件环境的参数组，如果你对这些默认选择的参数不满意，可以自己进行配置(具体参见MPICH的配置文档)。最好选择一个指定的目录来安装和配置MPICH，例如：
　　./configure -prefix=/usr/local/mpich-1.2.0
　　5.执行：make 》&make.log 这会花一段较长的时间，不同的硬件环境花的时间也就不同，可能从10分钟到1个小时，甚至更多。
　　6.(可选)在工作站网络，或是一台单独的工作站，mpich/util/machines/machines.xxx(xxx是MPICH对你机器体系结构取的名称，你能很容易的认出来)以反映你工作站的当地主机名。你完全可以跳过这一步。在集群中，这一步不需要。
　　7.(可选)编译、运行一个简单的测试程序：
　　cd examples/basic
　　make cpi
　　ln ;s ../../bin/mpirun mpirun
　　./mpirun ;np 4 cpi
　　此时，你就在你的系统上运行了一个MPI程序。
　　8.(可选)构建MPICH其余的环境，为ch_p4策略使
　　用安全的服务会使得任何启动速度加快，你可以执行以下命令构建：
　　make serv_p4
　　(serv_p4是一个较新的P4安全服务的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一个更快版本，但他需要tk 3.6版的源代码。如果你有这个包，你就用以下命令可以构建它：
　　make nupshot
　　9.(可选)如果你想将MPICH安装到一个公用的地方让其它人使用它，你可以执行：
　　make install 或 bin/mpiinstall
　　你可以使用-prefix选项指定MPICH安装目录。安装后将生成include、lib、bin、sbin、www和man目录以及一个小小的示例目录，
到此你可以通告所有的用户如何编译、执行一个MPI程序。

搭建全分布式集群的原理是什么

全分布式集群是指将系统的计算和存储资源分散到多台服务器上，通过网络互相连接，形成一个高可用、高可靠、高性能的分布式计算环境。搭建全分布式集群可以提高系统的计算能力、数据处理能力和容错能力。
实现全分布式集群需要遵循以下原则：
1. 水平扩展：将系统的计算和存储资源分散到多个节点上，可以根据业务需求按需增加或减少节点，从而方便地扩展系统的性能和容量。
2. 节点均衡：每个节点都应该具有相同的硬件配置和软件环境，以保证节点之间的任务分配均衡，并且方便进行故障转移和负载均衡。
3. 数据一致性：在分布式环境下，数据的一致性是非常重要的。为了保证数据的一致性，需要采用合适的同步机制，如数据复制、数据分片等。
4. 故障容错：从节点故障恢复和任务重试等方面提供容错功能，使得系统可以在节点故障的情况下继续工作。
5. 高性能通信：使用高速网络通信协议，如Infiniband、RDMA等，保证节点间的通信速度和吞吐量。
搭建全分布式集群需要使用一些分布式系统的基础组件，如分布式文件系统、分布式数据库、分布式缓存、分布式任务调度等，并且需要根据实际业务需求进行选择和调整。常用的分布式平台包括Hadoop、Spark、HBase、Cassandra等。同时，为了更好地管理和监控集群，还需要使用一些集群管理工具，如Zookeeper、Ambari等。

高性能高并发网站架构，教你搭建Redis5缓存集群

一、Redis集群介绍

Redis真的是一个优秀的技术，它是一种key-value形式的NoSQL内存数据库，由ANSI C编写，遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 Redis最大的特性是它会将所有数据都放在内存中，所以读写速度性能非常好。Redis是基于内存进行操作的，性能较高，可以很好的在一定程度上解决网站一瞬间的并发量，例如商品抢购秒杀等活动。

网站承受高并发访问压力的同时，还需要从海量数据中查询出满足条件的数据，需要快速响应，前端发送请求、后端和mysql数据库交互，进行sql查询操作，读写比较慢，这时候引入Redis ,把从mysql 的数据缓存到Redis 中，下次读取时候性能就会提高；当然，它也支持将内存中的数据以快照和日志的形式持久化到硬盘，这样即使在断电、机器故障等异常情况发生时数据也不会丢失，Redis能从硬盘中恢复快照数据到内存中。

Redis 发布了稳定版本的 5.0 版本，放弃 Ruby的集群方式，改用 C语言编写的 redis-cli的方式，是集群的构建方式复杂度大大降低。Redis-Cluster集群采用无中心结构，每个节点保存数据和整个集群状态，每个节点都和其他所有节点连接。
为了保证数据的高可用性，加入了主从模式，一个主节点对应一个或多个从节点，主节点提供数据存取，从节点则是从主节点拉取数据备份，当这个主节点挂掉后，就会有这个从节点选取一个来充当主节点，从而保证集群不会挂掉。
redis-cluster投票:容错，投票过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉。
集群中至少应该有奇数个节点，所以至少有三个节点，每个节点至少有一个备份节点，所以下面使用6节点（主节点、备份节点由redis-cluster集群确定）。6个节点分布在一台机器上，采用三主三从的模式。实际应用中，最好用多台机器，比如说6个节点分布到3台机器上，redis在建立集群时为自动的将主从节点进行不同机器的分配。

二、单机redis模式

下载源码redis5.0并解压编译

***隐藏网址***

tar xzf redis-5.0.0.tar.gz

cd redis-5.0.0

make

redis前端启动需要改成后台启动.

修改redis.conf文件,将daemonize no -》 daemonize yes

vim redis.conf

启动redis

/www/server/redis/src/redis-server /www/server/redis/redis.conf

查看redis是否在运行

ps aux|grep redis
现在是单机redis模式完成。

三、redis集群模式：

1.创建6个Redis配置文件

cd /usr/local/

mkdir redis_cluster //创建集群目录

cd redis_cluster

mkdir 7000 7001 7002 7003 7004 7005//分别代表6个节点

其对应端口 7000 7001 7002 70037004 7005

2.复制配置文件到各个目录

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7000/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7001/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7002/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7003/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7004/

cp /www/server/redis/redis.conf /usr/local/redis_cluster/7005/　

3.分别修改配置文件

vim /usr/local/redis_cluster/7000/redis.conf

vim /usr/local/redis_cluster/7001/redis.conf

vim /usr/local/redis_cluster/7002/redis.conf

vim /usr/local/redis_cluster/7003/redis.conf

vim /usr/local/redis_cluster/7004/redis.conf

vim /usr/local/redis_cluster/7005/redis.conf

如下

port 7000 #端口

cluster-enabled yes #启用集群模式

cluster-config-file nodes_7000.conf ＃集群的配置 配置文件首次启动自动生成

cluster-node-timeout 5000 #超时时间 5秒

appendonly yes ＃aof日志开启 它会每次写操作都记录一条日志

daemonize yes #后台运行

protected-mode no #非保护模式

pidfile /var/run/redis_7000.pid

//下面可以不写

#若设置密码，master和slave需同时配置下面两个参数：

masterauth "jijiji" #连接master的密码

requirepass "jijiji" #自己的密码　

cluster-config-file，port，pidfile对应数字

4.启动节点

cd /www/server/redis/src/

./redis-server /usr/local/redis_cluster/7000/redis.conf

./redis-server /usr/local/redis_cluster/7001/redis.conf

./redis-server /usr/local/redis_cluster/7002/redis.conf

./redis-server /usr/local/redis_cluster/7003/redis.conf

./redis-server /usr/local/redis_cluster/7004/redis.conf

./redis-server /usr/local/redis_cluster/7005/redis.conf

查看redis运行

ps aux|grep redis
5.启动集群

/www/server/redis/src/redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1

这里使用的命令是create，因为我们要创建一个新的集群。 该选项--cluster-replicas 1意味着我们希望每个创建的主服务器都有一个从服。
输入yes
至此，Reids5 集群搭建完成。

6.检查Reids5集群状态

可以执行redis-cli --cluster check host:port检查集群状态slots详细分配。

redis-cli --cluster info 127.0.0.1:7000
7.停止Reids5集群

（1）.因为Redis可以妥善处理SIGTERM信号，所以直接kill -9也是可以的，可以同时kill多个,然后再依次启动。

kill -9 PID PID PID

（2）.redis5 提供了关闭集群的工具，修改文件： /www/server/redis/utils/create-cluster/create-cluster
端口PROT设置为6999，NODES为6，工具会生成 7000-7005 六个节点 用于操作。

修改后，执行如下命令关闭集群：

/www/server/redis/utils/create-cluster/create-cluster stop

重新启动集群：

/www/server/redis/utils/create-cluster/create-cluster start　

8.帮助信息

执行redis-cli --cluster help,查看更多帮助信息

redis-cli --cluster help

吉海波

如何用多台电脑搭建一个集群

方法/步骤
集群通过多台PC完成同一个工作，更高更快的效率，且稳定。
两机或多机PC工作过程过程一样，只是更加快速，就是现在说的云。如果一台死机，另一台可以起作用。
多台PC怎么做集群
组成pc集群系统的pc之间的结构需要相同，不能有太大差异。集群pc按功能和结构分为四类；
负载均衡集群，多台pc运行时一般需要通过一个或多个前端负载均衡器将工作多台pc连接起来，然后负载均衡设备分发到后端的一组或者某个pc节点上，从而达到整个系统稳定性高性能性；
多台PC怎么做集群
高可用性集群，是指当pc集群中有某个pc节点失效的情况下，该台pc上的任务会自动转移到其他正常的pc上来，还可以将集群中的失效pc进行离线维护后再上线，这个不影响整个工作，这就体现了他的高可用性；
多台PC怎么做集群
高性能计算集群，采用的是将处理任务分配到各个不同的pc上以提高处理计算能力，主要应用于科学计算领域。
高性能集群非常适用于pc各节点之间发生大数据通讯的工作，体现工作处理能力的强，如一个节点的中间结果可能影响其它节点计算结果；
多台PC怎么做集群
网格集群是主要由异构资源组成，主要关注计算资源，包含同种处理器、操作系统提供的网格工作负载管理软件，可以将工作负载分发到不同类型、配置的pc上。
网格提供高的可扩展性，网格的动态特性可以提供很好的高可扩展性。集群和网格计算相互补充。
多台PC怎么做集群

如何实现集群技术

1)强扩展能力
其他扩展技术，通常仅能支持儿十个CPU 的扩展，扩展能力有限。而采用集群技术的集群系统则可以扩展到包括成百上千个CPU的多台服务穗，扩展能力具有明显优势。集群服务还可不断进行调整，以满足不断增长的应用需求。当集群的整体负荷超过集群的实际能力时，还可以添加额外的节点。
2)实现方式容易
服务器集群技术相对其他扩展技术来说更加容易实现，主要是通过软件进行的。在硬件上可以把多台性能较低、价格便宜的服务器，通过集群服务集中连接在一起即可实现整个服务器系统成倍，甚至几十、几百倍地增长。无论是从软硬件构成成本上来看，还是从技术实现成本上来看都较其他扩展方式低。
3)高可用性
使用集群服务拥有整个集群系统资源的所有权。如磁盘驱动器和IP地址将自动地从有故障的服务器上转移到可用的服务器上。当集群中的系统或应用程序出现故障时，集群软件将在可用的服务器上，重启失效的应用程序，或将失效节点上的工作分配到剩余的节点上。在切换过程中，用户只是觉得服务暂时停顿了一下。
4)易管理性
可以使用集群管理器来管理集群系统的所有服务器资源和应用程序，就像它们都运行在同一个服务器上一样。可以通过拖放集群对象，在集群里的不同服务器间移动应用程序，也可以通过同样的方式移动数据，还可以通过这种方式来手工地平衡服务器负荷、卸载服务器，从而方便地进行维护。同时，还可以从网络的任意地方的节点和资源处，监视集群的状态。当失效的服务器连回来时，将自动返回工作状态，集群技术将自动在集群中平衡负荷，而不需要入工干预。

快速搭建kubernetes高可用集群（3master+3worker+负载均衡）

kubeadm 是Kubernetes官方提供的用于快速安装Kubernetes集群的工具，通过kubeadm的方式安装集群比二进制的方式安装高效不少。建议初次使用k8s使用此方式安装，二进制的方式会很快令人失去信心。

在开始之前，部署Kubernetes集群机器需要满足以下几个条件：

dnsmasq安装可参考我的另一篇 文章

ha1节点配置

ha2节点配置

在两台ha节点都执行

启动后查看ha的网卡信息（有一台可看到vip）

两台ha节点的配置均相同，配置中声明了后端代理的两个master节点服务器，指定了haproxy运行的端口为16443等，因此16443端口为集群的入口

两台ha都启动

检查端口

Kubernetes默认CRI（容器运行时）为Docker，因此先安装Docker。kubelet控制容器，kubeadm控制加入平面。

镜像加速

由于版本更新频繁，这里指定版本号部署：

在master1操作

按照提示配置环境变量，使用kubectl工具：

按照提示保存以下内容，一会要使用：

查看集群状态

从官方地址获取到flannel的yaml，在master1上执行

安装flannel网络

检查

从master1复制密钥及相关文件到master2

master3操作同上

执行在master1上init后输出的join命令,需要带上参数 --control-plane 表示把master控制节点加入集群

检查状态

在node1、2、3上执行

向集群添加新节点，执行在kubeadm init输出的kubeadm join命令：

检查状态

在Kubernetes集群中创建一个pod，验证是否正常运行：

***隐藏网址***

宝塔搭建redis集群

单台服务器创建集群，多台也是一样操作，使用集群端口6380,6381,6382,6383,6384,6385

1、宝塔安装redis，路径一般是 /www/server/redis ，使用命令 ln -s /www/server/redis/src/redis-server /usr/bin/redis-server 将redis-server加入环境变量;

2、创建集群文件目录，如 /home/redis/cluster，从redis安装路径复制redis.conf到/home/redis/cluster下，并修改名称为redis_6380.conf,重复操作添加redis_6381.conf，redis_6382.conf，redis_6383.conf，redis_6384.conf，redis_6385.conf

3、修改配置文件，打开redis_6380.conf文件并一下内容，另外几个文件的端口分别改成和文件端口的一致
port 6380
pidfile /www/server/redis/redis_6380.pid
logfile "/home/redis/log/redis_6380.log"
dbfilename dump_6380.rdb
cluster-enabled yes
cluster-config-file nodes-6380.conf
cluster-node-timeout 15000

4、开启端口，将上面的6个端口分别开启，包括宝塔的和服务器的端口

5、分别启动redis redis-server cluster/redis_6380.conf

6、创建集群
redis-cli --cluster create 127.0.0.1:6380 127.0.0.1:6381 127.0.0.1:6382 127.0.0.1:6383 127.0.0.1:6384 127.0.0.1:6385 --cluster-replicas 1 如果不加–cluster-replicas 1则会创建6个主节点
7、通过端口连接redis
redis-cli -p 6384
使用命令 cluster info 查看集群信息
8、设置测试
连接6382端口redis获取test

获取成功