Rancher 手册

简介

安装

安装准备

获取安装包

直接从外网镜像仓库拉取rancher镜像即可，rancher镜像共有两个：

* rancher/server * rancher/agent

拉取命令如下 ``` # docker pull rancher/server

# docker pull rancher/agent

备注：

 server镜像大致在1.05G左右
 agent镜像大致在250M左右

```

Rancher 2.x 安装

安装准备 kubectl - k8s命令行工具. rke - Rancher Kubernetes Engine, cli for building Kubernetes clusters. helm - k8s包管理工具

注意： Due to an issue with Helm v2.12.0 and cert-manager, please use Helm v2.12.1 or higher.

软件版本建议建议 RHEL-7.6（X86-64)CentOS- Docker 17.03.x, 18.06.x, 18.09.x Nginx 1.14 1.15

RKE 版本 0.3.1，支持Kubernete版本为： v1.16.2-rancher1-1 (experimental) v1.15.5-rancher1-2 (default) v1.14.8-rancher1-1 v1.13.12-rancher1-1

安装步骤

Create Nodes and Load Balancer
Install Kubernetes with RKE
Initialize Helm (tiller)
Install Rancher

创建Nodes和LB

LB RKE将在每个节点上配置入口控制器POD。入口控制器POD绑定到主机网络上的端口TCP/80和TCP/443，并且是向HANCHER服务器的HTTPS流量的入口点。

注意：不要和应用共享此LB，可能会导致websocket错误

使用Nginx作为LB，nginx.conf配置如下：

worker_processes 4;
worker_rlimit_nofile 40000;

events {
    worker_connections 8192;
}

stream {
    upstream rancher_servers_http {
        least_conn;
        server <IP_NODE_1>:80 max_fails=3 fail_timeout=5s;
        server <IP_NODE_2>:80 max_fails=3 fail_timeout=5s;
        server <IP_NODE_3>:80 max_fails=3 fail_timeout=5s;
    }
    server {
        listen     80;
        proxy_pass rancher_servers_http;
    }

    upstream rancher_servers_https {
        least_conn;
        server <IP_NODE_1>:443 max_fails=3 fail_timeout=5s;
        server <IP_NODE_2>:443 max_fails=3 fail_timeout=5s;
        server <IP_NODE_3>:443 max_fails=3 fail_timeout=5s;
    }
    server {
        listen     443;
        proxy_pass rancher_servers_https;
    }
}

准备离线镜像

 * rancher-images.txt
 * rancher-save-images.sh
 * rancher-load-images.sh
 * rancher-push-images.sh

安装kubectl

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg \
    https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
yum install -y kubectl

配置kubectl 使用RKE创建Kubernetes集群时，RKE会在本地目录中创建一个包含认证信息的配置文件kube_config_rancher-cluster.yml，以使用kubectl或helm等工具连接到新集群。您可以将此文件复制到$HOME/.kube/config或者如果您正在使用多个Kubernetes集群，请将KUBECONFIG环境变量设置为路径kube_config_rancher-cluster.yml

 export KUBECONFIG=$(pwd)/kube_config_rancher-cluster.yml

检查kubectl 通过获取集群状态来检查kubectl是否已正确配置：

 kubectl cluster-info

如果您看到类似于以下内容的消息，则kubectl配置不正确或无法连接到Kubernetes集群:

The connection to the server <server-name:port> was \
    refused - did you specify the right host or port?

如果kubectl cluster-info返回url响应但您无法访问集群，要检查它是否配置正确，请使用：

kubectl --kubeconfig=kube_configxxx.yml cluster-info dump

RKE 安装k8s rancher-cluster.yml文件：

nodes:
- address: 10.10.3.187            # node air gap network IP
  internal_address: 172.31.7.22   # node intra-cluster IP
  user: rancher
  role: [ "controlplane", "etcd", "worker" ]
  ssh_key_path: /home/user/.ssh/id_rsa
- address: 10.10.3.254            # node air gap network IP
  internal_address: 172.31.13.132 # node intra-cluster IP
  user: rancher
  role: [ "controlplane", "etcd", "worker" ]
  ssh_key_path: /home/user/.ssh/id_rsa
- address: 10.10.3.89             # node air gap network IP
  internal_address: 172.31.3.216  # node intra-cluster IP
  user: rancher
  role: [ "controlplane", "etcd", "worker" ]
  ssh_key_path: /home/user/.ssh/id_rsa

private_registries:
- url: <REGISTRY.YOURDOMAIN.COM:PORT> # private registry url
  user: rancher
  password: "*********"
  is_default: true

services:
  etcd:
    extra_args:
        auto-compaction-retention: 240 #(单位小时)
        # 修改空间配额为$((6*1024*1024*1024))，默认2G,最大8G
        quota-backend-bytes: '6442450944'
    # rke 0.2之前版本
    snapshot: true
    creation: 6h
    retention: 24h
    # rke 0.2之后版本 （两段配置二选一）
    backup_config:
      enabled: true     # enables recurring etcd snapshots
      interval_hours: 6 # time increment between snapshots
      retention: 60     # time in days before snapshot purge
      # Optional S3
      s3_backup_config:
        access_key: "myaccesskey"
        secret_key:  "myaccesssecret"
        bucket_name: "my-backup-bucket"
        endpoint: "s3.eu-west-1.amazonaws.com"
        region: "eu-west-1"

备注：RKE配置参数详见：【RKE配置参数】常规RKE节点选项 Option Required Description address yes 公共域名或IP地址 user yes 可以运行docker命令的用户 role yes 分配给节点的Kubernetes角色列表 internal_address no 内部集群通信的私有域名或IP地址 ssh_key_path no 用于对节点进行身份验证的SSH私钥的路径（默认为~/.ssh/id_rsa）

创建k8s集群

 rke up --config ./rancher-cluster.yml

 完成后，它应显示：Finished building Kubernetes cluster successfully。

RKE应该已经创建了一个文件kube_config_rancher-cluster.yml。这个文件包含kubectl和helm访问K8S的凭据如果您使用的文件不叫rancher-cluster.yml, 那么这个kube config配置文件将被命名为kube_config_.yml 您可以将此文件复制到$HOME/.kube/config，或者如果您正在使用多个Kubernetes集群，请将KUBECONFIG环境变量设置为kube_config_rancher-cluster.yml文件路径

 export KUBECONFIG=$(pwd)/kube_config_rancher-cluster.yml

通过kubectl测试您的连接，并查看您的所有节点是否处于Ready状态。

 kubectl --kubeconfig=kube_configxxx.yml  get  nodes

检查集群Pod的运行状况

  kubectl --kubeconfig=kube_configxxx.yml  get  pods --all-namespaces

保存kube_config_rancher-cluster.yml和rancher-cluster.yml文件的副本,您将需要这些文件来维护和升级Rancher实例。

安装Rancher

依赖kubectl，因此需要先安装kubectl

初始化Helm

配置Helm客户端访问权限在离线环境中安装有kubectl的主机上执行以下命令

# 指定kubeconfig配置文件
kubeconfig=kube_configxxx.yml

kubectl --kubeconfig=$kubeconfig -n kube-system \
    create serviceaccount tiller
kubectl --kubeconfig=$kubeconfig \
    create clusterrolebinding tiller \
    --clusterrole cluster-admin \
    --serviceaccount=kube-system:tiller

创建registry secret(可选） Helm初始化的时候会去拉取tiller镜像，如果镜像仓库为私有仓库，则需要配置登录凭证。在离线环境中安装有kubectl的主机上执行以下命令

# 指定kubeconfig配置文件
kubeconfig=kube_configxxx.yml

kubectl --kubeconfig=$kubeconfig -n kube-system \
    create secret docker-registry regcred \
    --docker-server="reg.example.com" \
    --docker-username=<user> \
    --docker-password=<password> \
    --docker-email=<email>

# 指定kubeconfig配置文件
kubeconfig=kube_configxxx.yml

kubectl --kubeconfig=$kubeconfig -n kube-system \
    patch serviceaccount tiller -p '{"imagePullSecrets": [{"name\": "regcred"}]}'

安装Helm客户端在离线环境中安装有kubectl的主机上安装Helm客户端，参考安装Helm客户端了解Helm客户端安装
安装Helm Server(Tiller)

  helm init在缺省配置下，会去谷歌镜像仓库拉取gcr.io/kubernetes-helm/tiller镜像，并在Kubernetes集群上安装配置Tiller。离线环境下，可通过--tiller-image指定私有镜像仓库镜像。
  helm init在缺省配置下，会利用https://kubernetes-charts.storage.googleapis.com作为缺省的stable repository地址,并去更新相关索引文件。
  如果您是离线安装Tiller, 如果有内部的chart仓库，可通过--stable-repo-url指定内部chart地址；如果没有内部的chart仓库, 可通过添加--skip-refresh参数禁止Tiller更新索引。

在离线环境中安装有kubectl和Helm客户端的主机上执行以下命令

kubeconfig=xxx.yml

helm_version=`helm version |grep Client | awk -F""\" '{print $2}'`

helm init --kubeconfig=$kubeconfig --skip-refresh \
    --service-account tiller \
    --tiller-image registry.cn-shanghai.aliyuncs.com/rancher/tiller:${helm_version}

备注： helm_version 操作其实就是显示helm的版本，如果有指定的tiller版本可以直接使用tiller镜像

打包Rancher Charts模板

此步骤需要在能连接互联网的主机上操作，在可访问互联网并安装有Helm客户端的主机上执行以下操作

添加Rancher Charts仓库指定安装的版本(比如: latest or stable)，可通过版本选择查看版本说明

 helm repo add rancher-stable https://releases.rancher.com/server-charts/stable

备注：此步骤就是向本地repository中增加一个仓库地址

获取Rancher Charts离线包指定安装的版本(比如: latest或stable或者通过--version指定版本)，可通过版本选择查看版本说明

 helm fetch rancher-stable/rancher --version v2.3.2

备注：

    此步骤是从所有可用的仓库中获取指定版本的rancher 的chart
    结果
    默认在当前目录下生成rancher-vx.x.x.tgz压缩文件，可通过-d指定生成的压缩包路径，比如:helm fetch rancher-stable/rancher --version v2.2.3 -d /home，将会在/home目录下生成rancher-vx.x.x.tgz压缩文件。

离线安装Rancher

将生成的rancher-vx.x.x.tgz文件拷贝到离线环境安装有kubectl和Helm客户端的主机上，解压rancher-vx.x.x.tgz文件获得rancher文件夹。

以TCP L4负载均衡器或者ingress作为访问入口
使用权威认证证书将服务证书和CA中间证书链合并名为tls.crt的文件中,将私钥复制到名为tls.key的文件中。使用kubectl创建类型为tls的secrets

# 指定kubeconfig配置文件
kubeconfig=kube_configxxx.yml
kubectl --kubeconfig=$kubeconfig \
    create namespace cattle-system

kubectl --kubeconfig=$kubeconfig \
    -n cattle-system create secret \
    tls tls-rancher-ingress \
    --cert=./tls.crt \
    --key=./tls.key

注意
  必须把服务证书文件和key文件重命名为tls.crt和tls.key。

然后执行以下命令进行rancher安装:

# 指定kubeconfig配置文件

kubeconfig=kube_configxxx.yml

helm --kubeconfig=$kubeconfig install ./rancher \
    --name rancher \
    --namespace cattle-system \
    --set hostname=<修改为自己的域名> \
    --set ingress.tls.source=secret
    --set rancherImage=<REGISTRY.YOURDOMAIN.COM:PORT>/rancher/rancher:stable

使用自己的自签名证书如果使用的是自己创建的自签名证书，则需要创建证书secret和CA证书secret

# 指定kubeconfig配置文件

kubeconfig=kube_configxxx.yml
kubectl --kubeconfig=$kubeconfig \
    create namespace cattle-system

kubectl --kubeconfig=$kubeconfig \
    -n cattle-system create \
    secret tls tls-rancher-ingress \
    --cert=./tls.crt \
    --key=./tls.key

kubectl --kubeconfig=$kubeconfig \
    -n cattle-system \
    create secret generic tls-ca \
    --from-file=cacerts.pem

注意
    必须保证文件名为cacerts.pem、tls.crt和tls.key。

然后执行以下命令进行rancher安装

# 指定kubeconfig配置文件

kubeconfig=kube_configxxx.yml

helm --kubeconfig=$kubeconfig install ./rancher \
    --name rancher \
    --namespace cattle-system \
    --set hostname=<修改为自己的域名> \
    --set ingress.tls.source=secret \
    --set privateCA=true \
    --set rancherImage=<REGISTRY.YOURDOMAIN.COM:PORT>/rancher/rancher:stable

以外部HTTP L7负载均衡器作为访问入口（nginx为例）

使用权威认证证书使用外部七层负载均衡器作为访问入口，那么将需要把ssl证书配置在L7负载均衡器上面，如果是权威认证证书，rancher侧则无需配置证书。参考nginx配置示例了解L7负载均衡器证书配置方法。

# 指定kubeconfig配置文件
kubeconfig=kube_configxxx.yml

helm --kubeconfig=$kubeconfig install ./rancher \
    --name rancher \
    --namespace cattle-system \
    --set hostname=<修改为自己的域名> \
    --set tls=external \
    --set rancherImage=<REGISTRY.YOURDOMAIN.COM:PORT>/rancher/rancher:stable

使用自己的自签名证书使用外部七层负载均衡器作为访问入口，那么将需要把ssl证书配置在L7负载均衡器上面，如果是自己的自签名证书，则需要把CA证书以密文的形式导入rancher。参考nginx配置示例了解L7负载均衡器证书配置方法。

# 指定kubeconfig配置文件

kubeconfig=kube_configxxx.yml
kubectl --kubeconfig=$kubeconfig \
    create namespace cattle-system

kubectl --kubeconfig=$kubeconfig \
    -n cattle-system create \
    secret generic tls-ca \
    --from-file=cacerts.pem

注意
必须保证文件名为cacerts.pem。