kubernetes之多网络策略

作者 YYGCui 日期 2017-09-10
Categories: 技术积累 Tags: kubernetes
kubernetes之多网络策略

网络策略(Network Policy)是Kubernetes提供的一种规范，它描述了一组Pod是如何被允许相互通信的，以及和其他端点是如何通信的。Kubernetes只提供了这样的机制，具体功能由网络插件(Network Plugins)实现，流行的网络插件有很多，但并不是所有的网络插件都提供了网络策略功能，如flannel就没有提供这样的功能，目前已知的支持网络策略的有Calico, Cilium, Kube-router, Romana, Weave Net, Canal。

网络策略的应用和Kubernetes中很多操作类似，是通过labels来选取一组Pods的，然后再配置具体的规则(目前的实现都是通过配置iptables rule)来控制什么流量被允许发送到这组选取的Pods。

注: 笔者使用的Kubernetes 1.6版本中网络策略还处于beta状态，其配置和Kubernetes 1.7中网络策略正式版略有差异。这里略作批注。

网络策略

使用网络策略的一般步骤如下(以Calico为例):

配置网络策略

  1. 修改kube-apiserver的配置文件，添加配置项--runtime-config=extensions/v1beta1/networkpolicies=true，表示启用网络策略(Kubernetes 1.6版本中)
  2. 修改kubelet的配置文件，添加配置项--network-plugin=cni，表示使用CNI网络插件
  3. 根据calico相应版本的安装文档，安装calico插件，Calico Kubernetes Hosted Install方式比较简单。

使用网络策略

kubernetes官方文档有详细的说明，这里简要列一下几个关键配置。

  1. 默认配置下，Pods是不做隔离的，即集群内所有Pod之间都是互通的。
    a. Kubernetes 1.6版本中在使用网络策略之前，需要先配置namespace为默认隔离，配置如下：

    {
        "metadata": {
            "name": "mynamespace",
            "labels": {
                "name": "mynamespace"
            },
            "annotations": {
                "net.beta.kubernetes.io/network-policy": "{\"ingress\": {\"isolation\": \"DefaultDeny\"}}"
            }
        }
    }

    此时，该namespace下的所有Pod都是隔离状态的，不接收任何来源的流量。

    b. Kubernetes 1.7版本中直接通过网络策略配置，即配置网络策略的应用网络策略规则，未配置网络策略的还是未隔离状态。

  2. 使用标签选择器配置一组Pod的网路策略，即接收哪些来源的流量， 示例如下(Kubernetes 1.6版本apiVersion不同)，该配置表示：

    • 在名为default的命名空间中隔离所有标签为role=db的Pod， 如果没有隔离的话(Kubernetes 1.7版本)。
    • 允许标签为project=myproject的命名空间中的所有Pod通过TCP连接该default命令空间里的标签为role=db的Pod的6379端口。
    • 允许标签为role=frontend的defult命名空间中的所有Pod通过TCP连接该default命令空间里的标签为role=db的Pod的6379端口。
    {
    "apiVersion": "networking.k8s.io/v1",
    "kind": "NetworkPolicy",
    "metadata": {
        "name": "test-network-policy",
        "namespace": "default"
    },
    "spec": {
        "podSelector": {
        "matchLabels": {
            "role": "db"
        }
        },
        "ingress": [
        {
            "from": [
            {
                "namespaceSelector": {
                "matchLabels": {
                    "project": "myproject"
                }
                }
            },
            {
                "podSelector": {
                "matchLabels": {
                    "role": "frontend"
                }
                }
            }
            ],
            "ports": [
            {
                "protocol": "TCP",
                "port": 6379
            }
            ]
        }
        ]
    }
    }

  3. 同样的，Kubernetes 1.7版本中，也提供了默认策略
    a. 默认全隔离策略，类似于Kubernetes 1.6版本对namespace的配置，作用的命名空间下所有Pod在未应用其他网络策略的情况下是隔离状态。

    {
        "apiVersion": "networking.k8s.io/v1",
        "kind": "NetworkPolicy",
        "metadata": {
            "name": "default-deny"
        },
        "spec": {
            "podSelector": null
        }
    }

    b. 全通策略，作用的命名空间下所有Pod可接收任何流量，无视其上配置的其他网络策略。

    {
        "apiVersion": "networking.k8s.io/v1",
        "kind": "NetworkPolicy",
        "metadata": {
            "name": "allow-all"
        },
        "spec": {
            "podSelector": null,
            "ingress": [
                {
                }
            ]
        }
    }

多网络策略

在文章[kubernetes之多网络支持]中，以flannel为例讲述了多网络的配置方法。由于flannel不支持网络策略，这里使用Huawei-PaaS/CNI-Genie插件为例，CNI-Genie也是集成引导插件，本身不做具体功能，由引用的插件完成网络功能，其支持Calico, Weave Net, Canal, Romana等。

配置多插件

在前述配置网络策略的基础上，再安装CNI-Genie, Weave Net, Canal, Romana等插件，以上插件官方都有Kubernetes Hosted Install的安装脚本，直接下载应用即可。这里CNI-Genie的配置文件是00-**.conf，而其他插件的配置文件是10-**.conf，所以按优先级默认加载的插件是CNI-Genie。

使用多网络

CNI-Genie使用动态选择插件的策略，即每次部署都可以指定不同的插件，通过Kubernetes的annotations实现，示例如下：

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: mytest
  namespace: mynamespace
  labels:
    name: mytest
spec:
  replicas: 2
  template:
    metadata:
      name: mytest
      namespace: mynamespace
      labels:
        name: mytest
      annotations:
        cni: "calico,weave"
        multi-ip-preferences: |
          {
            "multi_entry": 0,
            "ips": {
              "": {
                "ip": "",
                "interface": ""
              }
            }
          }
    spec:
      containers:
        - name: mytest
          image: mytest:latest
          imagePullPolicy: IfNotPresent
          ports:
            - containerPort: 21234

这里annotations添加了两个字段，cni表示该部署使用的网络插件，如这里使用的是Calico和Weave Net。multi-ip-preferences字段用于反填网络插件配置的ip地址和网络编号，以ip1, ip2, … 命名。

注: Calico由于本身实现的问题，笔者在验证时不能作为非第一网络使用，具体参看github issue

多网络策略

网络策略的实现都是以Kubernetes里的PodIP为入参施加网络规则的，但在多网络配置下只有第一网络的ip被上报给Kubernetes，作为PodIP。也就是说我们无法通过Kubernetes存储的数据获取到多网络地址。这里我们可以利用multi-ip-preferences字段的值来满足定制化需求。

以Weave Net为例，需要定制其npc实现，所有获取PodIP的地方替换成如下方式获取的ip(获取第二网络地址，这里示例不具有灵活性，可考虑在multi-ip-preferences添加一个字段表示该ip属于哪个插件)。

func getIPFromAnnotation(pod *coreapi.Pod) string {
	var podIP2 string = ""
	var mip MultiIPPreferences
	
	mipJSON, found := pod.ObjectMeta.Annotations["multi-ip-preferences"]
	if found {
		if err := json.Unmarshal([]byte(mipJSON), &mip); err == nil {
			if value, ok := mip.Ips["ip2"]; ok {
				podIP2 = value
			}
		}
	}

	return podIP2
}

至此，我们的多网络配置下，可以使网络策略作用于所有配置网络。

FEATURED TAGS
kubernetes