kops中config和cluster.spec中keys 的描述

k8s

kops中config和cluster.spec中keys 的描述

这里的描述并不完整，但旨在记录那些不太容易解释的key。我们的godoc参考提供了更详细的API值列表。在YAML文件中有描述集群的两个顶级API值：ClusterSpec定义为kind:YAML，InstanceGroup定义为kind：YAML。

spec

api

该对象配置我们如何公开API：

dns 将允许直接访问master实例，并将DNS配置为直接指向master节点。
loadBalancer 将在主节点前配置负载平衡器（ELB），并将DNS配置为指向ELB。

DNS example:

spec:
  api:
    dns: {}

当配置LoadBalancer时，可以选择使用公共ELB或内网（仅限VPC）ELB。 type 字段应该是Public 或 Internal。

另外，可以通过设置additionalSecurityGroups将预先创建的其他安全组添加到负载均衡器。

spec:
  api:
    loadBalancer:
      type: Public
      additionalSecurityGroups:
      - sg-xxxxxxxx
      - sg-xxxxxxxx

此外，可以通过设置idleTimeoutSeconds来增加负载平衡器的空闲超时(idle timeout)。默认的空闲超时时间为5分钟，AWS最多允许3600秒（60分钟）。有关更多信息，请参阅配置空闲超时。

spec:
  api:
    loadBalancer:
      type: Public
      idleTimeoutSeconds: 300

etcdClusters v3 & tls

虽然kops目前默认不是etcd3，但可以打开v3和TLS身份验证以便在群集成员之间进行通信。这些选项可以通过集群配置文件启用（只在manifests中，没有命令行选项）。警告：目前没有从v2迁移到v3的升级途径，因此不要尝试在v2运行群集上启用此功能，因为它必须在创建群集时完成。下面的示例代码片段假设一个由三个主服务器组成的HA群集。

etcdClusters:
- etcdMembers:
  - instanceGroup: master0-az0
    name: a-1
  - instanceGroup: master1-az0
    name: a-2
  - instanceGroup: master0-az1
    name: b-1
  enableEtcdTLS: true
  name: main
  version: 3.0.17
- etcdMembers:
  - instanceGroup: master0-az0
    name: a-1
  - instanceGroup: master1-az0
    name: a-2
  - instanceGroup: master0-az1
    name: b-1
  enableEtcdTLS: true
  name: events
  version: 3.0.17

kubernetesApiAccess

该数组配置能够访问kubernetes API的CIDR。在AWS上，这表现为ELB或主安全组上的入站安全组规则。

例如，使用此键可将群集访问限制为办公室IP地址范围。

spec:
  kubernetesApiAccess:
    - 12.34.56.78/32

cluster.spec Subnet Keys

id

要在现有VPC中共享的子网ID。

egress

现有VPC中您想用作处网的“出口”的资源标识符（ID）。

此功能最初设想为允许重新使用NAT网关。用法如下。虽然NAT网关是面向“公共”资源的，但在集群规范中，必须在专用私有子网部分中指定它们。考虑这一点的一种方法是你指定“egress”，这是从这个私有子网的默认路由。

spec:
  subnets:
  - cidr: 10.20.64.0/21
    name: us-east-1a
    egress: nat-987654321
    type: Private
    zone: us-east-1a
  - cidr: 10.20.32.0/21
    name: utility-us-east-1a
    id: subnet-12345
    type: Utility
    zone: us-east-1a

publicIP

您想要添加到NAT网关的现有EIP的IP。

spec:
  subnets:
  - cidr: 10.20.64.0/21
    name: us-east-1a
    publicIP: 203.93.148.142
    type: Private
    zone: us-east-1a

kubeAPIServer

该部分包含kube-apiserver的配置。

用于Open ID Connect令牌的oidc标志

spec:
  kubeAPIServer:
    oidcIssuerURL: https://your-oidc-provider.svc.cluster.local
    oidcClientID: kubernetes
    oidcUsernameClaim: sub
    oidcUsernamePrefix: "oidc:"
    oidcGroupsClaim: user_roles
    oidcGroupsPrefix: "oidc:"
    oidcCAFile: /etc/kubernetes/ssl/kc-ca.pem

audit logging

Read more about this here: https://kubernetes.io/docs/admin/audit

spec:
  kubeAPIServer:
    auditLogPath: /var/log/kube-apiserver-audit.log
    auditLogMaxAge: 10
    auditLogMaxBackups: 1
    auditLogMaxSize: 100
    auditPolicyFile: /srv/kubernetes/audit.yaml

注意：auditPolicyFile是必需的。如果该标志被省略，则不记录事件。

可以使用fileAssets功能在master节点上推送高级审核策略文件。

示例策略文件可以在这里找到

Max Requests Inflight

The maximum number of non-mutating requests in flight at a given time. 当服务器超过这个时，它拒绝请求。零为无限制。（默认400）

spec:
  kubeAPIServer:
    maxRequestsInflight: 1000

runtimeConfig

这里的键和值被翻译成kube-apiserver中--runtime-config的值，用逗号分隔。

使用它来启用alpha功能，例如：

spec:
  kubeAPIServer:
    runtimeConfig:
      batch/v2alpha1: "true"
      apps/v1alpha1: "true"

将产生参数 --runtime-config=batch/v2alpha1=true,apps/v1alpha1=true 。请注意，kube-apiserver接受true作为开关状标志的值。

serviceNodePortRange

该值作为kube-apiserver的--service-node-port-range 参数。

spec:
  kubeAPIServer:
    serviceNodePortRange: 30000-33000

externalDns

这部分配置选项是为外部DNS提供的。当前的外部DNS提供商是kops dns-controller，它可以为Kubernetes资源设置DNS记录。 dns-controller计划逐步淘汰并替换为external-dns。

spec:
  externalDns:
    watchIngress: true

默认的kops行为是false。watchIngress:true使用默认的dns-controller行为来监视入口控制器的变化。在某些情况下，设置此选项有中断服务更新的风险。

kubelet

该部分包含kubelet的配置。请参阅https://kubernetes.io/docs/admin/kubelet/

注意：如果相应的配置值可以为空，则可以在spec中将字段设置为空，这样可以将空字符串作为配置值传递给kubelet。

spec:
  kubelet:
    resolvConf: ""

将会建立标志--resolv-conf= 。

启用自定义metrics支持

要按照[自定义metrics doc 我们在kubernetes 中使用自定义指标，我们必须在所有kubelets上将标志--enable-custom-metrics设置为true。可以在我们的cluster.yml中的kubelet规范中指定它。

spec:
  kubelet:
    enableCustomMetrics: true

kubeScheduler

该部分包含kube-scheduler的配置。请参阅https://kubernetes.io/docs/admin/kube-scheduler/

spec:
  kubeScheduler:
    usePolicyConfigMap: true

将使kube-scheduler使用命名空间kube-system中configmap的“scheduler-policy”调度程序策略。

请注意，从Kubernetes 1.8.0 kube-scheduler不会自动从configmap重新加载其配置。需要进入master 实例并手动重启Docker容器。

kubeControllerManager

该部分包含controller-manager的配置。

spec:
  kubeControllerManager:
    horizontalPodAutoscalerSyncPeriod: 15s
    horizontalPodAutoscalerDownscaleDelay: 5m0s
    horizontalPodAutoscalerUpscaleDelay: 3m0s

有关horizontalPodAutoscaler标志的更多详细信息，请参阅官方HPA文档和Kops指南如何设置它。

Feature Gates

spec:
  kubelet:
    featureGates:
      Accelerators: "true"
      AllowExtTrafficLocalEndpoints: "false"

将会生成flag --feature-gates=Accelerators=true,AllowExtTrafficLocalEndpoints=false

注：Feature gate ExperimentalCriticalPodAnnotation默认启用，因为一些关键组件如kube-proxy 依赖它。

计算资源保留

spec:
  kubelet:
    kubeReserved:
        cpu: "100m"
        memory: "100Mi"
        storage: "1Gi"
    kubeReservedCgroup: "/kube-reserved"
    systemReserved:
        cpu: "100m"
        memory: "100Mi"
        storage: "1Gi"
    systemReservedCgroup: "/system-reserved"
    enforceNodeAllocatable: "pods,system-reserved,kube-reserved"

将会生成标志： --kube-reserved=cpu=100m,memory=100Mi,storage=1Gi --kube-reserved-cgroup=/kube-reserved --system-reserved=cpu=100mi,memory=100Mi,storage=1Gi --system-reserved-cgroup=/system-reserved --enforce-node-allocatable=pods,system-reserved,kube-reserved。

了解有关预留计算资源的更多信息。

networkID

在AWS上，这是创建群集的VPC的ID。如果需要从头开始创建群集，可以不在创建时指定此字段; kops将为你创建一个VPC。

spec:
  networkID: vpc-abcdefg1

有关在现有VPC中运行的更多信息，请参阅此处。

hooks

钩子(hooks)允许在群集中的每个节点安装Kubernetes之前执行一些操作。例如，可以安装Nvidia驱动程序以使用GPU。这个钩子可以是Docker镜像或manifest（systemd单元）的形式。 hooks可以放在集群spec中，这意味着它们将会全局部署，或者可以将它们放入instanceGroup spec中。注意：当instanceGroup与集群spec上的服务名相同时，instanceGroup优先并忽略群集spec中的定义；即，如果群集中具有单元文件“myunit.service”，并且instanceGroup中有单元文件“myunit.service”，则应用instanceGroup中的文件。

spec:
  # many sections removed
  hooks:
  - before:
    - some_service.service
    requires:
    - docker.service
      execContainer:
      image: kopeio/nvidia-bootstrap:1.6
      # these are added as -e to the docker environment
      environment:
        AWS_REGION: eu-west-1
        SOME_VAR: SOME_VALUE

  # or a raw systemd unit
  hooks:
  - name: iptable-restore.service
    roles:
    - Node
    - Master
    before:
    - kubelet.service
    manifest: |
      [Service]
      EnvironmentFile=/etc/environment
      # do some stuff

  # or disable a systemd unit
  hooks:
  - name: update-engine.service
    disabled: true

  # or you could wrap this into a full unit
  hooks:
  - name: disable-update-engine.service
    before:
    - update-engine.service
    manifest: |
      Type=oneshot
      ExecStart=/usr/bin/systemctl stop update-engine.service

安装Ceph

spec:
  # many sections removed
  hooks:
  - execContainer:
      command:
      - sh
      - -c
      - chroot /rootfs apt-get update && chroot /rootfs apt-get install -y ceph-common
      image: busybox

fileAssets

FileAssets是一个alpha功能，允许你将内联文件内容放入群集和instanceGroup 配置中。它被设计为alpha，你可以通过kubernetes daemonsets做替代。

spec:
  fileAssets:
  - name: iptable-restore
    # Note if not path is specificied the default path it /srv/kubernetes/assets/<name>
    path: /var/lib/iptables/rules-save
    roles: [Master,Node,Bastion] # a list of roles to apply the asset to, zero defaults to all
    content: |
      some file content

cloudConfig

disableSecurityGroupIngress

如果您将aws用作cloudProvider，则可以禁用ELB安全组对Kubernetes Nodes安全组的授权。换句话说，它不会添加安全组规则。这可以是有用的，可以避免AWS限制：每个安全组50个规则。

spec:
  cloudConfig:
    disableSecurityGroupIngress: true

elbSecurityGroup

警告：这仅适用于1.7.0以上的Kubernetes版本。

为避免为每个elb创建一个安全组，可以指定安全组id，该id将分配给LoadBalancer。它必须是安全组ID，而不是名称。 api.loadBalancer.additionalSecurityGroups 必须为空，因为Kubernetes将为服务文件中指定的每个端口添加规则。这可以避免AWS限制：每个区域500个安全组，每个安全组50个规则。

spec:
  cloudConfig:
    elbSecurityGroup: sg-123445678

docker

可以覆盖集群中所有masters 和nodes 的Docker守护进程选项。查看API文档以获取完整的选项列表。

registryMirrors

如果你有一堆Docker实例（physicsal或vm）正在运行，每当他们中的一个pull主机上不存在的image 时，它将从DockerHub上拉取它。通过缓存这些images，可以将流量保留在本地网络中，避免出口带宽使用。此设置不仅有利于集群配置，而且还有利于images 拉取。

@see Cache-Mirror Dockerhub For Speed @see Configure the Docker daemon.

spec:
  docker:
    registryMirrors:
    - https://registry.example.com

storage

可以指定Docker存储驱动程序以覆盖默认值。确保你选择的驱动程序受操作系统和docker版本的支持。

docker:
  storage: devicemapper
  storageOpts:
    - "dm.thinpooldev=/dev/mapper/thin-pool"
    - "dm.use_deferred_deletion=true"
    - "dm.use_deferred_removal=true"

sshKeyName

在某些情况下，可能需要使用现有的AWS SSH密钥，而不是允许kops创建新密钥。 AWS中提供密钥的名称是--ssh-public-key的替代方案。

spec:
  sshKeyName: myexistingkey

target

在某些使用情况下，你可能希望使用额外选项来增加目标输出。目标支持最少的选项，你可以做到这一点。目前只有terraform的目标支持这一点，但如果其他用例出现，kops最终可能会支持更多。

spec:
  target:
    terraform:
      providerExtraConfig:
        alias: foo

如果觉得文章对你有用，请随意赞赏

k8s kubernetes kops

kops中config和cluster.spec中keys 的描述

https://xxlab.tech/archives/kops%E4%B8%ADconfig%E5%92%8Cclusterspec%E4%B8%ADkeys%E7%9A%84%E6%8F%8F%E8%BF%B0

作者

Administrator

发布于

2018-03-15

更新于

2024-11-26

许可协议

CC BY 4.0

kops中config和cluster.spec中keys 的描述

kops中config和cluster.spec中keys 的描述

spec

api

etcdClusters v3 & tls

kubernetesApiAccess

cluster.spec Subnet Keys

id

egress

publicIP

kubeAPIServer

用于Open ID Connect令牌的oidc标志

audit logging

Max Requests Inflight

runtimeConfig

serviceNodePortRange

externalDns

kubelet

启用自定义metrics支持

kubeScheduler

kubeControllerManager

Feature Gates

计算资源保留

networkID

hooks

fileAssets

cloudConfig

disableSecurityGroupIngress

elbSecurityGroup

docker

registryMirrors

storage

sshKeyName

target

作者

发布于

更新于

许可协议

评论