Kubernetes-APIServer

[TOC]

深入理解Kube-APIServer

大纲

认证
鉴权
准入
- Mutating（变形）
- Validating （校验）
- Admission
限流
APIServer对象的实现

Shell

# 解码base64，转换为jwt
echo xxxx|base64 -d
# 获取serviceAccount，每个ns下都有一个default的sa，关联了secrets的token，apiServer颁发的。
# 作用：为每个ns下都有serviceAccount，内部的pod访问apiServer的认证。
k get sa
# 获取密钥
k get secrets
# userAccount是k8s外部平台认识的用户，用于k8s主动去询问他，这个token是谁的
k get rolebinding -o yaml
# 是发起put请求，更新整个对象。性能差
k replace  -f xx.yaml
# 是发起PATCH请求，增量操作替换
k apply -f xx.yaml
# 获取资源配额
k get resourcequota
# 查看apiserver的help文档，比如：查看准入插件（--enable-admission-plugins）
ks exec -it kube-apiserver-noahlinux -- kube-apiserver --help
# 获取apiServer限流，前者：种类，后者优先级队列
k get flowschema -A
k get PRIORITYLEVELConfiguration -A

API Server

访问控制预览

访问控制细节

认证

认证插件

基于webhook的认证服务集成

构建符合kubernetes规范的认证服务

开发认证服务

package main

import (
	"context"
	"encoding/json"
	"log"
	"net/http"

	"github.com/google/go-github/github"
	"golang.org/x/oauth2"
	authentication "k8s.io/api/authentication/v1beta1"
)

//该handle提供给k8s认证授权用，返回用户是谁，有什么权限
func main() {
	http.HandleFunc("/authenticate", func(w http.ResponseWriter, r *http.Request) {
    //解码认证请求
		decoder := json.NewDecoder(r.Body)
		var tr authentication.TokenReview
		err := decoder.Decode(&tr)
		if err != nil {
			log.Println("[Error]", err.Error())
			w.WriteHeader(http.StatusBadRequest)
			json.NewEncoder(w).Encode(map[string]interface{}{
				"apiVersion": "authentication.k8s.io/v1beta1",
				"kind":       "TokenReview",
				"status": authentication.TokenReviewStatus{
					Authenticated: false,
				},
			})
			return
		}
		log.Print("receving request")
		// Check User
    // 转发认证请求至认证服务器
		ts := oauth2.StaticTokenSource(
			&oauth2.Token{AccessToken: tr.Spec.Token},
		)
		tc := oauth2.NewClient(context.Background(), ts)
		client := github.NewClient(tc)
		user, _, err := client.Users.Get(context.Background(), "")
		if err != nil {
			log.Println("[Error]", err.Error())
			w.WriteHeader(http.StatusUnauthorized)
			json.NewEncoder(w).Encode(map[string]interface{}{
				"apiVersion": "authentication.k8s.io/v1beta1",
				"kind":       "TokenReview",
				"status": authentication.TokenReviewStatus{
					Authenticated: false,
				},
			})
			return
		}
		log.Printf("[Success] login as %s", *user.Login)
    // 认证结果返回给ApiServer
		w.WriteHeader(http.StatusOK)
		trs := authentication.TokenReviewStatus{
			Authenticated: true,
			User: authentication.UserInfo{
				Username: *user.Login,
				UID:      *user.Login,
			},
		}
		json.NewEncoder(w).Encode(map[string]interface{}{
			"apiVersion": "authentication.k8s.io/v1beta1",
			"kind":       "TokenReview",
			"status":     trs,
		})
	})
	log.Println(http.ListenAndServe(":3000", nil))
}

配置认证服务和apiserver

最佳实践：webhook的认证和鉴权服务，通过sidercar的模式，跑在apiserver服务上

{
  "kind": "Config",
  "apiVersion": "v1",
  "preferences": {},
  "clusters": [
    {
      "name": "github-authn",
      "cluster": {
        "server": "http://192.168.34.2:3000/authenticate"
      }
    }
  ],
  "users": [
    {
      "name": "authn-apiserver",
      "user": {
        "token": "secret"
      }
    }
  ],
  "contexts": [
    {
      "name": "webhook",
      "context": {
        "cluster": "github-authn",
        "user": "authn-apiserver"
      }
    }
  ],
  "current-context": "webhook"
}

生产系统中遇到的陷阱

鉴权

RBAC vs ABAC

RBAC图解

老版本

新版本

Role和ClusterRole

binding

账户/组的管理

针对群组授权

规划系统角色

实现方案

与权限相关的其他最佳实践

准入

准入控制

准入控制插件

准入控制插件的开发

准入控制插件

限流

计数器固定窗口算法

计数器滑动窗口算法

漏斗算法

令牌桶算法

ApiServer中的限流

传统限流方法的局限性

API Priority and Fairness

概念

优先级

排队

豁免请求

某些特别重要的请求不受制于此特性施加的任何限制。这些豁免可防止不当的流控配置完全禁用 API 服务器。

默认配置

PriorityLevelConfiguration

FlowSchema

调试

高可用ApiServer

启动ApiServer示例

kube-apiserver 
--advertise-address=10.252.189.253 
--allow-privileged=true 
--authorization-mode=Node,RBAC 
--client-ca-file=/etc/kubernetes/pki/ca.crt 
--enable-admission-plugins=NodeRestriction 
--enable-bootstrap-token-auth=true 
--etcd-cafile=/etc/kubernetes/pki/etcd/ca.crt 
--etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt 
--etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key 
--etcd-servers=https://127.0.0.1:2379 
--kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt 
--kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key 
--kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname 
--proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt 
--proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key 
--requestheader-allowed-names=front-proxy-client 
--requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt 
--requestheader-extra-headers-prefix=X-Remote-Extra- 
--requestheader-group-headers=X-Remote-Group 
--requestheader-username-headers=X-Remote-User 
--secure-port=6443 
--service-account-issuer=https://kubernetes.default.svc.cluster.local 
--service-account-key-file=/etc/kubernetes/pki/sa.pub 
--service-account-signing-key-file=/etc/kubernetes/pki/sa.key 
--service-cluster-ip-range=10.96.0.0/12 
--tls-cert-file=/etc/kubernetes/pki/apiserver.crt 
--tls-private-key-file=/etc/kubernetes/pki/apiserver.key

构建高可用的多副本apiServer

最佳实践还是采用静态pod的方式来部署多副本apiserver，依托于k8s给我们提供了可靠的服务，还可以使用k8s的探活策略等。而不是采用二进制的systemctld。

预留充足的CPU、内存资源

善用速率限制(RateLimit)

设置合适的缓存大小

客户端尽量使用长连接

如何访问APIServer

搭建多租户的Kubernetes集群

认证

注册apiserver

授权

ABAC有期局限性，针对每个account都需要做配置，并且需要重启apiserver RBAC更灵活，更符合我们通常熟知的权限管理

RBAC

规划系统角色

实现方案

与权限相关的其他最佳实践

apimachinery

回顾GKV

如何定义Group

定义对象类型 types.go

代码生成Tags

实现etcd storage

代码生成

https://github.com/kubernetes/code-generator

云原生训练营