第11章：Kubernetes 网络·存储·大文件排查专项手册

# 延迟曲线
ping -c 10 10.0.0.8

# 丢包追踪
mtr 10.0.0.8

# 抓包看三次握手
tcpdump -i eth0 tcp port 80 -w /tmp/handshake.pcap

# 分析握手延迟
wireshark -> Statistics -> TCP Stream Graph

# 查看 BGP 状态
calicoctl node status

# 查看路由表
calicoctl get bgpPeer

# 检查 BPF 程序
bpftool map show | grep calico

# 查看 VXLAN 接口
ip link show type vxlan

# 查看 VXLAN 接口
ip link show flannel.1

# 检查路由表
ip route show | grep flannel

# 查看 flannel 配置
cat /etc/cni/net.d/10-flannel.conflist

# 查看 CoreDNS 日志
kubectl -n kube-system logs -f coredns --tail 50

# 详细 DNS 解析追踪
kubectl exec -it <pod> -- dig +trace kubernetes.default.svc.cluster.local

# 检查 DNS 缓存
kubectl exec -it <pod> -- nslookup kubernetes.default

# 分析 DNS 延迟
time kubectl exec -it <pod> -- nslookup kubernetes.default

# 查看 Endpoints 分布
kubectl get endpoints <service-name>

# 检查 iptables 规则
iptables-save | grep <service-name>

# 验证负载均衡
for i in {1..10}; do kubectl exec -it <pod> -- curl <service-ip>; done

# 带宽测试
iperf3 -c <target-pod-ip> -t 30

# HTTP 压测
wrk -t8 -c200 -d30s http://<service-ip>

# 延迟测试
ping -c 100 <target-ip> | grep "time=" | awk '{print $7}' | cut -d= -f2 | sort -n

kubectl get pvc
kubectl describe pvc <name>

kubectl get pv
kubectl describe pv <pv-name>

mount | grep nfs
df -h
lsblk

iostat -x 1
pidstat -d 1
fio --rw=randwrite --bs=4k --size=1G --numjobs=4 --name=bench

iostat -x 1

fio --rw=randwrite --bs=4k --iodepth=32 --name=test --runtime=30

df -h
du -sh /var/lib/containerd/*
lsof | grep deleted

# 查看 kubelet 日志
journalctl -u kubelet -f

# 检查挂载点
mount | grep kubelet

# 查看 Pod 挂载详情
kubectl describe pod <pod-name> | grep -A 10 "Mounts:"

# 查看 CSI 驱动状态
kubectl get pods -n kube-system -l app=csi-*

# 检查 CSI 驱动日志
kubectl logs -n kube-system <csi-driver-pod>

# 查看 CSI 存储类
kubectl get storageclass -o yaml

# 检查 CSI 卷状态
kubectl get csinode

# 查看 overlay 层信息
cat /proc/mounts | grep overlay

# 检查 overlay 性能
fio --directory=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs --name=overlay-test --rw=randwrite --bs=4k --size=100M --numjobs=4

# 对比裸机性能
fio --directory=/tmp --name=bare-test --rw=randwrite --bs=4k --size=100M --numjobs=4

# 调整 overlay 参数
echo 'overlay.override_kernel_check=1' >> /etc/modprobe.d/overlay.conf

# 检查 CoW 影响
dmesg | grep -i overlay

# 检查文件系统错误
dmesg | grep -i "ext4\|xfs\|error"

# 强制文件系统检查
fsck -f /dev/sda1

# 检查 inode 使用率
df -i

du -sh /* | sort -hr | head -20

find / -type f -size +500M

du -sh /var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/*

lsof | grep deleted
kill -9 <pid>

journalctl --disk-usage
truncate -s 0 /var/log/messages

#!/bin/bash
echo "Top 15 biggest directories:"
du -h --max-depth=2 / | sort -hr | head -15
echo "Deleted but occupied files:"
lsof | grep deleted
echo "Containerd size:"
du -sh /var/lib/containerd

# 检查 inode 使用率
df -i

# 查找 inode 使用最多的目录
find / -xdev -type f | cut -d "/" -f 2 | sort | uniq -c | sort -n

# 清理小文件（谨慎操作）
find /tmp -type f -size 0 -delete

# 停止 journald 服务
systemctl stop systemd-journald

# 删除 journal 日志
rm -rf /var/log/journal/*

# 重启 journald
systemctl start systemd-journald

# 设置日志大小限制
echo "SystemMaxUse=1G" >> /etc/systemd/journald.conf

du -sh /var/lib/containerd/*
lsof | grep deleted

kill -9 PID

#!/bin/bash
# 系统调优脚本

# 文件句柄
echo "* soft nofile 1048576" >> /etc/security/limits.conf
echo "* hard nofile 1048576" >> /etc/security/limits.conf

# 网络参数
cat >> /etc/sysctl.conf << EOF
net.core.somaxconn = 65535
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 10
net.core.netdev_max_backlog = 4096
net.ipv4.tcp_max_syn_backlog = 16384
EOF

# 磁盘调度
echo none > /sys/block/sda/queue/scheduler

# 应用配置
sysctl -p

#!/bin/bash
# k8s-diagnose-advanced.sh

LOG_DIR="/var/log/k8s-diagnose"
mkdir -p $LOG_DIR
TIMESTAMP=$(date +%Y%m%d-%H%M%S)
LOG_FILE="$LOG_DIR/diagnose-$TIMESTAMP.log"

exec > >(tee -a $LOG_FILE)
exec 2>&1

echo "====[ Kubernetes 集群诊断报告 - $TIMESTAMP ]===="

# 1. 集群基本信息
echo "====[ Cluster Info ]===="
kubectl cluster-info
kubectl get nodes -o wide
kubectl get pods -A --field-selector=status.phase!=Running

# 2. 网络诊断
echo "====[ Network Diagnosis ]===="
# CNI 状态
kubectl get pods -n kube-system -l k8s-app=calico-node
kubectl get pods -n kube-system -l k8s-app=flannel

# DNS 测试
kubectl run test-dns --image=busybox --rm -it --restart=Never -- nslookup kubernetes.default

# 3. 存储诊断
echo "====[ Storage Diagnosis ]===="
kubectl get pv,pvc,sc
df -h
iostat -x 1 3

# 4. 资源使用
echo "====[ Resource Usage ]===="
kubectl top nodes
kubectl top pods -A

# 5. 事件分析
echo "====[ Recent Events ]===="
kubectl get events --sort-by=.lastTimestamp | tail -20

# 6. 系统状态
echo "====[ System Status ]===="
uptime
free -h
df -h
ss -tuln | wc -l

echo "诊断完成，日志保存在: $LOG_FILE"

#!/bin/bash
# auto-cleanup.sh

THRESHOLD=85
CURRENT_USAGE=$(df / | awk 'NR==2 {print $5}' | sed 's/%//')

if [ $CURRENT_USAGE -gt $THRESHOLD ]; then
    echo "磁盘使用率超过 $THRESHOLD%，开始清理..."
    
    # 清理容器日志
    find /var/lib/docker/containers -name "*.log" -exec truncate -s 0 {} \;
    
    # 清理 overlay 层
    docker system prune -af
    
    # 清理 journal 日志
    journalctl --vacuum-time=3d
    
    echo "清理完成"
fi