生产基础设施故障排查笔记与 Runbook。https://www.koevn.com/zh-CNhttps://www.koevn.com/cn/p/c02c522b/https://www.koevn.com/cn/p/c02c522b/记录 Linux LVM 在线扩容的完整流程：使用 growpart 扩展分区、pvresize 扩展 PV、lvextend 扩展 LV，并按 XFS 或 ext4 文件系统执行扩容与验证。Wed, 11 Mar 2026 00:00:00 GMThttps://www.koevn.com/cn/p/4a3e2e48/https://www.koevn.com/cn/p/4a3e2e48/由于线上Web访问日志消息队列使用的是kafka，但是最近日志量猛然增加，通过kibana Discover查看日志，日志流显示断断续续的，很不正常，如下图所示。 既然日志流不正常那得排查啊，首先得从…Fri, 19 Sep 2025 00:00:00 GMThttps://www.koevn.com/cn/p/f848d018/https://www.koevn.com/cn/p/f848d018/由于内部需要有共享网盘，方便大家共享，需要一台samba服务，但是一般都是使用Windows共享就可以完成，但是因License版权问题，还是使用Linux解决，还要解决AD域控账号认证授权。 1 编…Mon, 28 Jul 2025 00:00:00 GMThttps://www.koevn.com/cn/p/b7435430/https://www.koevn.com/cn/p/b7435430/排查 Logstash 写入只读 Elasticsearch 索引时出现的 403 cluster_block_exception，并根据保留需求选择解除写入限制或过滤过期事件。Fri, 11 Jul 2025 00:00:00 GMThttps://www.koevn.com/cn/p/c48ab56e/https://www.koevn.com/cn/p/c48ab56e/业务系统经常定期做渗透测试，对外提供Web服务，时常因版本信息泄露，导致过时版本存在安全漏洞，因此要做些基础安全加固。 编译安装Ningx前提条件，是需要安装GCC编译环境 1 安装编译环境 bash…Fri, 27 Jun 2025 00:00:00 GMThttps://www.koevn.com/cn/p/59d111d7/https://www.koevn.com/cn/p/59d111d7/几年前部署的一套Kubernetes集群，渐渐需要逐步更新，由于长时间没再记录，对部署方式有些生疏，现对新版本的集群，尝试梳理更新。 一、环境 (1) 集群环境 IP 部署软件 | :---: :--…Mon, 23 Jun 2025 00:00:00 GMThttps://www.koevn.com/cn/p/e7d6744d/https://www.koevn.com/cn/p/e7d6744d/前言 部署一套GPU计算服务器，用于私有AI模型训练，此次部署以Ubuntu系统为例 版本 :---: 22.04 570.124.06 520.61.05 9.8.0.87 在配置服务之前，请查找各…Tue, 08 Apr 2025 00:00:00 GMThttps://www.koevn.com/cn/p/40316f46/https://www.koevn.com/cn/p/40316f46/问题背景 遇到这个问题，是之前调试日志，创建了一个topic和consumer groups，后面不用了执行删除该topic和consumer groups，结果删除操作命令没有报错，查看topic结…Wed, 12 Mar 2025 00:00:00 GMThttps://www.koevn.com/cn/p/8ba770b/https://www.koevn.com/cn/p/8ba770b/前言 现在企业使用VPN是一种很普遍的办公方式，相对于有的企业内部知识库、文件服务、代码管理、OA系统、财务系统等等信息系统，都是仅限企业局域网可访问，都不会把这些服务暴露在公网上，增加企业信息安全风…Mon, 10 Mar 2025 00:00:00 GMThttps://www.koevn.com/cn/p/dc535881/https://www.koevn.com/cn/p/dc535881/安装 CUDA 或变更驱动后，如果 nvidia-smi 无法与 NVIDIA 驱动通信，可使用 DKMS 重建对应内核模块，并重新运行 nvidia-smi 验证。Mon, 24 Feb 2025 00:00:00 GMThttps://www.koevn.com/cn/p/72ab9c20/https://www.koevn.com/cn/p/72ab9c20/写在前面 以前生产环境Linux系统，都是一块磁盘存储系统和业务数据，但是业务数据产生的日志量太大，经常把整个磁盘空间使用率达100%，导致系统无法正常运行，连执行shell命令都有异常，所以后来把系…Mon, 24 Feb 2025 00:00:00 GMThttps://www.koevn.com/cn/p/8e1a2736/https://www.koevn.com/cn/p/8e1a2736/有时为了方便服务器环境，不管是生产还是测试环境，都禁止访问Internet网络，但这种一刀切的方法，有时对安装环境带来有些不变，特别是开发人员要在测试环境服务器安装依赖库，你总不能花时间手动安装依赖环…Wed, 22 Jan 2025 00:00:00 GMThttps://www.koevn.com/cn/p/66f28497/https://www.koevn.com/cn/p/66f28497/在 Logstash Grok 解析 Linux 审计日志前规范化不可见 ASCII 组分隔符，避免持续产生 _grokparsefailure。Thu, 16 Jan 2025 00:00:00 GMThttps://www.koevn.com/cn/p/dce8dce9/https://www.koevn.com/cn/p/dce8dce9/昨天看到Windows任务栏出现有程序总隔几秒出现一闪的现象，但是看不到这个程序的信息，也就没在意，但是正常操作不受影响。第二天还是看到继续在闪，强迫症犯了，直接重启系统再看，结果问题还严重了，不仅任…Thu, 12 Dec 2024 00:00:00 GMThttps://www.koevn.com/cn/p/ae84c963/https://www.koevn.com/cn/p/ae84c963/有时候做项目，甲方对服务器安全管理比较严格，服务器环境全部都没有Internet网络，有时候通过堡垒机从项目服务器上传或下载操作，还要走申请审核才放开权限，所以往往在部署项目时会很不便，有时还因定期漏…Wed, 09 Oct 2024 00:00:00 GMThttps://www.koevn.com/cn/p/66df303e/https://www.koevn.com/cn/p/66df303e/配置 Nginx WebSocket 反向代理所需的 Upgrade 与 Connection 请求头，支持 ws 和 wss 持久双向连接。Sun, 29 Sep 2024 00:00:00 GMThttps://www.koevn.com/cn/p/5e3e8014/https://www.koevn.com/cn/p/5e3e8014/使用zabbix监控系统，除了监控想要的指标以及可视化，最重要的还是离不开告警通知，人不可能时时刻刻看着监控面板有没有出现监控异常信息，所以盯着监控异常信息当由程序去替我们完成，通过邮件、企业微信、钉…Sun, 29 Sep 2024 00:00:00 GMThttps://www.koevn.com/cn/p/743384e2/https://www.koevn.com/cn/p/743384e2/周末在家休息，突然告警显示线上服务Down了，过两分钟系统正常启动，告警也显示恢复，那就登录Server查看是什么原因导致的，一查看日志，有大量的无法启动OpenSSH守护进程错日日志，结果导致系统自…Mon, 20 Nov 2023 00:00:00 GMThttps://www.koevn.com/cn/p/5af3baa2/https://www.koevn.com/cn/p/5af3baa2/安装self-service-password目的是解决LDAP或Windows AD管理员手动改密码的痛点，一般企业部署的LDAP都是有密码过期策略，需要用户自己在规定时间内自己修改密码，来更新密码…Thu, 17 Aug 2023 00:00:00 GMThttps://www.koevn.com/cn/p/67292def/https://www.koevn.com/cn/p/67292def/背景 在实际使用中，我们希望Logstash能处理各种不同的数据来源，并且各自互相不冲突，同时增删查改Logstash配置而不影响正在运行Logstash实例，实现配置动态重载。 Logstash 单…Tue, 25 Jul 2023 00:00:00 GMThttps://www.koevn.com/cn/p/2f4d52e7/https://www.koevn.com/cn/p/2f4d52e7/概述 Zabbix agent 2是新一代的Zabbix代理，可用于代替Zabbix代理。Zabbix代理2已被开发用于： 减少 TCP 连接数 提供改进的检查并发性 使用插件轻松扩展。插件应该能够：…Mon, 16 Jan 2023 00:00:00 GMThttps://www.koevn.com/cn/p/f084a559/https://www.koevn.com/cn/p/f084a559/通常Gitlab代码仓库迁移，需要导入新的Gitlab，难免会出现某些问题，比如 报错提示在此 URL 上没有有效的 Git 仓库。如果您的 HTTP 仓库不能公开访问，请验证您的凭据 英文报错就是T…Sat, 12 Nov 2022 00:00:00 GMThttps://www.koevn.com/cn/p/c47d8526/https://www.koevn.com/cn/p/c47d8526/什么是Jenkins？ 官方说明 Jenkins is a self-contained, open source automation server which can be used to aut…Sat, 12 Nov 2022 00:00:00 GMThttps://www.koevn.com/cn/p/60c4374/https://www.koevn.com/cn/p/60c4374/管理网络设备，通常使用SNMP设置连接Zabbix来获取设备状态，一般使用的是SNMPv2c版本，如果是边界防火墙和核心交换机网络设备，就必须使用SNMPv3设置，如下两图： 要是觉得SNMPv2c也…Sun, 16 Oct 2022 00:00:00 GMThttps://www.koevn.com/cn/p/39a7a0f6/https://www.koevn.com/cn/p/39a7a0f6/部署完Zabbix 6.2后，进入首页仪表盘看到“系统”信息栏，显示数据库中表的字符集或排序规则不受支持 ps: 我这是更新后的界面 由于在创建zabbix数据库时，字符集是utf8，字符排序是utf…Mon, 05 Sep 2022 00:00:00 GMThttps://www.koevn.com/cn/p/5d9483e3/https://www.koevn.com/cn/p/5d9483e3/这个知识点虽然学过《计算机网络》或CCNA的都了解，但防止忘记还是记录下来。 从事IDC工作或者做网络的对这快比较长接触，比如去机房做实施交付，申请到公网IPV4地址后，甲方会给一个类似192.60.…Sun, 12 Jun 2022 00:00:00 GMThttps://www.koevn.com/cn/p/b6b09b15/https://www.koevn.com/cn/p/b6b09b15/经常遇到的业务场景是多家单位共用一台云服务器，那么使用数据库时就分开使用，毕竟给的资源有限，那么此时就需要单机Mysql多实例来解决这个问题。 1、创建Mysql用户账户 多例数据库可以创建不同账户与…Thu, 09 Jun 2022 00:00:00 GMThttps://www.koevn.com/cn/p/bd181034/https://www.koevn.com/cn/p/bd181034/概述 Kubernetes，又称为 k8s（首字母为 k、首字母与尾字母之间有 8 个字符、尾字母为 s，所以简称 k8s）或者简称为 "kube" ，是一种可自动实施 Linux 容器操作的开源平台…Sat, 04 Jun 2022 00:00:00 GMThttps://www.koevn.com/cn/p/9723d474/https://www.koevn.com/cn/p/9723d474/1、配置gcc安装依赖环境 1.1 安装所需软件 yum install -y gcc gcc-c++ gmp-devel bzip2 1.2 下载gcc包并解压 wget http://ftp.ts…Tue, 29 Mar 2022 00:00:00 GMThttps://www.koevn.com/cn/p/b7e48e9b/https://www.koevn.com/cn/p/b7e48e9b/从技术上说，Linux 只是一个符合POSIX 标准的内核。它提供了一套应用程序接口（API），通过接口用户程序能与内核及硬件交互。仅仅一个内核并不是一套完整的操作系统。有一套基于 Linux 内核的…Mon, 28 Mar 2022 00:00:00 GMThttps://www.koevn.com/cn/p/e3838fa/https://www.koevn.com/cn/p/e3838fa/修改系统内核启动顺序 如果不修改系统grub2引导程序，内核还是系统默认，所以修改内核启动顺序。 bash cat /boot/grub2/grub.cfg | grep menuentry 查看系统…Sun, 29 Aug 2021 00:00:00 GMThttps://www.koevn.com/cn/p/20275c3f/https://www.koevn.com/cn/p/20275c3f/1、配置系统环境 1.1、系统环境 bash lsbrelease -d Description: CentOS Linux release 7.9.2009 (Core) uname -r 3.10…Sun, 29 Aug 2021 00:00:00 GMThttps://www.koevn.com/cn/p/de089668/https://www.koevn.com/cn/p/de089668/有时VMware虚拟机常开没有关机，如果宿主机由于某种原因断电关机，在启动VMware虚拟机时会遇到如下情形 点击获取所有权(T)会弹出移除虚拟机对话框，直接删除重建这肯定不适合，上面部好的环境以及资…Sat, 28 Aug 2021 00:00:00 GMThttps://www.koevn.com/cn/p/c014c0bb/https://www.koevn.com/cn/p/c014c0bb/记录一次交换机配置ACL记录，需求是配置某个Vlan限制访问其他Vlan，以及被限制Vlan只能访问其他VLAN里指定的IP毕竟这个平常很少去配置，一配置就各种查找文档资料，很是不方便，毕竟就几条命令…Wed, 21 Apr 2021 00:00:00 GMThttps://www.koevn.com/cn/p/1389afb5/https://www.koevn.com/cn/p/1389afb5/前言 看海贼王里有不少逗比角色，偶尔会在网上看到个别图片在调侃，就觉的有点意思，就自己学下PS动手制作图片，虽略显粗糙，但无伤大雅，后续想到好笑的文案在继续更新。。。 大看板Sun, 18 Apr 2021 00:00:00 GMThttps://www.koevn.com/cn/p/abbb2520/https://www.koevn.com/cn/p/abbb2520/问题 今天强制断电Centos 7电源，再次启动却无法进入系统，如下图： 这个问题以前也有遇到过，不过没做笔记忘记怎么修复，就在网上搜索解决方案。结果一搜几乎都是xfsrepair /dev/mapp…Wed, 14 Apr 2021 00:00:00 GMThttps://www.koevn.com/cn/p/4822fb56/https://www.koevn.com/cn/p/4822fb56/很多时候内网做了公网映射，出门在外想要连回家，可以通过获取的公网IP访问回去，当然了，也可以把映射的IP指定到域名下，直接访问域名就可与访问家里局域网，但是呢，还是用获取公网IP连回去简单粗暴。 ba…Sat, 10 Apr 2021 00:00:00 GMThttps://www.koevn.com/cn/p/c6c63fbd/https://www.koevn.com/cn/p/c6c63fbd/启动异常 ./zkServer.sh start执行后，查看状态是Error contacting service. It is probably not running.，服务未正常启动，观察zoo…Sat, 10 Apr 2021 00:00:00 GMThttps://www.koevn.com/cn/p/c717665c/https://www.koevn.com/cn/p/c717665c/前言 这是最近遇到一件比较尴尬的事情，由于我们服务器部署在某机房，业务网络是走光纤传输，机房那边通知已经配置好了，让我这边调通业务网络，结果远程调试发现根本不通！ 问题现状 物理端口down状态 光模…Sat, 10 Apr 2021 00:00:00 GMThttps://www.koevn.com/cn/p/5420808e/https://www.koevn.com/cn/p/5420808e/什么是RAID RAID背景 在20世纪80年代末到90年代初期，公司在文件服务器上存储的数据量急剧增加。但是，通过添加更多高容量硬盘来增加服务器存储容量正变得越来越昂贵。需要一种更具成本效益的替代方…Sun, 13 Sep 2020 00:00:00 GMThttps://www.koevn.com/cn/p/41b2150c/https://www.koevn.com/cn/p/41b2150c/前言 如果觉得Blog托管服务满足不了自己折腾，可将资源迁移到自己的云服务器上 目标 服务端部署hexo博客站点环境 客户端发布文章推送到服务端 准备环境 服务端必备软件 Git Nginx 客户端必…Sun, 13 Sep 2020 00:00:00 GMT