网络运维

⚠️ 过时提示：本文写于 2020 年，基于 Kubernetes 1.18 + Docker 作为容器运行时。当前 K8s 已迭代至 1.30+，容器运行时已全面切换为 containerd，部分命令和配置已不适用。请以 Kubernetes 官方文档 为准，本文仅作历史参考。 一、 写作背景 近来工作需要，预将公司现有应用服务 Docker 化，并使用 Kubernetes 进行统一资源编排，现将部署过程记录一下。 Kubernetes 环境采用 Kubeadm 进行部署 Kubeadm 是一个工具，它提供了 kubeadm init 以及 kubeadm join 这两个命令作为快速创建 kubernetes 集群的最佳实践。 kubeadm 通过执行必要的操作来启动和运行一个最小可用的集群。它被故意设计为只关心启动集群，而不是准备节点环境的工作。同样的，诸如安装各种各样的可有可无的插件，例如 Kubernetes 控制面板、监控解决方案以及特定云提供商的插件，这些都不在它负责的范围。 Kubeadm可以做什么 kubeadm init 启动引导一个 Kuberne...

⚠️ 过时提示：本文写于 2020 年，基于 Kubernetes 1.18 + Docker 作为容器运行时。当前 K8s 已迭代至 1.30+，容器运行时已全面切换为 containerd，部分命令和配置已不适用。请以 Kubernetes 官方文档 为准，本文仅作历史参考。 一、 写作背景 近来工作需要，预将公司现有应用服务 Docker 化，并使用 Kubernetes 进行统一资源编排，现将部署过程记录一下。 本次构建环境为内网 UAT 环境，尽量按生产可用进行搭建，本集群采用三主六从服务架构（从服务器可以根据实际使用情况进行增减，主服务器最好是三台），为达到快速部署，基础软件环境（系统初始化）采用 Ansible 的 playbook 方式进行部署。 二、 系列文章 快速搭建Kubernetes高可用集群一 基础环境初始化 快速搭建Kubernetes高可用集群二 Kubeadm 初始化集群 快速搭建Kubernetes高可用集群三 Ingress、Dashboard、Metrics-server 快速搭建Kubernetes高可用集群四 Ro...

一、写作背景 公司内部项目有一项数据分析服务使用 R 语言，前期部署中，因各种依赖，安装包等问题，每次都需要折腾很久，经过多次实验最后总结如下： 二、系统安装 目前Linux系统Redhat体系的 Centos7.x 系统相对来说比较成熟，使用较多，目前使用7.6版本，具体安装及优化过程请参见CentOS7系统安装 三、软件安装 3.1、编译环境安装 因为部分软件需要编译安装，故需要提前安装好编译环境，一般情况下安装会在系统初始化时已经安装好了，也可以视情况安装。 yum groupinstall 'Development Tools' 3.2、软件环境安装 软件后续安装、使用过程中，可能用到的一类软件，不管以前有没有安装过，统一安装一下吧。可以一个一个的安装，也可以一次安装几个或全部，建议一次安装几个，太少了耽误时间，太多了，有哪些软件没有安装上，排错也困难。 为了尽可能的简化安装过程，如果有能够使用 YUM 安装的软件，尽可能的使用 YUM 安装，除非需要指定版本安装，而 YUM 源版本不匹配。 yum install -y unzip gcc...

⚠️ 过时提示：本文写于 2020 年，基于 Kubernetes 1.18 + Docker 作为容器运行时。当前 K8s 已迭代至 1.30+，容器运行时已全面切换为 containerd，部分命令和配置已不适用。请以 Kubernetes 官方文档 为准，本文仅作历史参考。 一、 写作背景 K8S 基础系统搭建完毕后（包括 rook-ceph、dashboard、harbor、prometheus、ingress等），对kubeadm、kubelet等应用进行了升级，服务重启后发现 Harbor 不能正常启动，排查结果为 pod harbor-database-0 没有正常启动故有此解决方案。 本文以 dashboard 为管理端进行可视化管理，相应命令行操作会提及，但不会太详细。 二、排查过程 经对各 pod 的日志进行查看发现 harbor-database-0这个 pod 对pvc上已经存在的数据没有了读写权限 # kubectl logs -n harbor gxsk-harbor-database-0 database FATAL: data direc...

⚠️ 过时提示：本文写于 2020 年，基于 Kubernetes 1.18 + Docker 作为容器运行时。当前 K8s 已迭代至 1.30+，容器运行时已全面切换为 containerd，部分命令和配置已不适用。请以 Kubernetes 官方文档 为准，本文仅作历史参考。 一、 写作背景 近期折腾 Docker、K8S，在 K8S 集群上搭建了 Harbor 等应用，在使用过程中发现一些问题记录一下。 此次问题是向私库传输镜像后，在 dockerfile 中使用该镜像系统报认证错误。 二、问题描述 在 Dockerfile 内使用自建 Harbor 中的私有镜像，docker build 时，部分运行 Docker 的服务器上出现认证失败的问题，而在同一台服务器上使用 docker pull/push 等命令拉取该镜像均无此问题。 三、解决过程 3.1 登录 使用 docker login harbor.k8s.sxkj.uat (自建的 Harbor 仓库)登录一下，登录成功后，执行 docker build 报错依然一样，执行 docker push...

写作背景 Maven私服（即Repository Manager）的主要作用： 减少从远方仓库下载的次数，节省带宽、提高maven build的效率 减少对远方仓库的依赖，确保maven build的稳定性 方便内部人员发布artifact 方便存放官方仓库中没有的第三方依赖包 一、 环境准备 1、Centos系统：CentOS7系统安装 可以使用全新安装的方式手动安装系统，也可以使用前面搭建的Cobbler服务器全自动安装 2、Nginx软件： Nginx基本配置 二、 软件安装 2.1 Java环境 Nexus需要Java 8 环境，在使用nexus之前需要配置你的系统为 jdk8 可以通过 java -versions 查看当前系统的java环境。 [root@nexus ~]# java -version java version "1.8.0_221" Java(TM) SE Runtime Environment (build 1.8.0_221-b11) Java HotSpot(TM) 64-Bit Server VM (build...

软件配置 Cobbler 中 kickstart文件配置简要说明,需要注意的是，这个文件中不允许出现英文、数字、特殊字符以外的字符，比如中文。文内所有中文均为注释。 # Cobbler kickstart文件 # This kickstart file should only be used with EL > 5 and/or Fedora > 7. # For older versions please use the sample.ks kickstart file. #platform=x86, AMD64, or Intel EM64T # System authorization information # 用户密码加密方式 auth --useshadow --enablemd5 # System bootloader configuration # 磁盘引导方式 bootloader --location=mbr --append=" crashkernel=auto " --boot-drive=sda # Parti...

一、 写作背景 公司内网开发测试、IDC 机房均需要大量安装 Linux 类系统，手动一台一台安装，繁琐复杂，而且极易出错，工作量大，007 都有可能，故需采用自动化安装方式，一次调整，到处使用。 在本地搭建Repos源，可以大量节省网络带宽，加快系统安装，还可以自定义一些软件的安装，可以通过命令行添加，或通过WEB添加。 这里主要以Redhat家族的YUM源为例。其它源添加方式类似。 二、 环境准备 1、Centos7系统：CentOS7系统安装 2、Cobbler系统 ：搭建Cobbler服务安装Linux系统 3、各镜像站的Repos源地址：阿里云镜像源、 清华大学镜像源 等 三、 软件安装 有些源可以直接使用 cobbler reposync 命令同步YUM源，有些需要使用 reposync 命令。使用 cobbler reposync 可以自动生成 repo文件，reposync 需要手动生成 repo 故需要安装 createrepo yum -y install createrepo 四、YUM源配置 4.1 使用命令行方式 # 如添加 Centos ...

一、 写作背景 公司内网开发测试、IDC 机房均需要大量安装 Linux 类系统，手动一台一台安装，繁琐复杂，而且极易出错，工作量大，007 都有可能，故需采用自动化安装方式，一次调整，到处使用。 1.1 Cobbler 原理 二、环境准备 1、安装系统： 本文使用CentOS7.6系统，先安装一个基本系统，毕竟第一个系统还是要手动安装的，然后升级到最新。 三、 软件安装 3.1 关闭 SELINUX（可选) 在开始使用 Cobbler 之前，最好禁用 SELinux 或将其设置为“permissive”模式，特别是您不熟悉 SELinux 故障排除或修改 SELinux 策略时。 如果您想在运行 cobblerd 的系统上继续使用 SELinux，请务必阅读本手册中的 SELinux With Cobbler 部分。 # 直接关闭 SELINUX，需要重启系统后才能生效。如果不熟悉 SELinux，而且对安全没有达到极高要求，建议直接关闭。 sed -i 's/SELINUX=enforcing/SELINUX=disabled/' rebo...

一、写作背景 有一个MD5数据库ELK项目(目前已经完成数据生成，变为只读项目），大概50多亿条，总量630G+，原来一直工作在本地网络，近期计划上线到阿里云，经研究计划使用ELK带的 snapshot 这个API来离线备份，做数据迁移。 Snapshot 支持nfs、s3、oss、hdfs等各种存储，这里选择nfs服务做为备份目录。 二、环境准备 本项目所有服务器均采用CentOS7系统 本项目ELK采用6.2.4版本，目前已经在本地系统，阿里云系统均有运行（其中阿里云中为空库） Snapshot 只允许向同版本，或下一大版本还原备份，比如1.X版本可以向2.X版本还原，但是不能向5.X版本还原。 本项目使用Yum安装nfs系统 三、软件安装 3.1、安装NFS 在所有服务器上安装NFS并启动相关服务 yum install nfs-utils -y # 安装NFS systemctl start rpcbind # 启动服务 systemctl start nfs # 仅在用做共享存储的服务器上启动此服务 # 如果开启了防火墙记得开启端口 四、软...