ZFS文件系统常用命令

zfs的强大毋庸置疑,今天分享下自己常用的zfs相关命令

存储池基本操作命令

  • 创建名为tank的存储池 (type: ”,mirror,raidz,raidz2)
zpool create tank [type] disk1 disk2 disk3
  • 向池中添加更多空间
zpool add tank mirror disk4 disk5
  • 本机导出和导入存储池
zpool export tank
zpool import tank [newtank]
  • 更换服务器后导入存储池
zpool import -f tank
  • 查看存储池当前状态和 I/O 状况
zpool status
zpool iostat

文件系统基础操作命令

  • 创建文件系统,挂载在/export/home
zfs create -o mountpoint=/mnt/home tank/home
  • 修改文件系统名称
zfs rename tank/home tank/newname
  • 修改文件系统挂载点
zfs set mountpoint=/mnt/newdir tank/home
  • 删除文件系统
zfs destroy -Rf tank/home

文件系统快照操作命令

  • 创建一个快照
zfs snapshot tank/home@tuesday
  • 按日期创建快照
name=`date +"%Y-%m-%d"`
zfs snapshot tank/home@$name
  • 查看所有快照
zfs list -t snapshot tank/home
  • 回滚到前一个快照
zfs rollback tank/home@monday
  • 删除一个快照
zfs destroy -R tank/home@monday

手工挂载/卸载文件系统

zfs mount -a
zfs unmount -a
zfs unmount tank/home

实现docker跨主机通信 – 基于Consul的overlay网络

环境配置

配置三台机器,请注意修改hostname为不同的值,防火墙放行如下端口:2376、4789、7946、8300、8301、8302、8500、8600

consul:    172.18.0.11    安装 Consul
dnode1:    172.18.0.21    安装 Docker
dnode2:    172.18.0.22    安装 Docker

启动一个单节点的Consul服务

consul agent -ui -server -bootstrap -data-dir /var/lib/consul -bind 172.18.0.11 -client 172.18.0.11

在其他服务器分别启动Docker服务

docker daemon -D -g /var/lib/docker -H unix:// -H tcp://0.0.0.0:2376  --cluster-store=consul://172.18.0.11:8500 --cluster-advertise=eth0:2376
  • --cluster-store 指定了consul服务发现地址
  • --cluster-advertise 指定了本机服务注册地址,其中eth0是自己网卡的名称,也可以用内网地址172.18.0.21代替

等待自动注册服务

可以使用浏览器打开http://172.18.0.11:8500查看

在node上创建网络

docker network create --driver overlay \
    --subnet=172.18.2.0/24 --gateway=172.18.2.1 vet2

Linux 恢复删除的文件

Linux 下的命令可谓繁多,但属rm最让人痛并快乐。今天,我分享下针对rm的后悔良药testdisk

当你在 Linux 系统上删除一个文件时,它不一定(嗯,是不一定~)会永远消失,特别是当你最近才刚刚删除了它的时候。而恢复已删除文件的最佳工具之一testdisk可以帮助你拯救它。

虽然testdisk具有广泛的功能,包括恢复丢失或损坏的分区和使不能启动磁盘可以重新启动,但它也经常被用来恢复被误删的文件。有趣的是,它不仅是一个 Linux 工具,而且还适用于 MacOS、Solaris 和 Windows。文档可在 https://www.cgsecurity.org 中找到。

安装

# debian
apt install testdisk
# centos
yum install testdisk

恢复文件

cd /mnt/recovery
testdisk /dev/sdb2

然后,一路默认选项,直到选择 [ Advanced ] Filesystem Utils

接下来,查看选定的分区,用右箭头选择底部的 [ List ],按回车键。

最后,施展你的细心加耐心,仔细看好软件说明操作。

至此,若海也帮不到你更多了,只能在此祝你心想事成 !

OpenWRT软件包批量升级

翻出来个10年前的路由器,上电连进去,竟然是刷了OpenWRT系统的。

看到几十个需要升级的包,顿时头大。有点懒癌的我,还是命令行升级吧:

for pkg in `opkg list-upgradable | awk '{print 1}'`; do
    opkg upgradepkg
done

Linux 查看CPU温度

有点傻眼了,我竟然从来没想过这个问题。话说,托管在IDC机房的服务器需要关注硬件温度么?

安装温度传感器工具

apt install lm-sensors

探测温度传感器

yes | sensors-detect

查看硬件温度

sensors

NFS 服务端配置

1、上云是好事情,但也不能荒废自身武艺、今天回顾下Debian系的文件共享服务器创建过程~

# 安装服务端
apt install -y nfs-kernel-server
# 共享路径 允许的主机(共享参数)
echo "/var/www 10.1.1.0/24(rw,sync,no_subtree_check)" > /etc/exports
# 更新列表
exportfs -r
# 重启服务
/etc/init.d/nfs-kernel-server restart

2、在其他机器上挂载即可,关于其他选项请参阅下表

参数 说明
ro 只读
rw 读写
root_squash 当 NFS 客户端以 root 管理员访问时,映射为 NFS 服务器的匿名用户
no_root_squash 当 NFS 客户端以 root 管理员访问时,映射为 NFS 服务器的 root 管理员
all_squash 无论 NFS 客户端使用什么账户访问,均映射为 NFS 服务器的匿名用户
sync 同时将数据写入到内存与硬盘中,保证不丢失数据
async 优先将数据保存到内存,然后再写入硬盘;这样效率更高,但可能会丢失数据

3、同网段客户端挂载方式

# 安装客户端
apt install -y --no-install-recommends nfs-common
# 挂载到指定路径
mkdir -p /mnt/nfs2
mount 10.1.1.2:/var/www /mnt/nfs2

4、强制卸载挂载点

# 先使用这条命令
fuser -km /app/nfs/
# 再 umount 就可以了
umount /app/nfs/

为废弃的openssl-1.0.2填坑 (.a转.so)

先吐个槽:话说php7已经大行其道,php8也开测了,某擎微平台却还运行在已经停止支持的php5上,而php5更是依赖了已废弃的openssl-1.0.x

帮小伙伴编译php5环境的时候,发现工具链已经无法很好的编译出openssl的lib库。编译出来的libcrypto.so竟然是0字节,其他文件均正常。调整各项参数,重新编译均无法解决。

最后,只好拿libcrypto.a开刀,尝试编译出正确的.so文件。

ar -x libcrypto.a
gcc -shared *.o -o libcrypto.so
rm *.o

工作原理: .so文件是动态库文件,.a是由一系列.o 文件通过ar程序打包在一起的静态库,要把它转成动态库只需先解开,生成一堆.o文件,再通过编译器(gcc 或 ifort)编成动态库即可。

快速创建TLS证书并部署到Docker服务

将下方代码保存为certbot.sh,修改头部变量后,上传到装有openssl组件的linux服务器上运行即可。

#!/bin/sh
#

export PASSWORD="密码"

export COUNTRY="CN"
export STATE="省"
export CITY="市"
export ORGANIZATION="公司名称"
export ORGANIZATIONAL_UNIT="Dev"
export COMMON_NAME="域名"
export EMAIL="电子邮件地址"

export HOST_NAME="COMMON_NAME"
export IP=`pingHOST_NAME -c 1 | sed '1{s/[^(]*(//;s/).*//;q}'`

export DIR="cert-HOST_NAME"

# Workspace

[ -dDIR ] || mkdir -p DIR

echo "PASSWORD:PASSWORD" > DIR/!nfo.txt
echo "HOST_NAME:HOST_NAME" >> DIR/!nfo.txt
echo "HOST_IP:IP" >> DIR/!nfo.txt

# Generate CA

openssl genrsa -aes256 -passout "pass:PASSWORD" -out "DIR/ca-key.pem" 4096

openssl req -new -x509 -days 3650 -key "DIR/ca-key.pem" -sha256 -out "DIR/ca.pem" -passin "pass:PASSWORD" -subj "/C=COUNTRY/ST=STATE/L=CITY/O=ORGANIZATION/OU=ORGANIZATIONAL_UNIT/CN=COMMON_NAME/emailAddress=EMAIL"

# Generate Server Certs

openssl genrsa -out "DIR/server-key.pem" 4096

openssl req -subj "/CN=HOST_NAME" -sha256 -new -key "DIR/server-key.pem" -out DIR/server.csr

echo "subjectAltName = DNS:HOST_NAME,IP:IP,IP:127.0.0.1">DIR/server.cnf
echo "extendedKeyUsage = serverAuth" >> DIR/server.cnf

openssl x509 -req -days 3650 -sha256 -inDIR/server.csr -passin "pass:PASSWORD" -CA "DIR/ca.pem" -CAkey "DIR/ca-key.pem" -CAcreateserial -out "DIR/server-cert.pem" -extfile DIR/server.cnf

# Generate Client Certs

openssl genrsa -out "DIR/client-key.pem" 4096

openssl req -subj '/CN=client' -new -key "DIR/client-key.pem" -outDIR/client.csr

echo "extendedKeyUsage = clientAuth" > DIR/client.cnf

openssl x509 -req -days 3650 -sha256 -inDIR/client.csr -passin "pass:PASSWORD" -CA "DIR/ca.pem" -CAkey "DIR/ca-key.pem" -CAcreateserial -out "DIR/client-cert.pem" -extfile DIR/client.cnf

# Modify Certs Permission

chmod 0400DIR/*-key.pem
chmod 0444 DIR/ca.pemDIR/*-cert.pem

# Remove Temporary Files

rm -f DIR/*.csrDIR/*.cnf

如果需要部署到Docker服务,请继续

# Install To Docker Daemon

mkdir -p /etc/docker/certs.d
cp DIR/ca.pem /etc/docker/certs.d/
cpDIR/server-*.pem /etc/docker/certs.d/

cat <<EOF >/etc/docker/daemon.json
{
    "tlsverify": true,
    "tlscacert": "/etc/docker/certs.d/ca.pem",
    "tlscert": "/etc/docker/certs.d/server-cert.pem",
    "tlskey": "/etc/docker/certs.d/server-key.pem",
    "hosts": ["tcp://0.0.0.0:2376", "unix:///var/run/docker.sock"]
}
EOF

# Modify Systemd Service

if [ -f /lib/systemd/system/docker.service ]; then
    sed -i 's#\["tcp:#\["fd://", "tcp:#' /etc/docker/daemon.json
    sed -i 's# -H fd://##' /lib/systemd/system/docker.service
    systemctl daemon-reload && systemctl restart docker
fi

特别注意

在systemd系统上-H已设置,因此无法使用hosts键来添加侦听地址,请参阅 https://docs.docker.com/install/linux/linux-postinstall/#configuring-remote-access-with-systemd-unit-file

Debian9/10 启用 Google BBR 加速

一、加载BBR内核模块

lsmod | grep bbr

如果回显tcp_bbr 20480 14则表示已加载,否则请使用如下命令加载BBR内核模块

echo "tcp_bbr" > /etc/modules-load.d/tcp_bbr.conf
# 实时加载模块
modprobe tcp_bbr

二、启用BBR网络优化

sysctl net.ipv4.tcp_available_congestion_control

如果回显包含bbr cubic reno则表示已启用优化,否则请使用如下命令启用BBR网络优化

echo "net.core.default_qdisc=fq" > /etc/sysctl.d/tcp_bbr.conf
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.d/tcp_bbr.conf
# 使配置生效
sysctl -p

rsync多进程并发执行同步数据

原始命令

rsync -aPv --delete rsync://1.2.3.4/dp1/ /mnt/backup

多线程模式

#!/bin/sh
#

src='rsync://1.2.3.4/dp1' #源路径,结尾不带斜线
dst='/mnt/backup' #目标路径,结尾不带斜线

opt="-aPv --delete" #同步选项

num=16 #并发进程数
depth='5 4 3 2 1' #归递目录深度

task=/tmp/`echo src | md5sum | head -c 16`
[ -f task-next ] && cptask-next task-skip
[ -ftask-skip ] || touch task-skip

# 创建目标目录结构
rsyncopt --include "*/" --exclude "*" src/dst

# 从深到浅同步目录
for l in depth ;do
    # 启动rsync进程
    for i in `finddst -maxdepth l -mindepthl -type d`; do
        i=`echo i | sed "s#dst/##"`
        if `grep -q "i" task-skip`; then
            echo "skipi"
            continue
        fi
        while true; do
            now_num=`ps axw | grep rsync | grep dst | grep -v '\-\-daemon' | wc -l`
            if [now_num -lt num ]; then
                echo "rsyncopt src/i/ dst/i" >>task-log
                rsyncopt src/i/ dst/i &
                echo i >>task-next
                sleep 1
                break
            else
                sleep 5
            fi
        done
    done
done

# 最终单进程验证
while true; do
    sleep 5
    now_num=`ps axw | grep rsync | grep dst | grep -v '\-\-daemon' | wc -l`
    if [now_num -lt 1 ]; then
        echo "rsync optsrc/ dst" >>task-log
        rsync optsrc/ $dst
        break
    fi
done