ZFB

使用ffmpeg对视频和音频文件进行处理

Fri, 30 Dec 2022 22:59:00 +0800

0. 常用命令说明

ffmpeg是一个命令行工具，所有的操作都是通过命令行来完成的，下面是一些常用的命令说明

-vcodec codec：强制使用codec编解码方式（copy代表不进行重新编码）
-acodec copy：表示音频不做新的编码，直接把原来的复制过来
-vcodec copy：表示视频不做新的编码，直接把原来的复制过来
-threads 5：指定5个线程同时转换
-vn：取消视频的输出
-an：取消音频轨
-ab 160000：设置比特率（单位为bit/s）
-ar 8000：设置音频采样率（单位为Hz）
-ac 1：设置声道数，1就是单声道，2就是立体声

1. 倍速播放

1.1 视频画面倍速播放

把输入的视频文件，画面播放速度快放到原来的2倍，保存为新的视频文件
ffmpeg -i input.mp4 -filter:v "setpts=0.5*PTS" output.mp4

1.2 音频倍速播放

把输入的视频文件，音频播放速度快放到原来的2倍，保存为新的视频文件
ffmpeg -i input.mp4 -filter:a "atempo=2.0" output.mp4

1.3 视频画面和音频倍速播放

把输入的视频文件，画面播放速度快放到原来的2倍，音频播放速度快放到原来的2倍，保存为新的视频文件
ffmpeg -i input.mp4 -filter_complex "[0:v]setpts=0.5*PTS[v];[0:a]atempo=2.0[a]" -map "[v]" -map "[a]" output.mp4

2. 视频片段裁剪

2.1 获取视频的分辨率

方法一：获取视频的分辨率，以默认分隔符分割
ffprobe -v error -show_entries stream=width,height -of csv=p=0 demo.mp4
得到输出为： 1920,1080

方法二：获取视频的分辨率，以x分隔符分割
ffprobe -v error -show_entries stream=width,height -of csv=p=0:s=x output2.mp4
得到输出为： 1920x1080

2.2 截取指定时长的视频片段

从视频文件中，截取时间从00:00:00开始到00:00:11之间的片段，输出为新的视频文件
ffmpeg -ss 00:00:00 -to 00:00:11 -i input.mp4 -vcodec copy -acodec copy output.mp4

从视频文件中，截取时间从00:01:00开始，时长00:00:21的片段，输出为新的视频文件
ffmpeg -ss 00:01:00 -t 00:00:21 -i input.mp4 -vcodec copy -acodec copy output2.mp4

从视频文件中，截取时间从00:00:00到00:00:11之间的片段，分辨率为1920x1080，输出为新的视频文件
ffmpeg -ss 00:00:00 -to 00:00:11 -i input.mp4 -vcodec copy -acodec copy -s 1920,1080 output.mp4

2.3 裁剪视频画面尺寸

参数示例：crop=new_width:new_height:start_x:start_y
把原视频画面裁剪成宽高为400x200的新视频，x的起始位置是0（表示从该位置开始，向右400的像素留下），y的起始位置是0（表示从该位置开始，向下200的像素留下）。也就是说，最后留下的视频画面为原视频画面的一部分（以原视频画面的左上顶点为原点）
ffmpeg -i input.mp4 -vf crop=400:200:0:0 -threads 5 -preset ultrafast -strict -2 output.mp4

3. 视频导出图片

从视频文件中，以每秒3帧的速率抽取图片，并更改为指定长、宽，最后按照指定命名格式保存
ffmpeg -i demo.mp4 -r 3 -s 1920x1080 -f image2 ./demo-%03d.jpeg

4. 从图片集创建GIF文件

从图片集创建帧率为5的GIF文件
ffmpeg -f image2 -framerate 5 -i ./demo-%03d.jpeg out.gif

5. 提取视频文件的音频

提取视频文件的音频内容保存为mp3格式
ffmpeg -i demo.mp4 -f mp3 -vn -ar 16000 -ac 1 demo.mp3

6. 把音频和画面合并为新的视频

ffmpeg -loglevel quiet -i video.m4s -i audio.m4s -c copy -y out.mp4

7. 下载m3u8文件为.ts文件

ffmpeg -protocol_whitelist file,http,https,tcp,tls -i https://t.cn/a.m3u8 -c copy my_movie.ts

8. 批量提取视频关键帧

#!/bin/bash

shopt -s nullglob

export video_path="$1"
export out_path="$2"
export files=(${video_path}/*)
# echo ${files[@]}
# echo ${#files[@]}
for filename in "${files[@]}"
do
    filename="${filename}"
    export name=$(basename "${filename}")
    name=${name%.*}
    echo Converting ${filename}
    export file_dir="${out_path}/${name}"
    mkdir "${file_dir}"
    # 获取视频分辨率（宽，高）
    # 例如： 1920,1080
    # export wh=ffprobe -v error -show_entries stream=width,height -of csv=p=0 "${filename}"
    # 视频提取语音，方便识别
    ffmpeg -y -i "${filename}" -f mp3 -vn -ar 16000 -ac 1 "${file_dir}/audio.mp3"
    # 视频关键帧提取，方便导出PPT
    ffmpeg -y -i "${filename}" -vf select='eq(pict_type\,I)' -vsync 2 -s 1920,1080 -f image2 "${file_dir}/keyframe-%03d.png"
    echo Convert ${filename} successfully!
done

修复Adobe Acrobat打开发票字体显示不全的问题

Wed, 28 Dec 2022 20:03:15 +0800

0. 问题描述

Acrobat在2021.005.20060以后的新版本有bug，无法读取楷体GB2312字体，导致打开发票时，发票上的部分中文显示为方框或不显示

1. 复制系统楷体字体文件

文件资源管理器打开C:\Windows\Fonts目录，找到楷体常规字体文件，即文件C:\Windows\Fonts\simkai.ttf，复制到其他目录，这样不会影响系统正常使用

2. 修改字体名称

使用字体编辑工具FontCreator打开simkai.ttf字体文件，选择Font-Properties打开属性修改，将Family Name修改为KaiTi_GB2312，选择File – Export Font – Export – Export Desktop Font导出字体，可以命名为simkai-new.otf，等待几分钟完成

3. 复制字体文件到Acrobat字体目录

将修改后的字体文件simkai-new.otf复制到C:\Program Files\Adobe\Acrobat DC\Resource\Font目录，重启Acrobat即可

使用Python代码在Windows资源管理器中定位文件

Tue, 27 Dec 2022 21:51:00 +0800

1. 安装pywin32

pip install pywin32

2. 脚本文件内容

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author: 'zfb'
# time: 2021-01-06 13:33

import os
from pathlib import Path
import win32com.shell.shell as shell

def launch_file_explorer(file_with_abs_path):
    '''
    每次弹出文件资源管理器，只能打开一个文件夹，然后（定位）选择一个文件（夹）
    '''
    file = Path(file_with_abs_path)
    # 对于Linux系统来说
    #    如果使用Unity/Gnome桌面，可以使用命令
    #        nautilus ~/Documents/foo.txt
    #    对于其他桌面系统，可参考 xdg-open 命令
    # 严格按照此格式，不能自己加空格
    os.system('explorer.exe /e,/select,"{}"'.format(file))


def launch_files_explorer(path, files):
    '''
    每次弹出文件资源管理器，只能打开一个文件夹，可以选择多个文件（夹）
    '''
    if len(files) == 0:
        return
    path = str(Path(path))
    folder_pidl = shell.SHILCreateFromPath(path, 0)[0]
    desktop = shell.SHGetDesktopFolder()
    shell_folder = desktop.BindToObject(folder_pidl, None, shell.IID_IShellFolder)
    name_to_item_mapping = dict([(desktop.GetDisplayNameOf(item, 0), item) for item in shell_folder])
    to_show = []
    for file in files:
        if not file in name_to_item_mapping:
            raise Exception("目录{}下找不到文件{}".format(path, file))
        to_show.append(name_to_item_mapping[file])
    shell.SHOpenFolderAndSelectItems(folder_pidl, to_show, 0)


if __name__ == "__main__":
    name = os.path.abspath(__file__)
    path = "D:/github/zfb132.github.com/"
    names = ["index.html", "README.md", "robots.txt"]
    launch_file_explorer(name)
    launch_files_explorer(path, names)

使用git diff查看不同文件或者不同commit之间的区别

Tue, 27 Dec 2022 20:20:52 +0800

1. 查看不同文件的区别

a.txt和b.txt不在版本控制系统中：

git diff --color-words --no-index a.txt b.txt

2. 查看不同commit之间的修改

git diff --color-words HEAD~4 HEAD~3
git diff --color-words ac238c26 5d449a61

3. 把diff的转换为html保存

# 首先安装ansi2html
# https://github.com/pixelb/scripts/blob/master/scripts/ansi2html.sh
wget "http://www.pixelbeat.org/scripts/ansi2html.sh" -O ansi2html.sh
chmod +x ansi2html.sh
git diff --color-words HEAD~4 HEAD~3 | ansi2html.sh > docs/diff.html

然后可以用浏览器打开docs/diff.html查看，打印成pdf文件也可以

4. ansi2html.sh文件内容

#!/bin/sh

# Convert ANSI (terminal) colours and attributes to HTML

# Licence: LGPLv2
# Author:
#    http://www.pixelbeat.org/docs/terminal_colours/
# Examples:
#    ls -l --color=always | ansi2html.sh > ls.html
#    git show --color | ansi2html.sh > last_change.html
#    Generally one can use the `script` util to capture full terminal output.
# Changes:
#    V0.1, 24 Apr 2008, Initial release
#    V0.2, 01 Jan 2009, Phil Harnish <philharnish@gmail.com>
#                         Support `git diff --color` output by
#                         matching ANSI codes that specify only
#                         bold or background colour.
#                       P@draigBrady.com
#                         Support `ls --color` output by stripping
#                         redundant leading 0s from ANSI codes.
#                         Support `grep --color=always` by stripping
#                         unhandled ANSI codes (specifically ^[[K).
#    V0.3, 20 Mar 2009, http://eexpress.blog.ubuntu.org.cn/
#                         Remove cat -v usage which mangled non ascii input.
#                         Cleanup regular expressions used.
#                         Support other attributes like reverse, ...
#                       P@draigBrady.com
#                         Correctly nest <span> tags (even across lines).
#                         Add a command line option to use a dark background.
#                         Strip more terminal control codes.
#    V0.4, 17 Sep 2009, P@draigBrady.com
#                         Handle codes with combined attributes and color.
#                         Handle isolated <bold> attributes with css.
#                         Strip more terminal control codes.
#    V0.26, 16 Nov 2019
#      http://github.com/pixelb/scripts/commits/master/scripts/ansi2html.sh

gawk --version >/dev/null || exit 1

if [ "$1" = "--version" ]; then
    printf '0.26\n' && exit
fi

usage()
{
printf '%s\n' \
'This utility converts ANSI codes in data passed to stdin
It has 4 optional parameters:
--bg=dark --palette=linux|solarized|tango|xterm --css-only|--body-only
E.g.: ls -l --color=always | ansi2html.sh --bg=dark > ls.html' >&2
    exit
}

if [ "$1" = "--help" ]; then
    usage
fi

processArg()
{
    [ "$1" = "--bg=dark" ] && { dark_bg=yes; return; }
    [ "$1" = "--css-only" ] && { css_only=yes; return; }
    [ "$1" = "--body-only" ] && { body_only=yes; return; }
    if [ "$1" = "--palette=solarized" ]; then
       # See http://ethanschoonover.com/solarized
       P0=073642;  P1=D30102;  P2=859900;  P3=B58900;
       P4=268BD2;  P5=D33682;  P6=2AA198;  P7=EEE8D5;
       P8=002B36;  P9=CB4B16; P10=586E75; P11=657B83;
      P12=839496; P13=6C71C4; P14=93A1A1; P15=FDF6E3;
      return;
    elif [ "$1" = "--palette=solarized-xterm" ]; then
       # Above mapped onto the xterm 256 color palette
       P0=262626;  P1=AF0000;  P2=5F8700;  P3=AF8700;
       P4=0087FF;  P5=AF005F;  P6=00AFAF;  P7=E4E4E4;
       P8=1C1C1C;  P9=D75F00; P10=585858; P11=626262;
      P12=808080; P13=5F5FAF; P14=8A8A8A; P15=FFFFD7;
      return;
    elif [ "$1" = "--palette=tango" ]; then
       # Gnome default
       P0=000000;  P1=CC0000;  P2=4E9A06;  P3=C4A000;
       P4=3465A4;  P5=75507B;  P6=06989A;  P7=D3D7CF;
       P8=555753;  P9=EF2929; P10=8AE234; P11=FCE94F;
      P12=729FCF; P13=AD7FA8; P14=34E2E2; P15=EEEEEC;
      return;
    elif [ "$1" = "--palette=xterm" ]; then
       P0=000000;  P1=CD0000;  P2=00CD00;  P3=CDCD00;
       P4=0000EE;  P5=CD00CD;  P6=00CDCD;  P7=E5E5E5;
       P8=7F7F7F;  P9=FF0000; P10=00FF00; P11=FFFF00;
      P12=5C5CFF; P13=FF00FF; P14=00FFFF; P15=FFFFFF;
      return;
    else # linux console
       P0=000000;  P1=AA0000;  P2=00AA00;  P3=AA5500;
       P4=0000AA;  P5=AA00AA;  P6=00AAAA;  P7=AAAAAA;
       P8=555555;  P9=FF5555; P10=55FF55; P11=FFFF55;
      P12=5555FF; P13=FF55FF; P14=55FFFF; P15=FFFFFF;
      [ "$1" = "--palette=linux" ] && return;
    fi
}

processArg #defaults
for var in "$@"; do processArg $var; done
[ "$css_only" ] && [ "$body_only" ] && usage

# Mac OSX's GNU sed is installed as gsed
# use e.g. homebrew 'gnu-sed' to get it
if ! sed --version >/dev/null 2>&1; then
  if gsed --version >/dev/null 2>&1; then
    alias sed=gsed
  else
    echo "Error, can't find an acceptable GNU sed." >&2
    exit 1
  fi
fi

[ "$css_only" ] || [ "$body_only" ] || printf '%s' "<html>
<head>
<meta http-equiv=\"Content-Type\" content=\"text/html; charset=utf-8\"/>
<style type=\"text/css\">
pre { white-space: pre-wrap; }
"
[ "$body_only" ] || printf ".ef0,.f0 { color: #$P0; } .eb0,.b0 { background-color: #$P0; }
.ef1,.f1 { color: #$P1; } .eb1,.b1 { background-color: #$P1; }
.ef2,.f2 { color: #$P2; } .eb2,.b2 { background-color: #$P2; }
.ef3,.f3 { color: #$P3; } .eb3,.b3 { background-color: #$P3; }
.ef4,.f4 { color: #$P4; } .eb4,.b4 { background-color: #$P4; }
.ef5,.f5 { color: #$P5; } .eb5,.b5 { background-color: #$P5; }
.ef6,.f6 { color: #$P6; } .eb6,.b6 { background-color: #$P6; }
.ef7,.f7 { color: #$P7; } .eb7,.b7 { background-color: #$P7; }
.ef8, .f0 > .bold,.bold > .f0 { color: #$P8; font-weight: normal; }
.ef9, .f1 > .bold,.bold > .f1 { color: #$P9; font-weight: normal; }
.ef10,.f2 > .bold,.bold > .f2 { color: #$P10; font-weight: normal; }
.ef11,.f3 > .bold,.bold > .f3 { color: #$P11; font-weight: normal; }
.ef12,.f4 > .bold,.bold > .f4 { color: #$P12; font-weight: normal; }
.ef13,.f5 > .bold,.bold > .f5 { color: #$P13; font-weight: normal; }
.ef14,.f6 > .bold,.bold > .f6 { color: #$P14; font-weight: normal; }
.ef15,.f7 > .bold,.bold > .f7 { color: #$P15; font-weight: normal; }
.eb8  { background-color: #$P8; }
.eb9  { background-color: #$P9; }
.eb10 { background-color: #$P10; }
.eb11 { background-color: #$P11; }
.eb12 { background-color: #$P12; }
.eb13 { background-color: #$P13; }
.eb14 { background-color: #$P14; }
.eb15 { background-color: #$P15; }
"
# The default xterm 256 colour palette
for red in 0 1 2 3 4 5 ; do
  for green in 0 1 2 3 4 5 ; do
    for blue in 0 1 2 3 4 5 ; do
      c=$((16 + ($red * 36) + ($green * 6) + $blue))
      r=$((($red * 40 + 55) * ($red > 0)))
      g=$((($green * 40 + 55) * ($green > 0)))
      b=$((($blue * 40 + 55) * ($blue > 0)))
      [ "$body_only" ] || printf ".ef%d { color: #%2.2x%2.2x%2.2x; } " $c $r $g $b
      [ "$body_only" ] || printf ".eb%d { background-color: #%2.2x%2.2x%2.2x; }\n" $c $r $g $b
    done
  done
done
for gray in $(seq 0 23); do
  c=$(($gray+232))
  l=$(($gray*10 + 8))
  [ "$body_only" ] || printf ".ef%d { color: #%2.2x%2.2x%2.2x; } " $c $l $l $l
  [ "$body_only" ] || printf ".eb%d { background-color: #%2.2x%2.2x%2.2x; }\n" $c $l $l $l
done

[ "$body_only" ] || printf '%s' '
.f9 { color: '`[ "$dark_bg" ] && printf "#$P7;" || printf "#$P0;"`' }
.b9 { background-color: #'`[ "$dark_bg" ] && printf $P0 || printf $P15`'; }
.f9 > .bold,.bold > .f9, body.f9 > pre > .bold {
  /* Bold is heavy black on white, or bright white
     depending on the default background */
  color: '`[ "$dark_bg" ] && printf "#$P15;" || printf "#$P0;"`'
  font-weight: '`[ "$dark_bg" ] && printf 'normal;' || printf 'bold;'`'
}
.reverse {
  /* CSS does not support swapping fg and bg colours unfortunately,
     so just hardcode something that will look OK on all backgrounds. */
  '"color: #$P0; background-color: #$P7;"'
}
.underline { text-decoration: underline; }
.line-through { text-decoration: line-through; }
.blink { text-decoration: blink; }
/* Avoid pixels between adjacent span elements.
   Note this only works for lines less than 80 chars
   where we close span elements on the same line.
span { display: inline-block; }
*/
'
[ "$body_only" ] || [ "$css_only" ] && printf '%s\n' \
'To use the css generated from --css-only, do: '\
'<head><link rel="stylesheet" type="text/css" href="style.css"></head>' >&2
[ "$css_only" ] && exit
[ "$body_only" ] || printf '%s' '</style>
</head>
<body class="f9 b9">
<pre>
'
[ "$body_only" ] && printf '%s\n' 'Be sure to use <body class="f9 b9"> and <pre>' >&2

p='\x1b\['        #shortcut to match escape codes

# Handle various xterm control sequences.
# See /usr/share/doc/xterm-*/ctlseqs.txt
sed "
# escape ampersand and quote
s#&#\&amp;#g; s#\"#\&quot;#g;
s#\x1b[^\x1b]*\x1b\\\##g  # strip anything between \e and ST
s#\x1b][0-9]*;[^\a]*\a##g # strip any OSC (xterm title etc.)
s#\r\$## # strip trailing \r
# strip other non SGR escape sequences
s#[\x07]##g
s#\x1b[]>=\][0-9;]*##g
s#\x1bP+.\{5\}##g
# Mark cursor positioning codes \"Jr;c;
s#${p}\([0-9]\{1,2\}\)G#\"J;\1;#g
s#${p}\([0-9]\{1,2\}\);\([0-9]\{1,2\}\)H#\"J\1;\2;#g
# Mark clear as \"Cn where n=1 is screen and n=0 is to end-of-line
s#${p}H#\"C1;#g
s#${p}K#\"C0;#g
# Mark Cursor move columns as \"Mn where n is +ve for right, -ve for left
s#${p}C#\"M1;#g
s#${p}\([0-9]\{1,\}\)C#\"M\1;#g
s#${p}\([0-9]\{1,\}\)D#\"M-\1;#g
s#${p}\([0-9]\{1,\}\)P#\"X\1;#g
s#${p}[0-9;?]*[^0-9;?m]##g
" |

# Normalize the input before transformation
sed "
# escape HTML (ampersand and quote done above)
s#>#\&gt;#g; s#<#\&lt;#g;
# handle truecolor
s#${p}38;2;\([0-9]\{1,3\}\);\([0-9]\{1,3\}\);\([0-9]\{1,3\}\)m#\
<span style=\"color:rgb(\1\,\2\,\3\)\">#g
s#${p}48;2;\([0-9]\{1,3\}\);\([0-9]\{1,3\}\);\([0-9]\{1,3\}\)m#\
<span style=\"background-color:rgb(\1\,\2\,\3\)\">#g
# normalize SGR codes a little
# split 256 colors out and mark so that they're not
# recognised by the following 'split combined' line
:e
s#${p}\([0-9;]\{1,\}\);\([34]8;5;[0-9]\{1,3\}\)m#${p}\1m${p}¬\2m#g; t e
s#${p}\([34]8;5;[0-9]\{1,3\}\)m#${p}¬\1m#g;
:c
s#${p}\([0-9]\{1,\}\);\([0-9;]\{1,\}\)m#${p}\1m${p}\2m#g; t c   # split combined
s#${p}0\([0-7]\)#${p}\1#g                                 #strip leading 0
s#${p}1m\(\(${p}[4579]m\)*\)#\1${p}1m#g                   #bold last (with clr)
s#${p}m#${p}0m#g                                          #add leading 0 to norm
# undo any 256 color marking
s#${p}¬\([34]8;5;[0-9]\{1,3\}\)m#${p}\1m#g;
# map 16 color codes to color + bold
s#${p}9\([0-7]\)m#${p}3\1m${p}1m#g;
s#${p}10\([0-7]\)m#${p}4\1m${p}1m#g;
# change 'reset' code to \"R
s#${p}0m#\"R;#g
" |

# Convert SGR sequences to HTML
sed "
# common combinations to minimise html (optional)
:f
s#${p}3[0-7]m${p}3\([0-7]\)m#${p}3\1m#g; t f
:b
s#${p}4[0-7]m${p}4\([0-7]\)m#${p}4\1m#g; t b
s#${p}3\([0-7]\)m${p}4\([0-7]\)m#<span class=\"f\1 b\2\">#g
s#${p}4\([0-7]\)m${p}3\([0-7]\)m#<span class=\"f\2 b\1\">#g
s#${p}1m#<span class=\"bold\">#g
s#${p}4m#<span class=\"underline\">#g
s#${p}5m#<span class=\"blink\">#g
s#${p}7m#<span class=\"reverse\">#g
s#${p}9m#<span class=\"line-through\">#g
s#${p}3\([0-9]\)m#<span class=\"f\1\">#g
s#${p}4\([0-9]\)m#<span class=\"b\1\">#g
s#${p}38;5;\([0-9]\{1,3\}\)m#<span class=\"ef\1\">#g
s#${p}48;5;\([0-9]\{1,3\}\)m#<span class=\"eb\1\">#g
s#${p}[0-9;]*m##g # strip unhandled codes
" |

# Convert alternative character set and handle cursor movement codes
# Note we convert here, as if we do at start we have to worry about avoiding
# conversion of SGR codes etc., whereas doing here we only have to
# avoid conversions of stuff between &...; or <...>
#
# Note we could use sed to do this based around:
#   sed 'y/abcdefghijklmnopqrstuvwxyz{}`~/▒␉␌␍␊°±␤␋┘┐┌└┼⎺⎻─⎼⎽├┤┴┬│≤≥π£◆·/'
# However that would be very awkward as we need to only conv some input.
# The basic scheme that we do in the awk script below is:
#  1. enable transliterate once "T1; is seen
#  2. disable once "T0; is seen (may be on diff line)
#  3. never transliterate between &; or <> chars
#  4. track x,y movements and active display mode at each position
#  5. buffer line/screen and dump when required
sed "
# change 'smacs' and 'rmacs' to \"T1 and \"T0 to simplify matching.
s#\x1b(0#\"T1;#g;
s#\x0E#\"T1;#g;
s#\x1b(B#\"T0;#g
s#\x0F#\"T0;#g
" |
(
gawk '
function dump_line(l,del,c,blanks,ret) {
  for(c=1;c<maxX;c++) {
    if ((c SUBSEP l) in attr || alength(cur)) {
      ret = ret blanks fixas(cur,attr[c,l])
      if(del) delete attr[c,l]
      blanks=""
    }
    if ((c SUBSEP l) in dump) {
      ret=ret blanks dump[c,l]
      if(del) delete dump[c,l]
      blanks=""
    } else blanks=blanks " "
  }
  if(alength(cur)) ret=ret blanks
  return ret
}
function dump_screen(l,ret) {
  for(l=1;l<=maxY;l++)
    ret=ret dump_line(l,0) "\n"
  return ret fixas(cur, "")
}
function atos(a,i,ret) {
  for(i=1;i<=alength(a);i++) if(i in a) ret=ret a[i]
  return ret
}
function alength(a, i, k) {
    k = 0
    for(i in a) k++
    return k
}
function fixas(a,s,spc,i,attr,rm,ret) {
  spc=alength(a)
  l=split(s,attr,">")
  for(i=1;i<=spc;i++) {
    rm=rm?rm:(a[i]!=attr[i]">")
    if(rm) {
      ret=ret "</span>"
      delete a[i];
    }
  }
  for(i=1;i<l;i++) {
    attr[i]=attr[i]">"
    if(a[i]!=attr[i]) {
      a[i]=attr[i]
      ret = ret attr[i]
    }
  }
  return ret
}
function encode(string,start,end,i,ret,pos,sc,buf) {
   if(!end) end=length(string);
   if(!start) start=1;
   state=3
   for(i=1;i<=length(string);i++) {
     c=substr(string,i,1)
     if(state==2) {
       sc=sc c
       if(c==";") {
          c=sc
          state=last_mode
       } else continue
     } else {
       if(c=="\r") { x=1; continue }
       if(c=="<") {
         # Change attributes - store current active
         # attributes in span array
         split(substr(string,i),cord,">");
         i+=length(cord[1])
         span[++spc]=cord[1] ">"
         continue
       }
       else if(c=="&") {
         # All goes to single position till we see a semicolon
         sc=c
         state=2
         continue
       }
       else if(c=="\b") {
          # backspace move insertion point back 1
          if(spc) attr[x,y]=atos(span)
          x=x>1?x-1:1
          continue
       }
       else if(c=="\"") {
          split(substr(string,i+2),cord,";")
          cc=substr(string,i+1,1);
          if(cc=="T") {
              # Transliterate on/off
              if(cord[1]==1&&state==3) last_mode=state=4
              if(cord[1]==0&&state==4) last_mode=state=3
          }
          else if(cc=="C") {
              # Clear
              if(cord[1]+0) {
                # Screen - if Recording dump screen
                if(dumpStatus==dsActive) ret=ret dump_screen()
                dumpStatus=dsActive
                delete dump
                delete attr
                x=y=1
              } else {
                # To end of line
                for(pos=x;pos<maxX;pos++) {
                  dump[pos,y]=" "
                  if (!spc) delete attr[pos,y]
                  else attr[pos,y]=atos(span)
                }
              }
          }
          else if(cc=="J") {
              # Jump to x,y
              i+=length(cord[2])+1
              # If line is higher - dump previous screen
              if(dumpStatus==dsActive&&cord[1]<y) {
                ret=ret dump_screen();
                dumpStatus=dsNew;
              }
              x=cord[2]
              if(length(cord[1]) && y!=cord[1]){
                y=cord[1]
                if(y>maxY) maxY=y
                # Change y - start recording
                dumpStatus=dumpStatus?dumpStatus:dsReset
              }
          }
          else if(cc=="M") {
              # Move left/right on current line
              x+=cord[1]
          }
          else if(cc=="X") {
              # delete on right
              for(pos=x;pos<=maxX;pos++) {
                nx=pos+cord[1]
                if(nx<maxX) {
                  if((nx SUBSEP y) in attr) attr[pos,y] = attr[nx,y]
                  else delete attr[pos,y]
                  if((nx SUBSEP y) in dump) dump[pos,y] = dump[nx,y]
                  else delete dump[pos,y]
                } else if(spc) {
                  attr[pos,y]=atos(span)
                  dump[pos,y]=" "
                }
              }
          }
          else if(cc=="R") {
              # Reset attributes
              while(spc) delete span[spc--]
          }
          i+=length(cord[1])+2
          continue
       }
       else if(state==4&&i>=start&&i<=end&&c in Trans) c=Trans[c]
     }
     if(dumpStatus==dsReset) {
       delete dump
       delete attr
       ret=ret"\n"
       dumpStatus=dsActive
     }
     if(dumpStatus==dsNew) {
       # After moving/clearing we are now ready to write
       # somthing to the screen so start recording now
       ret=ret"\n"
       dumpStatus=dsActive
     }
     if(dumpStatus==dsActive||dumpStatus==dsOff) {
       dump[x,y] = c
       if(!spc) delete attr[x,y]
       else attr[x,y] = atos(span)
       if(++x>maxX) maxX=x;
     }
    }
    # End of line if dumping increment y and set x back to first col
    x=1
    if(!dumpStatus) return ret dump_line(y,1);
    else if(++y>maxY) maxY=y;
    return ret
}
BEGIN{
  OFS=FS
  # dump screen status
  dsOff=0    # Not dumping screen contents just write output direct
  dsNew=1    # Just after move/clear waiting for activity to start recording
  dsReset=2  # Screen cleared build new empty buffer and record
  dsActive=3 # Currently recording
  F="abcdefghijklmnopqrstuvwxyz{}`~"
  T="▒␉␌␍␊°±␤␋┘┐┌└┼⎺⎻─⎼⎽├┤┴┬│≤≥π£◆·"
  maxX=80
  delete cur;
  x=y=1
  for(i=1;i<=length(F);i++)Trans[substr(F,i,1)]=substr(T,i,1);
}
{ $0=encode($0) }
1
END {
  if(dumpStatus) {
    print dump_screen();
  }
}'
)

[ "$body_only" ] || printf '</pre>
</body>
</html>\n'

SRT字幕文件转文本文件

Tue, 27 Dec 2022 19:35:11 +0800

1. 获取字幕文件

一般来说，很多视频网站都会提供视频的字幕文件。有的可以直接下载，有的需要先下载视频，然后再使用字幕软件提取字幕文件。还有一些可以在Chrome浏览器中安装字幕插件，然后在视频播放页面中直接下载字幕文件。总而言之，需要先获取到字幕文件，然后才能进行下一步操作。SRT格式的字幕文件是最常见的，其格式如下所示：

1
2
3
4
5
6
7
1
00:00:00,000 --> 00:00:02,000
Life is short

2
00:00:02,205 --> 00:00:04,000
You need Python

可以看到，字幕文件由多个字幕组成，每个字幕由两行组成，第一行是字幕的序号，第二行是字幕的时间轴，第三行是字幕的内容。字幕之间用空行分隔。所以，只需要先删除所有空行，然后对line_num%3==0的行进行处理，即可得到字幕的内容

2. python脚本

文件内容如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author: 'zfb'
# time: 2019-10-26 17:17

import argparse
import glob
import os

# 输出文件的头部信息，可以为空
header = "zfb 2019-10-26 17:17\n\n"
# 段落开始符号
begin_para_symbol = "  "
# 拼接句子的符号
split_line_symbol = "，"
# 拼接字幕文件的符号
split_file_symbol = "\n\n\n"

def read_toc(file_name):
    with open(file_name, "r", encoding="utf8") as file:
        lines = file.readlines()
        # 去除所有空行
        strip_lines = [line.strip()+"\n" for line in lines if len(line.strip())]
        return strip_lines

def read_srt(file_name):
    with open(file_name, "r", encoding="utf8") as file:
        lines = file.readlines()
        # 去除所有空行
        strip_lines = [line.strip() for line in lines if len(line.strip())]
        # 根据文件格式，字幕文字所在行是3的倍数，从起始位置，到结束位置，间隔为3
        text_lines = strip_lines[2::3]
        # 按照逗号拼接全文
        text = split_line_symbol.join(text_lines)
        return text

def get_files(directory):
    # 按文件名排序
    return sorted(glob.glob(os.path.join(directory, "*.srt")))

def convert(srt_files, toc_lines, txt_name):
    content = header
    for i in range(len(srt_files)):
        content = content + toc_lines[i] + begin_para_symbol + read_srt(srt_files[i]) + split_file_symbol
    with open(txt_name, "w") as file:
        file.write(content)


if __name__ == "__main__":
    parser = argparse.ArgumentParser(
        description='SRT字幕文件转TXT文件',
        formatter_class=argparse.RawDescriptionHelpFormatter,
        epilog=
'''\
用法示例：
    python srt2txt.py ./srt/ ./content.txt -t ./toc.txt
    python srt2txt.py ./srt/ ./content.txt
    python srt2txt.py
'''
    )
    # 可选参数
    parser.add_argument(
        "-s", "--srt_dir", type=str, default="./srt/",
        help="*.srt字幕文件所在目录，默认为当前目录下的srt文件夹"
    )
    parser.add_argument(
        "-o", "--output_name", type=str, default="./content.txt",
        help="输出文件名，默认为content.txt"
    )
    parser.add_argument(
        "-t", "--toc", type=str, default="./toc.txt",
        help="目录文件名，默认为toc.txt, 如果没有，会根据字幕文件名生成"
    )
    args = parser.parse_args()
    # 字幕文件所在目录
    srt_file_path = args.srt_dir
    # 目录文件，如果没有，会根据字幕文件名生成
    toc_file = args.toc
    # 输出文件
    txt_file = args.output_name
    files = get_files(srt_file_path)
    if os.path.exists(toc_file):
        # 读取目录文件
        toc_lines = read_toc(toc_file)
    else:
        # 根据srt文件名，生成目录文件
        toc_lines = [os.path.basename(file) + "\n" for file in files]
    convert(files, toc_lines, txt_file)

在ubuntu系统安装配置heatererp软件

Sat, 27 Feb 2021 15:37:56 +0800

1. 下载软件包并安装依赖

安装需要依赖的软件，使用nec2c虽然运行慢，但是配置简单
sudo apt-get install zip nec2c octave
本项目代码仓库网址： https://gitlab.com/andrewsenior/heatererp

2. 配置heatererp

启动heatererp，步骤如下：
cd ~/heatererp-master/bin
chmod +x ./erpmodel.sh
./erpmodel.sh
然后会提示设置各种路径，可以随便弄，然后再修改~/.config/heatererp/conf.m文件中的路径
设置完以后保证conf.m的内容如下，注意model_engine设置为nec2c

% Configuration script for Heater ERP model
model_dir='/home/zfb/heatererp-master/models';
nec2_bin='/the/real/path/to/nec2';
nec2c_bin='nec2c';
model_engine='nec2c';
log_dir='/home/zfb/heatererp/logs';
results_dir='/home/zfb/heatererp/results';
plots_dir='/home/zfb/heatererp/plots';

3. 创建文件夹保存运算结果

创建的文件夹要与conf.m文件中设置的相对应
cd ~ && mkdir heatererp && cd heatererp
mkdir logs plots results

4. 运行测试

放置log文件，执行sh脚本运行模型
cp ~/heatererp-master/testing/1970-01-01_tx.log ~/heatererp/logs/
cd ~/heatererp-master/bin && ./erpmodel.sh
在打开的octave软件的提示符里面输入以下内容即可计算
erpmodel('01-Jan-1970 00:00:00');erpmodel('01-Jan-1970 01:28:00'); 等待运行结束，在/home/zfb/heatererp/对应文件夹寻找结果

5. 注意

在Ubuntu 18.04系统测试通过（Ubuntu 20.04好像不太行）
如果系统有GUI，还会同时显示图片
.log文件的第一行是实验开始时间，erpmodel()的参数可以是那个时刻及以后的时刻

在linux系统监控某个程序的执行情况并通知用户

Thu, 11 Feb 2021 13:30:21 +0800

介绍

如果有一个下载任务需要执行（python3 download.py），该任务会下载许多文件，一般将其放在后台执行。但是又需要知道它是否在某个时刻退出，可能是因为：

任务执行完毕，正常结束运行
任务异常退出，可能由于下载的网站爬虫策略限制，也可能是其他原因

无论由于哪个原因，一旦程序停止，都需要立刻用户，所以编写以下代码来实现该功能

代码

使用python语言编写监控程序detect.py文件：

如果需要使用腾讯云发送短信通知，则安装库qcloudsms_py
如果需要使用twilio发送短信通知，则安装库twilio

文件内容如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# author: 'zfb'
# time: 19-06-29 09:52
import datetime
import json
import os
import requests
import socket
import logging
from logging.handlers import RotatingFileHandler
from qcloudsms_py import SmsSingleSender
from qcloudsms_py.httpclient import HTTPError

LOG_FORMAT = "%(asctime)s [%(funcName)s: %(filename)s,%(lineno)d] - %(levelname)s : %(message)s"
DATE_FORMAT = "%m/%d/%Y %H:%M:%S"
LOG_PATH = "./log/"

# 初始化日志文件配置
def initLog(fileName,logger):
    # 创建日志文件夹
    if not os.path.exists(LOG_PATH):
        os.mkdir(LOG_PATH)
    myapp = logging.getLogger(logger)
    myapp.setLevel(logging.DEBUG)
    # 切割日志文件
    handler = RotatingFileHandler(LOG_PATH+fileName, maxBytes=128*1024, backupCount=60)
    handler.setFormatter(logging.Formatter(LOG_FORMAT,DATE_FORMAT))
    myapp.addHandler(handler)
    return myapp


logging = initLog('detect.log', 'detect')

# ------------  使用腾讯云发送短信通知用户  -----------
APP_ID = 1412345678
APP_KEY = "3998d59614123456789b72dd5961405c"
TEMPLATE_ID = 101234
SMS_SIGN = "签名A"
# ------------  使用腾讯云发送短信通知用户  -----------

# ------------  使用twilio发送短信  ------------------
SMS_SID = 'ACb770c5f63aac91c44d97891234567890'
SMS_TOKEN = '42b1294966799e965883181234567890'
SMS_FROM_NUMBER = '+12512123456'
# ------------  使用twilio发送短信  ------------------

# ------------  使用邮箱发信  ------------------------
EMAIL_FROM = 'example@qq.com'
EMAIL_PWD = '123demo'
# ------------  使用邮箱发信  ------------------------

def sendSMS(number, params, app_id=APP_ID, key=APP_KEY, template_id=TEMPLATE_ID, sms_sign=SMS_SIGN):
    ssender = SmsSingleSender(app_id, key)
    try:
        result = ssender.send_with_param(86, number, template_id, 
                params, sign=sms_sign, extend="", ext="")
    except HTTPError as e:
        log = json.dumps(e, ensure_ascii=False)
        logging.error(log)
        print(log)
    except Exception as e:
        log = json.dumps(e, ensure_ascii=False)
        logging.error(log)
        print(log)
    log = json.dumps(result, ensure_ascii=False)
    logging.debug(log)
    print(log)


# 使用twilio的使用账户发送短信
def send_sms(phone, content):
    from twilio.rest import Client
    # 账户信息： twilio.com/console
    account_sid = SMS_SID
    auth_token = SMS_TOKEN
    from_phone_num = SMS_FROM_NUMBER
    client = Client(account_sid, auth_token)
    message = client.messages.create(body=content, from_=from_phone_num, to=phone)
    print(message.sid)


# 使用139邮箱的短信通知功能
def send_email(email, subject, msg):
    from smtplib import SMTPException, SMTP_SSL
    from email.mime.text import MIMEText
    from email.header import Header
    # 发件人
    sender = EMAIL_FROM
    pwd = EMAIL_PWD
    # 三个参数：第一个为文本内容，第二个为plain设置文本格式，第三个为utf-8设置编码
    message = MIMEText(msg,"plain",'utf-8')
    message ['From'] = Header(sender,'utf-8')
    message ['To'] = Header(email,'utf-8')
    message["Subject"] = Header(subject,"utf-8")
    try:
        # 使用非本地服务器，需要建立ssl连接
        smtpObj = SMTP_SSL("smtp.exmail.qq.com", 465)
        smtpObj.login(sender,pwd)
        smtpObj.sendmail(sender,email,message.as_string())
        print("邮件发送成功")
    except SMTPException as e:
        print("Error：无法发送邮件.Case:%s"%e)


# 检测下载进程是否正在运行
def isRunning(search_param):
    output = os.popen('ps -ef | grep {}'.format(search_param))
    length = 0
    for line in output:
        # print(line)
        if "/bin/sh" in line or "grep" in line or "Terminated" in line:
            continue
        length = length + 1
    # print(length)
    return True if length > 0 else False


# 获取系统用户名和ip
def getInfomation():
    user = socket.gethostname()
    # 创建socket访问DNS来获取本机的IP，如果是NAT的话，则是局域网IP
    local_ip = "127.0.0.1"
    try:
        s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
        s.connect(('1.1.1.1', 80))
        local_ip = s.getsockname()[0]
    finally:
        s.close()
    # 访问www.ip.cn网站获取公网IP
    net_ip = "127.0.0.1"
    try:
        net_ip = requests.get('https://api.ipify.org').text
    finally:
        pass
    return (user, local_ip, net_ip)


if __name__ == "__main__":
    status = isRunning("download.py")
    flag_file = "/home/ubuntu/flag"
    # now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    if status:
        logging.debug("program is running")
    else:
        if os.path.isfile(flag_file):
            logging.error("program stopped, nobody fixed it.")
        else:
            info = getInfomation()
            msg = "您的主机{}，公网IP地址为{}，局域网IP为{}，下载进程已中断".format(info[0], info[2], info[1])
            phone = "13612345678"
            sendSMS(phone, ['spy', msg])
            send_sms(phone, msg)
            send_email("user@qq.com", "spy", msg)
            with open(flag_file, "w+") as file:
                file.write("Please delete me after restarting the download program.")
            logging.error("program stopped")

运行监控代码文件

在终端输入crontab -e打开定时管理任务，然后在文件中最后添加一行，内容如下：
*/30 * * * * python3 /home/ubuntu/detect.py
此代码表示每隔30min运行一次
注意：每次重新启动下载进程之后，务必删除flag文件（为了防止因为没有及时重启下载进程而浪费短信资源，在主目录~下输入rm flag即可删除此文件）

在linux系统使用expect命令自动填充ssh或scp等命令的密码

Sat, 16 Jan 2021 14:13:22 +0800

expect命令使用范例

shell脚本文件的名称为download.sh，内容如下：

#!/usr/bin/env bash

# 任何一句命令执行出错，都会终止该脚本
set -e
# 设置为调试模式，在执行过程中会同时输出各变量的值
# set -x

# 连接scp
#######################
# expect {
#   -re ".*es.*o.*" {
#     exp_send "yes\r"
#     exp_continue
#   }
#   -re ".*sword.*" {
#     exp_send "mypwd12345\r"
#   }
# }
# 把远程机器上的文件下载到本地机器
# 参数1: 远程机器上的文件（或文件夹）的绝对路径
# 参数2: 存放位置，即本地机器上的文件夹
# 当scp下载大文件时，需要耗费更多时间，设置timeout
function scp_download(){
src=$1
dst=$2
if [ $# -eq 2 ]
then
    need_ssh=0
else
    need_ssh=$3
fi
name=zfb
host="192.168.1.56"
passwd="1234567890pwd"
if [ $3 -eq 1 ]
then
# ssh登录远程机器，为目标文件添加读写执行权限
/usr/bin/expect<<EOF
    spawn ssh $name@$host
    expect {
        -timeout -1
        "*yes/no" {
            send "yes\r";exp_continue
        }
        "*password:" {
            send "$passwd\r"
            # zfb@my-Server:~$
            expect "~.*$"
            send "sudo chmod 777 $src\r"
            expect "*assword:"
            send "$passwd\r"
            expect "~.*$"
            send "exit\r"
            expect eof
        }
    }
EOF
fi
# 使用scp自动下载文件
/usr/bin/expect<<EOF
    set timeout 600
    spawn scp -r $name@$host:$src $dst
    expect {
        "*yes/no" {
            send "yes\r";exp_continue
        }
        "*password:" {
            send "$passwd\r"
            expect eof
        }
    }
EOF
}


# 脚本运行参数
# 参数1: 远程机器的文件（夹）绝对路径， 例如 /media/data/test/a.txt
# 参数2：保存位置，即本地路径

# 若本地不存在，则创建目录
if [ ! -d $2 ]
then
    echo $2" does not exist, ready to mkdir "$2
    mkdir -p $2
    echo "mkdir successfully!"
fi
data=$2/opendata
if [ ! -d $data ]
then
    echo $data" does not exist, ready to mkdir "$data
    mkdir -p $data
    echo "mkdir successfully!"
fi

scp_download $1/test.txt $2
scp_download $1/test/testaa.py $2
mv $2/testaa.py $2/testbb.py
scp_download $1/test/opendata/testcc.txt $data
# testdd.txt在远程机器上，无读取权限，需要ssh进行chmod添加权限
scp_download $1/test/opendata/testdd.txt $data 1

使用方法示例：
./download.sh /media/data/test ./

在Ubuntu系统以及WSL 2安装使用Docker

Wed, 16 Dec 2020 11:20:55 +0800

1. Docker介绍

Docker 使用 Google 公司推出的 Go 语言进行开发实现，基于 Linux 内核的 cgroup，namespace，以及 OverlayFS 类的 Union FS 等技术，对进程进行封装隔离，属于操作系统层面的虚拟化技术。由于隔离的进程独立于宿主和其它的隔离的进程，因此也称其为容器。
Docker包含三个概念：镜像（Image）、容器（Container）、仓库（Repository）

镜像是只读的，镜像中包含有需要运行的文件（运行时所需的程序、库、资源、配置等文件；运行时准备的一些配置参数如匿名卷、环境变量、用户等）。镜像用来创建容器container，一个镜像可以运行多个container；镜像可以通过Dockerfile创建，也可以从Docker hub/registry上下载
容器是镜像运行时的实体。容器可以被创建、启动、停止、删除、暂停等。容器的实质是进程，但与直接在宿主执行的进程不同，容器进程可以拥有自己的 root 文件系统、自己的网络配置、自己的进程空间，甚至自己的用户 ID 空间；每一个容器运行时，是以镜像为基础层，在其上创建一个当前容器的存储层，我们可以称这个为容器运行时读写而准备的存储层为容器存储层；容器存储层的生存周期和容器一样，容器消亡时，容器存储层也随之消亡。因此，任何保存于容器存储层的信息都会随容器删除而丢失；容器不应该向其存储层内写入任何数据，容器存储层要保持无状态化。所有的文件写入操作，都应该使用数据卷（Volume）、或者绑定宿主目录，在这些位置的读写会跳过容器存储层，直接对宿主（或网络存储）发生读写，其性能和稳定性更高
镜像构建完成后，可以很容易的在当前宿主机上运行，但是，如果需要在其它服务器上使用这个镜像，就需要一个集中的存储、分发镜像的服务，Docker Registry（注册服务器）就是这样的服务；一个 Docker Registry 中可以包含多个仓库（Repository）；每个仓库可以包含多个标签（Tag）；每个标签对应一个镜像。一个仓库会包含同一个软件不同版本的镜像，而标签就常用于对应该软件的各个版本。我们可以通过<仓库名>:<标签>的格式来指定具体是这个软件哪个版本的镜像（仓库名经常以两段式路径形式出现，比如jwilder/nginx-proxy，前者往往意味着 Docker Registry 多用户环境下的用户名，后者则往往是对应的软件名）。如果不给出标签，将以latest作为默认标签，例如ubuntu:16.04、ubuntu、ubuntu:latest

Docker三个命令：

docker-compose：Docker镜像在创建之后，往往需要自己手动pull来获取镜像，然后执行run命令来运行。当服务需要用到多种容器，容器之间又产生了各种依赖和连接的时候，部署一个服务的手动操作是令人感到十分厌烦的。dcoker-compose技术，就是通过一个.yml配置文件，将所有的容器的部署方法、文件映射、容器连接等等一系列的配置写在一个配置文件里，最后只需要执行docker-compose up命令就会像执行脚本一样的去一个个安装容器并自动部署他们，极大的便利了复杂服务的部署
docker-machine：Docker公司官方提出的，用于在各种平台上快速创建具有 docker 服务的虚拟机的技术，甚至可以通过指定 driver 来定制虚拟机的实现原理（一般是 virtualbox）
docker-swarm：swarm 是基于 docker 平台实现的集群技术，他可以通过几条简单的指令快速的创建一个 docker 集群，接着在集群的共享网络上部署应用，最终实现分布式的服务

2. 安装使用WSL 2的Docker

在WSL使用Docker的官网安装教程，需要自己安装Windows版Docker

3. 配置Docker

打开Docker软件，修改设置：

Resources–>WSL Integration，启用自己安装的子系统

Docker Engine修改镜像配置为

{
"registry-mirrors": [
   "https://hub-mirror.c.163.com",
   "https://mirror.baidubce.com"
],
"insecure-registries": [],
"debug": true,
"experimental": false
}

上述配置文件的路径在C:\Users\zfb\.docker\daemon.json
保存配置并重启Docker，则Windows的Powershell和WSL均可正常使用docker

4. docker常用命令

所有命令中，容器id与容器名字可以混用
docker info：查看当前系统Docker信息
docker version：查看当前Docker的版本
docker inspect c4b66ffc84d3：输出容器的详细信息
docker cp tomcat:/webapps/js/text.js /home/admin：将容器中的文件复制到宿主机
docker run hello-world：运行最简单的一个docker命令，测试是否安装成功
docker pull angelkitty/nginx_web:v1：下载镜像，{registry}/{namespace or project}/{image}:{tag}，registry不填的情况下默认为docker.io（可通过修改配置文件改为其他），namespace or project不填的情况下默认为library，tag不填的情况下默认为latest
docker commit c4b66ffc84d3 zfb/testimage:2.0：可以保留对镜像的修改，在原有镜像的基础上，再叠加上容器的存储层，并构成新的镜像，将其保存下来形成镜像。以后运行这个新镜像的时候，就会拥有原有容器最后的文件变化，但是不利于分发部署，因为其他人不知道生成此镜像的步骤
docker images：查看宿主机上的镜像，镜像保存在/var/lib/docker目录下
docker rmi c4b66ffc84d3：删除id为c4b66ffc84d3的本地镜像，也可以是镜像的名字
docker rmi -f $(docker images -q)：强制删除所有镜像
docker image prune -f -a：强制删除所有不使用的镜像
docker ps -a -q：显示所有（-a）容器（运行中和已退出）的详细信息，-q表示只显示容器的id信息
docker top c4b66ffc84d3：查看容器内的进程
docker stop $(docker ps -aq)：停止所有的容器
docker stop 8d0eb8b4180b：停止id为8d0eb8b4180b的容器，也可以是容器的名字，如webserver
docker start Name或者ID：启动id为ID的容器，也可以是容器的名字，如Name
docker kill Name或者ID：强制杀死id为ID的容器，也可以是容器的名字，如Name
docker restart name或者ID：重启id为ID的容器，也可以是容器的名字，如Name
docker rm $(docker ps -a -q)：删除所有容器
docker container prune：删除所有已停止的容器

4.1 exec

使用此命令可以进入正在运行（或已经创建）的容器，例如：
docker exec -it webserver bash
此命令表示进入名称为webserver的容器里面（也可以通过id进入），并且执行bash命令；此时我们会看到回显：

 ~ > docker exec -it webserver bash
root@79b527eb60ee:/#

-i表示即使没有附加也保持标准输入打开，以交互模式运行容器，通常与-t同时使用
-t表示为容器重新分配一个伪输入终端，通常与-i同时使用
在bash修改配置、退出容器时候：如果要正常退出不关闭容器，需要按Ctrl+P+Q进行退出容器，如果要回到运行中的容器则docker attach c4b66ffc84d3；如果使用exit退出，那么在退出之后会关闭容器，可以使用下面的流程恢复docker restart && docker attach

4.2 run

run命令会去首先在本地寻找镜像，如果不存在则从网络下载
使用镜像nginx:latest以交互模式启动（创建）一个容器，在容器内执行/bin/bash命令
docker run --name webserver -d -p 4000:80 -it nginx:latest /bin/bash
--name：为容器指定名称
--cpuset="0-2" or --cpuset="0,1,2"：绑定容器到指定CPU运行
--link mypostgres_merry:db：将此容器与名称为mypostgres_merry的容器连接，并为mypostgres_merry容器设置别名为db
-d：表示后台运行容器，并返回容器ID
-e username="ritchie"：为容器设置环境变量
-m：设置容器使用内存最大值
-P：随机端口映射，容器内部端口随机映射到主机的端口
-p 4000:80：指定端口映射，将容器的80端口映射为宿主机的4000端口
-v /home/zfb/myimage:/data：将主机上的/home/zfb/myimage目录中的内容关联到容器的文件系统/data下

5. Dockerfile

Dockerfile是一个用来构建镜像的文本文件（定制镜像），文本内容包含了一条条构建镜像所需的指令（每一条指令的内容，就是描述该层应当如何构建）和说明，每添加一层，镜像就会变大一些，所以尽可能把同类操作合并为一个指令
忽略大小写，但是建议使用大写，使用#作为注释，每一行只支持一条指令，每条指令可以携带多个参数
指令的换行方式与shell环境一致（用转义符\表示换行），如下所示：

apt-get update \
    && apt-get install -y \
        build-essential \
        cmake \
        git

此指令与apt-get update && apt-get install -y build-essential cmake git效果完全一致
一般来说Dockerfile的内容分为四个部分：基础镜像信息、维护者信息、镜像操作指令和容器启动时执行指令；支持的指令为FROM、MAINTAINER、RUN、CMD、EXPOSE、ENV、ARG、ADD、COPY、ENTRYPOINT、VOLUME、USER、WORKDIR、ONBUILD

# 第一条指令必须为 FROM 指令，表示下面修改基于的镜像
# FROM ubuntu:20.04
FROM nginx:1.11

# 指定维护者信息
MAINTAINER zfb and example@gmail.com

# 指定RUN命令更新镜像，RUN command，command为shell支持的所有命令
# 尽量把它们写为一条（用&&连接），多条的话会打包多层
# 每一个 RUN 都是启动一个容器、执行命令、然后提交存储层文件变更
# 因此cd命令与其他命令&&连起来放到同一个RUN，否则不会成功
# RUN命令的另一种写法（exec格式，一定要使用双引号"），CMD命令也支持此写法
# RUN ["/bin/bash", "-c", "echo hello"]
# 对于国内使用，先更换源；有的是cn，有的不是
# 然后更新apt、安装需要的软件包、删除缓存文件使镜像更小
# RUN echo "deb http://archive.ubuntu.com/ubuntu/ raring main universe" >> /etc/apt/sources.list
RUN sed -i 's/cn.archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list \
    && sed -i 's/archive.ubuntu.com/mirrors.ustc.edu.cn/g' /etc/apt/sources.list \
    && apt-get update && rm -rf /var/lib/apt/lists/*

# 指定容器对外暴露的端口号为3000-4000和5008
# 讨论以下几种情况
#   1. 既没有在Dockerfile里Expose，也没有run -p
#   2. 只在Dockerfile里Expose了这个端口
#   3. 同时在Dockerfile里Expose，又run -p
#   4. 只有run -p
# 针对情况1
#   启动在这个容器里的服务既不能被host主机和外网访问
#   也不能被链接的容器访问，只能在此容器内部使用
# 针对情况2
#   启动在这个容器里的服务不能被docker外部世界（宿主机和其他主机）访问
#   但是可以通过容器链接，被其他链接的容器访问到
# 针对情况3
#   启动的这个容器既可以被docker外部世界访问，也可以被链接的容器访问
# 针对情况4
#   等价于情况3
EXPOSE 80 443 3000-4000 5008

# 在镜像构建过程中设置环境变量，可以被后面的所有指令使用，会永久的保存到该镜像创建的任何容器中
# 例如：ADD、COPY、ENV、EXPOSE、FROM、LABEL、USER、WORKDIR、VOLUME、STOPSIGNAL、ONBUILD、RUN
# 但不能被CMD指令使用
ENV MYDIR /mydir
ENV VERSION=1.0 DEBUG="on" NAME=zfb

# ARG设置的构建环境的环境变量（参数名称和默认值），在将来容器运行时不会存在（但是docker history可以看到）
# 构建命令 docker build 中用 --build-arg MYDEBUG=off 来覆盖
ARG MYDEBUG=on

# 改变环境状态并影响以后的层，RUN、CMD、ENTRYPOINT这类命令的身份
# 这个用户必须是事先建立好的
RUN groupadd -r gp_redis && useradd -r -g redis gp_redis
USER redis:gp_redis

# 指定工作目录，相当于cd
# 该语句以后各层的当前目录就被改为指定的目录，如该目录不存在，WORKDIR 会自动建立目录
WORKDIR /home/$NAME/test

# 从构建上下文目录中<源路径>的文件/目录复制到新的一层的镜像内的<目标路径>位置
# 构建上下文：docker build -t testx .    其中.表示当前目录，则上下文为当前宿主机的目录
# <源路径>   可以是多个，甚至可以是通配符
# <目标路径> 可以是容器内的绝对路径，也可以是相对于工作目录的路径（若不存在自动创建缺失目录）
COPY check?.log ./

# 格式和 COPY 命令相同，可以完成 COPY 命令的所有功能，还具有其他功能
# 自动解压压缩文件并把它们添加到镜像中；从 url 拷贝文件到镜像中
ADD myname.tar.gz ./

# 在镜像中创建挂载点，这样只要通过该镜像创建的容器都有了挂载点
# 通过 VOLUME 指令创建的挂载点，无法指定宿主机上对应的目录，是自动生成的
# docker run -v可以指定
# 指定两个挂载点 /data1 和 /data2
VOLUME ["/data1", "/data2"]

# ENTRYPOINT指定容器启动程序及参数，格式和RUN格式一样，exec格式和shell格式
# 只有最新的一行ENTRYPOINT生效，前面会被覆盖
# 当指定ENTRYPOINT后，CMD指令的含义改变了
# 不再是直接运行命令，而是将CMD（或者docker run时的命令）的内容作为参数传给ENTRYPOINT指令
# 例如，CMD命令指定ENTRYPOINT命令的参数，
# ENTRYPOINT ["docker-entrypoint.sh"]
# CMD [ "redis-server" ]
# 如上设置会在容器创建后自动运行shell命令  ./docker-entrypoint.sh "redis-server"
# 再例如：docker run mytest curl -s http://ip.cn -i（mytest的Dockerfile未设置ENTRYPOINT）
# 等价于：docker run newtest -i（newtest的Dockerfile设置ENTRYPOINT如下）
ENTRYPOINT ["curl", "-s", "http://ip.cn"]


# CMD 指令的格式和 RUN 相似，表示容器创建后自动执行的命令，只有最新的一行CMD生效，前面会被覆盖
# 但是需要明白前台、后台的概念，区分容器和虚拟机的差异
# 对于容器而言，其启动程序就是容器应用进程，容器就是为了主进程而存在的，主进程退出，容器就退出
# 例如指令 CMD service nginx start 会被理解为 CMD [ "sh", "-c", "service nginx start"]
# 主进程实际上是sh，当service nginx start命令结束后，sh也就结束了，就会令容器退出
# 解决方法： 直接执行nginx可执行文件，并且要求以前台形式运行，如下所示
CMD ["nginx", "-g", "daemon off;"]

# 当所创建的镜像作为其它新创建镜像的基础镜像时，所执行的操作指令
# 也就是本镜像被from时，自动立即执行的指令
ONBUILD ADD . /app/src
ONBUILD RUN /usr/local/bin/python-build --dir /app/src

最不容易发生变化的操作放在较低的镜像层中，这样在重新 build 镜像时就会使用前面 build 产生的缓存
编写完成Dockerfile之后，可以通过docker build命令来创建镜像，该命令将读取指定路径下（包括子目录）的Dockerfile文件，并将该路径下所有内容发送给Docker服务端，由服务端来创建镜像。因此一般建议放置Dockerfile的目录为空目录。也可以通过.dockerignore文件（每一行添加一条匹配模式）来让Docker忽略路径下的目录和文件；要指定镜像的标签信息，可以通过-t选项，例如：
sudo docker build -t myrepo/myapp:2.0 /tmp/test1/
注意：对于使用Dockerfile创建的镜像构建的容器来说，直接启动就会执行Dockerfile的CMD命令（或ENTRYPOINT命令），所以如果是别人制作的镜像，例如opendronemap/odm/dockerfile，我们很可能就无法进入容器内的/bin/bash来执行其他操作。这时，使用如下命令启动容器就可以覆盖Dockerfile的ENTRYPOINT命令，来执行自己需要的命令：
docker run -it --entrypoint /bin/bash opendronemap/odm

6. docker-compose

docker-compose是定义和运行多个Docker容器的应用，它允许用户通过一个单独的docker-compose.yml模板文件来定义一组相关联的应用容器为一个项目。两个重要的概念：

服务 (service)：一个应用的容器，实际上可以包括若干运行相同镜像的容器实例
项目 (project)：由一组关联的应用容器组成的一个完整业务单元，在docker-compose.yml文件中定义

7. Ubuntu（不是WSL）安装使用Docker

卸载旧版本：sudo apt-get remove docker docker-engine docker.io

添加apt源并安装：

# 添加使用 HTTPS 传输的软件包以及 CA 证书
sudo apt-get install apt-transport-https ca-certificates curl software-properties-common
# 由于国内网络问题，使用国内源；官方地址为 https://download.docker.com/linux/ubuntu/gpg
curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 向 source.list 中添加 Docker 软件源；官方地址为 https://download.docker.com/linux/ubuntu
sudo add-apt-repository \
 "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
 $(lsb_release -cs) \
 stable"
# 更新 apt 软件包缓存
sudo apt-get update
# 安装 docker-ce
sudo apt-get install docker-ce

配置文件路径/etc/docker/daemon.json，如果不存在则自己创建，添加以下内容：

{
  "registry-mirrors": [
 "https://hub-mirror.c.163.com",
 "https://mirror.baidubce.com"
  ]
}

然后重新启动服务：

sudo systemctl daemon-reload
sudo systemctl restart docker
# 测试docker是否正确安装
docker run hello-world

建立 docker 用户组（可选）：默认情况下docker命令会使用 Unix socket 与 Docker 引擎通讯。而只有root用户和docker组的用户才可以访问 Docker 引擎的 Unix socket。因此，更好地做法是将需要使用docker的用户加入docker用户组
```
# 建立 docker 组
sudo groupadd docker
# 将当前用户加入 docker 组
sudo usermod -aG docker $USER
# 更新用户组
newgrp docker
```
如果还是出现报错，那么登出再登入该用户。还是不可以的话，就重启机器再次尝试

设置开机自启以及手动启动Docker

# 设置Docker开机自启
sudo systemctl enable docker
# 启动Docker
sudo systemctl start docker

ubuntu系统配置基于CUDA 11.0的最新深度学习环境

Sun, 13 Dec 2020 17:24:01 +0800

1. 深度学习硬件环境参数

服务器的硬件配置如下：

CPU型号：2 * (Intel Xeon Gold 5218 @ 2.3GHz * 32)
内存大小：12 * (32GB 2663MHz)
GPU型号：8 * (GeForce GTX 2080 Ti)
硬盘：
- 系统（RAID 1）：2 * (960GB SSD) = 960GB
- 数据（RAID 6）：6 * (10T HDD 7200rpm) = 40TB

系统和各基础软件的版本都在下表中列出：

操作系统版本：Ubuntu 18.04-amd64
英伟达显卡驱动：nvidia-driver-450
CUDA版本：11.0.3
cuDNN版本：8.0.4
Python版本：3.6.9
tensorflow版本：tf-nightly-2.5.0.dev20201209

2. 深度学习系统环境配置

2.1 安装nvidia驱动

目前我使用过的方法有三种，按照便捷程度依次降低的顺序来介绍

推荐方法（在图形窗口操作）：
- 打开软件Software & Updates（系统和更新）
- 点击选项Additional drivers（附加驱动）
- 选定nvidia driver meta nvidia-450
- 点击按钮Apply changes（应用更改）

备用方法：

打开终端，依次输入以下命令：

sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-450

最后的方法：访问nvidia官网下载适用于ubuntu的驱动包，一般为.run格式。然后在终端运行，根据提示操作即可

不管哪种方法，都需要重启电脑。然后，在终端输入nvidia-smi命令得到如下示例输出则表明安装成功

Thu Dec 10 15:42:47 2020       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 450.80.02    Driver Version: 450.80.02    CUDA Version: 11.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce RTX 208...  Off  | 00000000:3D:00.0 Off |                  N/A |
| 28%   30C    P8     9W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  GeForce RTX 208...  Off  | 00000000:3E:00.0 Off |                  N/A |
| 27%   29C    P8     5W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   2  GeForce RTX 208...  Off  | 00000000:40:00.0 Off |                  N/A |
| 27%   29C    P8    17W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   3  GeForce RTX 208...  Off  | 00000000:41:00.0 Off |                  N/A |
| 27%   28C    P8    22W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   4  GeForce RTX 208...  Off  | 00000000:B1:00.0 Off |                  N/A |
| 27%   29C    P8     3W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   5  GeForce RTX 208...  Off  | 00000000:B2:00.0 Off |                  N/A |
| 27%   29C    P8    14W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   6  GeForce RTX 208...  Off  | 00000000:B4:00.0 Off |                  N/A |
| 29%   31C    P8    20W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   7  GeForce RTX 208...  Off  | 00000000:B5:00.0 Off |                  N/A |
| 27%   29C    P8     7W / 250W |      6MiB / 11019MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
|    1   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
|    2   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
|    3   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
|    4   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
|    5   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
|    6   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
|    7   N/A  N/A     16810      G   /usr/lib/xorg/Xorg                  4MiB |
+-----------------------------------------------------------------------------+

2.2 安装CUDA

访问CUDA 11.0 Update 1的下载网址，选择适合自己操作系统版本的文件下载，然后打开终端依次输入以下命令：

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu1804/x86_64/cuda-ubuntu1804.pin
sudo mv cuda-ubuntu1804.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.0.3/local_installers/cuda-repo-ubuntu1804-11-0-local_11.0.3-450.51.06-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu1804-11-0-local_11.0.3-450.51.06-1_amd64.deb
sudo apt-key add /var/cuda-repo-ubuntu1804-11-0-local/7fa2af80.pub
sudo apt-get update
sudo apt-get install cuda

此时CUDA以及安装完毕，在终端输入cd /usr/local/cuda-11.0/bin && ./nvcc -V命令得到如下示例输出则表明安装成功

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2020 NVIDIA Corporation
Built on Wed_Jul_22_19:09:09_PDT_2020
Cuda compilation tools, release 11.0, V11.0.221
Build cuda_11.0_bu.TC445_37.28845127_0

但是，为了方便下面深度学习软件的使用，还要把相关路径加入PATH。打开文件~/.profile（若不存在则新建），在文档末尾添加以下内容：

# set PATH for cuda 11.0 installation
if [ -d "/usr/local/cuda-11.0/bin/" ]; then
    export PATH=/usr/local/cuda-11.0/bin${PATH:+:${PATH}}
    export LD_LIBRARY_PATH=/usr/local/cuda-11.0/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
fi

重启计算机即可使环境变量生效

2.3 安装cuDNN

打开cuDNN的下载网址，然后点击cuDNN v8.0.4 (September 28th, 2020), for CUDA 11.0并根据自己的操作系统选择合适的版本。其中，cuDNN Runtime Library和cuDNN Developer Library是必须要下载的，cuDNN Code Samples and User Guide为可选项目。然后依次安装前面下载的3个文件：

sudo dpkg -i libcudnn8_8.0.4.30-1+cuda11.0_amd64.deb
sudo dpkg -i libcudnn8-dev_8.0.4.30-1+cuda11.0_amd64.deb
sudo dpkg -i libcudnn8-samples_8.0.4.30-1+cuda11.0_amd64.deb

此时，显卡已经配置完成

3. python3软件环境配置

创建基于python3的虚拟环境，然后安装深度学习需要用到的库：

# 安装python3开发库
sudo apt-get install python3-pip python3-venv
# 创建名称为myvenv的虚拟环境
python3 -m venv myvenv
# 激活myvenv虚拟环境
source myvenv/bin/activate
# pip安装深度学习相关第三方库
pip3 install tf-nightly -i https://pypi.python.org/simple

注意：

确保下载的是tf-nightly-2.5.0.dev20201209（目前的最新版）
使用pypi的镜像源可能导致版本不是最新的
tensorflow包目前还不支持CUDA 11.0，它最高支持CUDA 10.1
如果安装tensorflow遇到报错launchpadlib 1.10.6 requires testresources, which is not installed，执行以下代码：
```
# sudo apt install python3-widgetsnbextension
sudo apt install python3-testresources
```
4. Ubuntu 20.04系统注意事项
不同之处：CUDA版本号不变，但选择用于Ubuntu 20.04系统
不同之处：cuDNN版本选择8.0.5且用于Ubuntu 20.04系统
其他步骤同Ubuntu 18.04

ZFB