先森是個網速強迫癥，閑著沒事就喜歡研究光貓、路由器那一套，還希望在任何地方只要有網就能控制家里的設備。可惜先森的電信光貓是大內網，雙層NAT，沒有ipv4公網IP，結果偶然先森發現家里設備都可以直連ipv6了，而且分配到設備的ipv6地址還是公網的，先森就想著使用ipv6來突破網絡限制。結果，運營商為了保證安全，默認是限制了ipv6入訪的。由于家里寬帶不是先森辦理的，先森不太方便直接將光貓改為橋接的模式，所幸是先森拿到了光貓超管密碼，還可以通過shell的方式去操作iptables調整入訪策略。但光貓的iptables策略特別多，先森也得為安全考慮，不能直接全放通，所以得進行測試。結果問題來了，光貓的shell中沒有tcpdump的命令，沒法抓包，讓先森調試的心態爆炸，當時各種搜索都沒有找到光貓抓包的方法。由于ipv6的支持在先森身邊依舊不是那么普遍，像先森公司的商纖就沒有分配ipv6（不知道是不是公司IT把ipv6分配給關了），騰訊云CDN回源也不支持ipv6源站，所以當時先森一條條iptables策略調試的差不多之后，也就擱置了。但是沒法運行tcpdump抓包這個事一直讓先森如鯁在喉，然后最近突然知道了“交叉編譯”這么一個玩意兒，讓先森沉寂的心死灰復燃。交叉編譯：交叉編譯是在一個平臺上生成另一個平臺上的可執行代碼。如在x86平臺上編譯ARM平臺上運行的可執行代碼。先森在折騰的過程中遇到很多坑，在這里記錄一下。配置情況光貓：華為HS8145V，已經開啟telnet；交叉編譯主機：CentOS 7.9 x86_64，其實應該用Ubuntu來交叉編譯更方便，但是先森對這系統不熟。交叉編譯器的尋找歷程確認平臺在網上搜交叉編譯tcpdump的教程，一開始根本沒注意到編譯器，然后直接上手編譯，這就跟平時正常編譯一樣，編譯出來的是gcc編譯的，根本不是交叉編譯的。網上教程說要確認目標機是arm-linux還是mips-linux什么的，先森看光貓通過telnet登錄的時候有什么BusyBox、Dopra Linux，搜了一圈也沒能明確搜出來華為光貓的系統屬于什么，只是搜到有說華為光貓使用的是海思芯片，屬于arm架構的，最后是`uname -m`確認到華為這個是arm平臺。選擇arm-linux-gcc確認了光貓HS8145V是arm后，目標就很明確了，下載一下交叉編譯器，然后開整。但先森萬萬沒想到，arm-linux-gcc的下載鏈接那么難找，好不容易找到了，結果又發現arm-linux-gcc有很多版本，還要根據光貓arm的情況來選。arm-linux-gcc的不同版本那么光貓是什么情況呢，可以在命令行進行查看：WAP(Dopra Linux) # uname -aLinux EchoLife_WAP 3.10.53-HULK2 #1 SMP Fri Oct 20 01:08:58 CST 2017 armv7l GNU/Linux或者直接WAP(Dopra Linux) # uname -marmv7l實際在搜交叉編譯的教程時，要不就是單純的arm-linux-gcc，不然就是gcc-arm-linux-gnueabi和gcc-arm-linux-gnueabihf，所以就搜armv7l屬于哪種。百度了半天，好像都說armV7屬于armhf，想來armv7l應該也是，但實測不行，還得是armel。具體可以了解一下：arm-linux-gnueabi-gcc 和 arm-linux-gnueabihf-gcc:兩個交叉編譯器分別適用于 armel 和 armhf 兩個不同的架構，armel 和 armhf 這兩種架構在對待浮點運算采取了不同的策略（有 fpu 的 arm 才能支持這兩種浮點運算策略）。其實這兩個交叉編譯器只不過是 gcc 的選項 -mfloat-abi 的默認值不同。gcc 的選項 -mfloat-abi 有三種值 soft、softfp、hard（其中后兩者都要求arm 里有 fpu 浮點運算單元，soft 與后兩者是兼容的，但 softfp 和 hard 兩種模式互不兼容）：soft： 不用fpu進行浮點計算，即使有fpu浮點運算單元也不用，而是使用軟件模式。softfp： armel架構（對應的編譯器為 arm-linux-gnueabi-gcc ）采用的默認值，用fpu計算，但是傳參數用普通寄存器傳，這樣中斷的時候，只需要保存普通寄存器，中斷負荷小，但是參數需要轉換成浮點的再計算。hard： armhf架構（對應的編譯器 arm-linux-gnueabihf-gcc ）采用的默認值，用fpu計算，傳參數也用fpu中的浮點寄存器傳，省去了轉換，性能最好，但是中斷負荷高。下載arm-linux-gcc由于先森arm-linux-gcc的下載地址時比較痛苦，有點難找，所以顯示把各種版本的鏈接在這里列一下。下載單純的arm-linux-gcc，版本較老，4.4.3貌似是2010年發布的了資源地址：http://www.friendlyelec.com.cn/download.asp在頁面中可以找到下載地址：http://112.124.9.243/arm9net/mini2440/linux/arm-linux-gcc-4.4.3-20100728.tar.gz下載arm-linux-gnueabi或arm-linux-gnueabihf，資源下載列表頁是先選gcc版本，再選編譯器架構，最后還要選架構運行平臺，這里先森選的是最新版本latest-7中的arm-linux-gnueabi的64位系統版本。由于這個頁面加載較慢或者未free無法打開，所以先森把兩個版本的下載地址都貼出來：資源列表頁：http://releases.linaro.org/components/toolchain/binaries/armel架構：http://124.156.146.205/gcc-linaro-7.5.0-2019.12-x86_64_arm-linux-gnueabihf.tar.xzarmhf架構：http://124.156.146.205/gcc-linaro-7.5.0-2019.12-x86_64_arm-linux-gnueabi.tar.xz配置arm-linux-gcc# 下載后解壓tar -xJvf gcc-linaro-7.5.0-2019.12-x86_64_arm-linux-gnueabi.tar.xz# 可選，先森是將其移動重命名了一下mv gcc-linaro-7.5.0-2019.12-x86_64_arm-linux-gnueabi /usr/local/arm# 可選，但建議操作cd /usr/local/arm/binln -s arm-linux-gnueabi-gcc arm-linux-gcc建議增加環境變量，不然編譯的時候./configure的參數需要加上'CC=/usr/local/arm/bin'echo 'export PATH=$PATH:/usr/local/arm/bin' >> /etc/profilesource /etc/profile添加環境變量后，需要執行`arm-linux-gcc -v`測試一下arm-linux-gcc是否存在問題，可能會遇到下面的問題：bin/.arm-none-linux-gnueabi-gcc: /lib/ld-linux.so.2: bad ELF interpreter: No such file or directory# 解決方法：yum install -y ld-linux.so.2到這里終于把arm-linux-gcc部分弄完了，下面進入編譯環節。交叉編譯libpcap和tcpdump由于tcpdump需要依賴libpcap，所以需要下載這個包，分別編譯，先森下載的最新版本：https://www.tcpdump.org/release/tcpdump-4.99.1.tar.gzhttps://www.tcpdump.org/release/libpcap-1.10.1.tar.gz交叉編譯libpcap前面準備工作做好了，libpcap還是很好編譯的。下載解壓后，進入libpcap目錄中：./configure --prefix=/tmp/armroot --host=arm-linux --target=arm-linux --with-pcap=linuxmakemake install# –prefix指定目標文件生成路徑（makefile里面的target存放路徑）；# –host、–target都寫成目標平臺即可，例如：arm-liux或mips-linux，光貓是arm的，所以寫arm-linux# --with-pcap將告訴編譯器我們正在編譯哪種數據包捕獲類型# 如果前面沒有加arm-linux-gcc的環境變量，那么需要加上CC='/usr/local/arm/bin'編譯鏈路徑編譯時遇到的問題：# 問題1：configure: error: Neither flex nor lex was found.# 解決：yum install -y flex bison# 問題2：/usr/local/arm/bin/../libexec/gcc/arm-none-linux-gnueabi/4.4.3/cc1: error while loading shared libraries: libstdc++.so.6: cannot open shared object file: No such file or directory# 解決：貌似和系統是64位，gcc是32位有關，安裝32位的庫即可yum install -y libstdc++.i686# 問題3：/usr/local/arm/bin/../lib/gcc/arm-none-linux-gnueabi/4.4.3/../../../../arm-none-linux-gnueabi/bin/as: error while loading shared libraries: libz.so.1: cannot open shared object file: No such file or directory# 解決：yum -y install zlib.i686交叉編譯tcpdump實際測試，tcpdump的交叉編譯，必須是編譯靜態鏈接，編譯器默認是動態鏈接庫。由于光貓的根路徑是只讀的，而lib庫就在系統路徑中，無法在光貓添加確實的動態鏈接庫文件，所以只能選擇靜態交叉編譯這條路了。解壓tcpdump包后，進入目錄進行操作：# 指定靜態交叉編譯export CFLAGS=-staticexport CPPFLAGS=-staticexport LDFLAGS=-staticexport ac_cv_linux_vers=3./configure --prefix=/tmp/armroot --host=arm-linux --target=arm-linuxmakemake install# 編譯好的文件就是當前目錄下的tcpdump文件，也可以去--prefix執行的目錄的bin或sbin目錄找到tcpdump編譯tcpdump時遇到的問題：# 問題1：configure: error: cannot determine linux version when cross-compiling# 解決辦法：我們需要找出我們的 Ubuntu（或 Linux）操作系統內核正在運行的主要版本。執行 uname -a 命令。# 注意：您的輸出可能會有所不同，但請查找類似于版本號的內容。下面，先森的主機是 3.10.0-1160.45.1.el7.x86_64，我們抓住第一個“3”。uname -aLinux VM-0-4-centos 3.10.0-1160.45.1.el7.x86_64 #1 SMP Wed Oct 13 17:20:51 UTC 2021 x86_64 x86_64 x86_64 GNU/Linux# 然后將ac_cv_linux_vers 變量設置為上一個命令中發布的內核版本的主要編號，再嘗試編譯export ac_cv_linux_vers=3# 問題2：/mnt/jffs2/tcpdump: can't load library 'libc.so.6'# 解決：缺的動態鏈接庫又沒法塞進光貓的系統，所以需要靜態交叉編譯# 問題3：靜態編譯會遇到此類警告tcpdump.c:(.text+0x5a6): warning: Using 'initgroups' in statically linked applications requires at runtime the shared libraries from the glibc version used for linkin# 解決：正常現象，只是警告，不影響使用建議操作剝離符號信息，使二進制文件更小，這些符號僅在調試應用程序時有用，而光貓的存儲容量比較小。[root@VM-0-4-centos bin]# ll -htotal 14M-rwxr-xr-x 1 root root 1.9K Apr  2 16:32 pcap-config-rwxr-xr-x 1 root root 6.9M Apr  2 16:33 tcpdump-rwxr-xr-x 1 root root 6.9M Apr  2 16:33 tcpdump.4.99.1[root@VM-0-4-centos bin]# arm-linux-gnueabi-strip tcpdump[root@VM-0-4-centos bin]# ll -htotal 8.4M-rwxr-xr-x 1 root root 1.9K Apr  2 16:32 pcap-config-rwxr-xr-x 1 root root 1.5M Apr  2 16:34 tcpdump-rwxr-xr-x 1 root root 6.9M Apr  2 16:33 tcpdump.4.99.1拿到光貓上去運行折騰了這么多，最終能在光貓上運行才是第一目標。先森是直接把tcpdump放到服務器的web目錄中，然后光貓直接wget下載到光貓中的。先森在測試交叉編譯的運行中，遇到了很多錯誤，總結下來是以下4種：# 第一種報錯WAP(Dopra Linux) # ./tcpdump.Ullegal Illegal instruction# 第二種報錯WAP(Dopra Linux) # ./tcpdump.libc /mnt/jffs2/tcpdump.libc: can't load library 'libc.so.6'# 第三種報錯WAP(Dopra Linux) # ./tcpdump.0\:08 /mnt/jffs2/tcpdump.0:08: can't resolve symbol '__libc_start_main'# 第四種報錯WAP(Dopra Linux) # ./android-tcpdump android-tcpdump: eth0: You don't have permission to capture on that device(socket: Operation not permitted)事實上，除了第四種，前三種都是編譯有問題的版本，第四種只是提醒沒有權限執行。沒有權限的情況，經過一番搜索，先森找到了再次提權的方法（本來以為shell提權已經是終點了），二次提權只需要su切到root，密碼：admin，可以通過whoami查看當前角色。二次提權后執行成功寫在最后本來先森是想在文章最后把自己編譯好的文件分享出來的，結果在完善本文的時候搜到了一篇Android官方寫的tcpdump靜態交叉編譯的文檔，其中有詳細的靜態編譯步驟，也有官方編譯好的文件下載地址。先森試了一下，直接下載Android官方編譯的tcpdump也是能夠在光貓運行的，如果先森一開始就搜到了這邊文檔或資源。。。。文檔地址：https://www.androidtcpdump.com/android-tcpdump/compile直接下載：https://www.androidtcpdump.com/android-tcpdump/downloads

今天打算在服務器上部署一個zabbix，做一些日常監控，結果在配置網頁的時候，遇到了一點問題。zabbix安裝缺少ldap擴展既然缺少，那就安裝咯（當然，ldap擴展不是必須的，也可以忽略它繼續下一步）。安裝ldap擴展在網上看到的教程都是先編譯php，再安裝ldap擴展。可是先森這邊已經使用寶塔安裝好了php，所以看他們的教程看的暈暈乎乎的，不過所幸還是折騰好了。第一步，下載php源碼寶塔的php擴展文件夾里是沒有ldap的，所以我們需要去下載一個php完整的源碼包，將里面的ldap盤出來。下載源碼包的時候，需要與你寶塔已經安裝的大版本匹配。先森安裝的是7.2的php，所以要去官網下載7.2版本的源碼，小版本就不用管了，先森下載的是7.2.25版本。在哪里下載？如果是7.2版本及更新的版本，可以直接在https://www.php.net/downloads.php如果是7.2版本以前的老版本，那就在舊檔案里面下載吧：https://www.php.net/releases/電腦下載可能會比較慢，畢竟源站在國外，一般來說用服務器下載會快一些。第二步，編譯ldap下載完畢php源碼包之后，解壓而入之，擴展文件夾是'ext'，再入之，可見'ldap'。cd ./php-7.2.25/ext/ldap/進入ldap源文件目錄然后就可以開始編譯了。/www/server/php/72/bin/phpize  #準備擴展庫的編譯環境./configure --with-php-config=/www/server/php/72/bin/php-config #編譯配置make && make install  #編譯安裝ls /www/server/php/72/lib/php/extensions/no-debug-non-zts-20170718/  # 查看編譯好的ldap.so文件編譯與查看成果第三步，修改配置文件下面需要把ldap加到php.ini里面，添加的方式有兩種。php --ini #查看php.ini的位置：Configuration File (php.ini) Path: /www/server/php/72/etcLoaded Configuration File:         /www/server/php/72/etc/php.ini第一種，取消php.ini原本的注釋將';extension=ldap'前面的引號刪除后重啟php-fpm即可。刪除注釋第二種，在末尾新增配置[ldap]extension = ldap.so新增配置第四步，重啟php添加配置后重啟php-fpm即可，可以命令行重啟，也可以在寶塔界面。service php-fpm-72 restart  #重啟php重啟后再在zabbix界面查看就可以發現所有檢查都通過了。檢測通過

昨天先森發布了“CentOS下inotify+rsync實現文件實時同步”,inotify+rsync實時同步的方案是用shell在后臺常駐來實現實時同步，沒有守護進程，感覺不是很靠譜，如果腳本突然掛了，實時同步豈不是GG了？所以先森在實現了inotify+rsync后還是再找其他的解決方案。其實在找到lsyncd之前，先森先找到了sersync這個工具，但是好像這個工具很久沒有更新了，所以雖然也有較多好評，但是先森目前還是先研究lsyncd了。當然，無論是sersync還是lsyncd，其實都是對inotify這個內核中的文件事件監控系統進行了封裝，類似inotify-tools，給我們提供的是封裝好了的inotify+rsync工具。sersync是用C寫的，lsyncd是使用lua語言封裝的。搭建lsyncd實時同步lsyncdlsyncd項目也托管在GitHub上面，具體地址是https://github.com/axkibe/lsyncd，一會兒若是要編譯安裝也需要去這個地方。上文也說過，lsyncd是使用lua語言封裝的，所以初識lsyncd的配置文件時，還是有點不習慣，但是用久應該就還好了。lsyncd不僅僅是實現兩臺服務器的同步的，它還能夠在一臺服務器內對兩個文件夾進行同步，這里可以是cp，也可以是rsync。兩臺或多臺服務器間可以是rsync，也可以是rsyncssh。本文主要講的是兩臺服務器間的rsync。lsyncd可以配置inotify檢測到文件變動后多少秒才執行同步，也就是時間延遲。也可以配置文件變動個數達到多少個后立即執行同步，無論有沒有到達前面的時間延遲的要求，這就是累計觸發事件次數。這兩個配置可以減少rsync的同步，避免海量文件同步時rsync的頻繁發送文件對比列表。lsyncd安裝lsyncd的安裝方式有兩種，yum安裝和編譯安裝。yum安裝：yum安裝也有兩種方式，一個是阿里云的鏡像源，一個是fedoraproject的鏡像源。阿里云：#CentOS 7wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo#CentOS 6wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo#yum 安裝yum install lsyncd -yfedoraproject：#只找到CentOS 6的rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpmyum install lsyncd -y編譯安裝：1、首先還是去上文提到的GitHub上下載項目，通過下面的下載就是最新的了：wget https://github.com/axkibe/lsyncd/archive/master.zip2、下載了軟件包，先別急著安裝，上文提到了幾次，lsyncd是用lua語言封裝的，所以還需要安裝lua環境。另外lsyncd不是使用的make，而是cmake，所以也需要安裝cmake。yum install -y lua lua-devel asciidoc cmake3、下載了軟件包，裝好了環境依賴，下面就是編譯安裝：unzip lsyncd-master.zipcd lsyncd-mastercmake -DCMAKE_INSTALL_PREFIX=/usr/local/lsyncdmake && make install安裝好了的lsyncd在/usr/local/lsyncd下。配置文件、日志文件夾等需要我們自己定義與創建。4、配置文件。先森的配置文件是用于兩臺服務器間實時同步的，使用的是rsync模式。lsyncd的配置文件其實有點類似nginx，如nginx的server可以多定義互不沖突一樣，lsyncd也可以多個定義。settings {    logfile ="/usr/local/lsyncd/logs/lsyncd.log",    statusFile ="/usr/local/lsyncd/logs/lsyncd.status",    inotifyMode = "CloseWrite or Modify",    maxProcesses = 15,    }sync {    default.rsync,    source    = "/web/data/ftp",    target    = "user@172.17.8.16::datahome",    delete="running",    exclude = { ".*", ".tmp","*.swp","*.swx" },    delay = 0,    rsync     = {        binary = "/usr/bin/rsync",        archive = true,        compress = true,        verbose   = true,        password_file = "/etc/rsyncd/rsync.passwd",        }    }注釋版：settings {    --定義日志文件    logfile ="/usr/local/lsyncd/logs/lsyncd.log",    --定義狀態文件    statusFile ="/usr/local/lsyncd/logs/lsyncd.status",    --指定inotify監控的事件，默認是CloseWrite，還可以是Modify或CloseWrite or Modify    --這個就是使用的inotify能監控的事件    inotifyMode = "CloseWrite or Modify",    --同步進程的最大個數。假如同時有20個文件需要同步，而maxProcesses = 8，則最大能看到有8個rysnc進程    maxProcesses = 15,    --（這個配置先森沒有使用）累計到多少所監控的事件激活一次同步，即使后面的delay延遲時間還未到。    --maxDelays=10，    }sync {    --使用rsync通過daemon方式連接遠程rsyncd進程；    default.rsync,    --同步的源目錄，使用絕對路徑。    source    = "/web/data/ftp",    --定義目的地址，對應不同的模式有不同的寫法。這里是遠程rsync，使用“用戶名@ip::模塊名”寫法。    target    = "user@172.17.8.16::datahome",    --是否同步刪除，除了running選項，還有true、false和startup，這個配置先森不是很明白，大概是true是完全同步刪除，false是不允許刪除，startup和running要難理解一些\    --先森的理解是，startup是僅在啟動時將源目錄和目的目錄來一次完全同步，lsyncd運行時的源目錄的刪除文件在目的目錄中不做刪除操作\    --running是啟動時不對源、目的目錄進行完全同步，lsyncd運行時源目錄刪除的文件，目的目錄也會被刪除。    delete="running",    --排除的文件，這里排除了一些隱藏文件，和文件打開是時的臨時文件    exclude = { ".*", ".tmp","*.swp","*.swx" },    -- 累計事件，等待rsync同步延時時間，默認15秒。先森配置的是0，也就是實時同步。    delay = 0,    rsync     = {        --本地rsync命令路徑        binary = "/usr/bin/rsync",        archive = true,        compress = true,        verbose   = true,        --遠程rsyncd的密碼        password_file = "/etc/rsyncd/rsync.passwd",        }    }5、啟動lsyncd/usr/local/lsyncd/bin/lsyncd -log Exec /usr/local/lsyncd/lsyncd.conf也可以自己創建一個啟動腳本，腳本內容如下，是先森從yum安裝的lsyncd拷貝的，一樣的可以使用。只是用之前，需要對lsyncd守護命令與配置文件先做個軟連接，免得需要修改啟動腳本：ln -s /usr/local/lsyncd/bin/lsyncd /usr/bin/lsyncdln -s /usr/local/lsyncd/lsyncd.conf /etc/lsyncd.conf啟動腳本：#!/bin/bash## chkconfig: - 85 15# description: Lightweight inotify based sync daemon## processname:  lsyncd# config:       /etc/lsyncd.conf# config:       /etc/sysconfig/lsyncd# pidfile:      /var/run/lsyncd.pid# Source function library. /etc/init.d/functions# Source networking configuration.. /etc/sysconfig/network# Check that networking is up.[ "$NETWORKING" = "no" ] && exit 0LSYNCD_OPTIONS="-pidfile /var/run/lsyncd.pid /etc/lsyncd.conf"if [ -e /etc/sysconfig/lsyncd ]; then  . /etc/sysconfig/lsyncdfiRETVAL=0prog="lsyncd"thelock=/var/lock/subsys/lsyncdstart() { [ -f /etc/lsyncd.conf ] || exit 6        echo -n $"Starting $prog: "        if [ $UID -ne 0 ]; then                RETVAL=1                failure        else                daemon ${LSYNCD_USER:+--user ${LSYNCD_USER}} /usr/bin/lsyncd $LSYNCD_OPTIONS                RETVAL=$?                [ $RETVAL -eq 0 ] && touch $thelock        fi;        echo        return $RETVAL}stop() {        echo -n $"Stopping $prog: "        if [ $UID -ne 0 ]; then                RETVAL=1                failure        else                killproc lsyncd                RETVAL=$?                [ $RETVAL -eq 0 ] && rm -f $thelock        fi;        echo        return $RETVAL}reload(){        echo -n $"Reloading $prog: "        killproc lsyncd -HUP        RETVAL=$?        echo        return $RETVAL}restart(){        stop        start}condrestart(){    [ -e $thelock ] && restart    return 0}case "$1" in  start)        start        ;;  stop)        stop        ;;  restart)        restart        ;;  reload)        reload        ;;  condrestart)        condrestart        ;;  status)        status lsyncd        RETVAL=$?        ;;  *)        echo $"Usage: $0 {start|stop|status|restart|condrestart|reload}"        RETVAL=1esacexit $RETVAL優化因為lsyncd其實也是用到了inotify，所以和inotify+rsync方案一樣，我們還是需要對服務器的inotify內核配置進行優化。inotify檢查磁盤變動是有隊列等值的配置的，inotify默認內核參數值太小，會導致實際檢測的時候報錯。查看系統默認參數值sysctl -a | grep max_queued_eventssysctl -a | grep max_user_watchessysctl -a | grep max_user_instances臨時修改sysctl -w fs.inotify.max_queued_events="99999999"sysctl -w fs.inotify.max_user_watches="99999999"sysctl -w fs.inotify.max_user_instances="65535"固定修改：vim /etc/sysctl.conf #添加以下代碼fs.inotify.max_queued_events=99999999fs.inotify.max_user_watches=99999999fs.inotify.max_user_instances=65535其他官方配置文件wiki：https://axkibe.github.io/lsyncd/manual/config/file/

rsync僅同步差異文件，所以傳輸效率較高，所以先森在項目中負載的資源服務器做了rsync同步，確保通過負載IP都能訪問到相同的文件，使用crontab計劃任務每1分鐘執行一次同步。計劃任務最小時間刻度為1分鐘（雖然可以用數學方法再調小，但是運行密度大了對服務器會造成負荷），也就是上傳一張圖片，最長可能要等1分鐘后才能在其它服務器上訪問，如果同步目錄下的文件基數是百萬級的，那么時間可能更久。這種方案先森曾發過：CentOS下rsync服務器安裝與配置-數據同步|文件增量備份inotify+rsync實時同步rsync的不足rsync具有安全性高、備份迅速、支持增量備份等優點，通過rsync可以解決實時性不高的數據備份需求，例如定期數據庫備份。但隨著業務規模的擴大，業務需求的增加，rsync的缺點也暴露出來了：1、當文件數量大到百萬級別，rsync僅差異掃描就是一項非常耗時的工作；2、rsync自身不能實時的檢測并同步數據，它總是被動的通過各種方式去觸發同步。inotify與inotify-tools注：inotify是一個 Linux 內核特性，inotify-tools是為linux下inotify文件監控工具提供的一套C的開發接口庫函數。inotify：inotify是一種強大的、細粒度的、異步的文件系統事件監控機制，Linux內核從2.6.13開始引入，允許監控程序打開一個獨立文件描述符，并針對事件集監控一個或者多個文件，例如打開、關閉、移動/重命名、刪除、創建或者改變屬性。CentOS 6是已經支持的了，判斷服務器是否支持inotify，只需要執行下面命令，查看是否有結果即可。ll /proc/sys/fs/inotifyinotify-tools：inotify-tools是為linux下inotify文件監控工具提供的一套C的開發接口庫函數，同時還提供了一系列的命令行工具，這些工具可以用來監控文件系統的事件。inotify-tools是用c編寫的，除了要求內核支持inotify外，不依賴于其他。inotify-tools提供兩種工具，一是inotifywait，它是用來監控文件或目錄的變化，二是inotifywatch，它是用來統計文件系統訪問的次數。我們主要用到的是inotifywait工具。inotify-tools安裝inotify-tools先森找到了兩種安裝方式，rpm安裝和編譯安裝，先森用的是編譯安裝。rpm安裝wget http://dl.fedoraproject.org/pub/epel/6/x86_64/Packages/i/inotify-tools-3.14-1.el6.x86_64.rpmrpm -vhi inotify-tools-3.14-1.el6.x86_64.rpm編譯安裝編譯前請確保服務器已安裝編譯組件：yum install -y make  gcc gcc-c++這個項目是發布在github上的，下載也是在github上下載。但是先森在項目首頁下載下來的無法編譯安裝，所以安裝的還是3.1.4版本的。github項目地址：https://github.com/rvoicilas/inotify-tools/編譯安裝：wget http://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gztar zxvf inotify-tools-3.14.tar.gzcd inotify-tools-3.14./configure    #或./configure --prefix=/usr/local/inotifymakemake install安裝后命令在/usr/local/bin/目錄下。查看效果：/usr/local/bin/inotifywait -mrq --format '%Xe %w%f' -e modify,create,delete,attrib /data/不停止上面的命令，新建終端連接然后進入/data/文件夾進行各類操作，可以看下上面輸出的結果。rsync組合inotify-tools完成實時同步inotify的作用，是讓我們知道監控的文件夾中有變動，我們可以根據inotify輸出內容，去觸發rsync同步。提示：以往使用crontab觸發rsync時，我們是將rsync服務端搭建在主服務器，其他服務器去主服務器同步文件。而inotify+rsync的方式，是將rsync服務端搭建在從服務器，主服務器推送文件到從服務器，所以從服務器上的rsync配置中“read only”要配置為no，也就是“read only = no”。inotify-tools只是個工具，并不是軟件，所以要與rsync配合就需要我們自己寫shell腳本，并讓腳本一直運行在后臺。先森通過實際測試，整理出了兩個腳本，也就是兩種方案。方案1：#!/bin/bashsource /etc/profilesrc=/data/                           # 需要同步的源路徑des=datahome                             # 目標服務器上 rsync 模塊名rsync_passwd_file=/etc/rsyncd/rsync.passwd            # rsync驗證的密碼文件ipaddr=(10.0.0.1)                 # 目標服務器,多個目標服務器以空格分開user=user                            # rsync --daemon定義的驗證用戶名logs=/var/log/inotify_rsync.logs     # 日志inotify_rsync(){cd ${src}                              # 此方法中，由于rsync同步的特性，這里必須要先cd到源目錄，inotify再監聽 ./ 才能rsync同步后目錄結構一致，有興趣的同學可以進行各種嘗試觀看其效果/usr/local/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move --exclude=".*.swp" ./ | while read file         # 把監控到有發生更改的"文件路徑列表"循環do        INO_EVENT=$(echo $file | awk '{print $1}')      # 把inotify輸出切割 把事件類型部分賦值給INO_EVENT        INO_FILE=$(echo $file | awk '{print $2}')       # 把inotify輸出切割 把文件路徑部分賦值給INO_FILE        echo "-------------------------------$(date)------------------------------------"        echo $file        #增加、修改、寫入完成、移動進事件        #增、改放在同一個判斷，因為他們都肯定是針對文件的操作，即使是新建目錄，要同步的也只是一個空目錄，不會影響速度。        if [[ $INO_EVENT =~ 'CREATE' ]] || [[ $INO_EVENT =~ 'MODIFY' ]] || [[ $INO_EVENT =~ 'CLOSE_WRITE' ]] || [[ $INO_EVENT =~ 'MOVED_TO' ]]         # 判斷事件類型        then                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO' for ip in ${ipaddr[@]} do                    rsync -avzcR --password-file=${rsync_passwd_file} --exclude="*.swp" --exclude="*.swx"  $(dirname ${INO_FILE}) ${user}@${ip}::${des} >> $logs        # INO_FILE變量代表路徑哦  -c校驗文件內容 done                 #仔細看 上面的rsync同步命令 源是用了$(dirname ${INO_FILE})變量 即每次只針對性的同步發生改變的文件的目錄(只同步目標文件的方法在生產環境的某些極端環境下會漏文件 現在可以在不漏文件下也有不錯的速度 做到平衡) 然后用-R參數把源的目錄結構遞歸到目標后面 保證目錄結構一致性        fi        #刪除、移動出事件        if [[ $INO_EVENT =~ 'DELETE' ]] || [[ $INO_EVENT =~ 'MOVED_FROM' ]]        then                echo 'DELETE or MOVED_FROM'                echo 'CREATE or MODIFY or CLOSE_WRITE or MOVED_TO'                for ip in ${ipaddr[@]}                do                    rsync -avzR --delete --password-file=${rsync_passwd_file} --exclude="*.swp" --exclude="*.swx"  $(dirname ${INO_FILE}) ${user}@${ip}::${des} >> $logs  done                #看rsync命令 如果直接同步已刪除的路徑${INO_FILE}會報no such or directory錯誤 所以這里同步的源是被刪文件或目錄的上一級路徑，并加上--delete來刪除目標上有而源中沒有的文件，這里不能做到指定文件刪除，如果刪除的路徑越靠近根，則同步的目錄月多，同步刪除的操作就越花時間。這里有更好方法的同學，歡迎交流。        fi        #修改屬性事件 指 touch chgrp chmod chown等操作        if [[ $INO_EVENT =~ 'ATTRIB' ]]        then                echo 'ATTRIB'                if [ ! -d "$INO_FILE" ]                 # 如果修改屬性的是目錄 則不同步，因為同步目錄會發生遞歸掃描，等此目錄下的文件發生同步時，rsync會順帶更新此目錄。                then                for ip in ${ipaddr[@]}                do                        rsync -avzcR --password-file=${rsync_passwd_file} --exclude="*.swp" --exclude="*.swx"  $(dirname ${INO_FILE}) ${user}@${ip}::${des} >> $logs  done                fi        fidoneinotify_rsync >> $logs 2>&1}inotify_rsync >> $logs 2>&1將上面內容保存為inotify_rsync_A.sh，執行：inotify_rsync_A.sh &或使用screen后臺啟動。另外，為避免意外遺漏文件，最好在定時任務中每隔兩個小時執行一次全目錄同步。這個方案的優點：利用inotify讓rsync每次僅同步有更改的文件，減少遞歸操作。缺點：經過先森實際運用發現，inotify的特性，每次創建文件會產生多條輸出，而這個腳本inotify的每條輸出都會觸發一次rsync，這樣會對服務器資源產生浪費。方案2：為了解決方案1的問題，先森找到了另一個腳本，對方案1的腳本進行了修改：#!/bin/bashsource /etc/profilesrc=/data/                           # 需要同步的源路徑des=datahome                             # 目標服務器上 rsync 模塊名rsync_passwd_file=/etc/rsyncd/rsync.passwd            # rsync驗證的密碼文件ipaddr=(10.0.0.1)                 # 目標服務器,多個目標服務器以空格分開user=user                            # rsync --daemon定義的驗證用戶名inlogs=/var/log/inotifywait.logslogs=/var/log/inotify_rsync.logserrlog=/var/log/inotify_rsync.err.logscd ${src}                              # 此方法中，由于rsync同步的特性，這里必須要先cd到源目錄，inotify再監聽 ./ 才能rsync同步后目錄結構一致，有興趣的同學可以進行各種嘗試觀看其效果/usr/local/bin/inotifywait -mrq --format  '%Xe %w%f' -e modify,create,delete,attrib,close_write,move --exclude=".*.swp" ./ >> $inlogs &while true;do     if [ -s ${inlogs} ];then        grep -i -E "delete|moved_from" ${inlogs} >> /var/log/inotify_away.log for ip in ${ipaddr[@]} do rsync -avzcR --password-file=${rsync_passwd_file} --exclude="*.swp" --exclude="*.swx" ${src} ${user}@${ip}::${des} >> $logs RETVAL=$? done #同步失敗后的輸出日志        if [ $RETVAL -ne 0 ];then           echo "${src} sync to ${ipaddr} failed at `date +"%F %T"`,please check it by manual" >> $errlog        fi        cat /dev/null > $inlogs for ip in ${ipaddr[@]} do rsync -avzcR --password-file=${rsync_passwd_file} --exclude="*.swp" --exclude="*.swx" ${src} ${user}@${ip}::${des} >> $logs done    else        sleep 1    fidone這個腳本是將inotify的檢測內容輸出到文件/var/log/inotifywait.logs，腳本判斷這個文件是否為空，非空則表明有變動，那么就來一次完整的同步。如果文件為空則睡眠1秒。將上面內容保存為inotify_rsync_B.sh，執行：inotify_rsync_B.sh &這個方案的優點：不會根據inotify輸出重復觸發rsync同步。缺點：每次都是rsync完整同步，如果文件數量較大則對比時間會比較長。inotify優化inotify檢查磁盤變動是有隊列等值的配置的，inotify默認內核參數值太小，會導致實際檢測的時候報錯。查看系統默認參數值sysctl -a | grep max_queued_eventssysctl -a | grep max_user_watchessysctl -a | grep max_user_instances臨時修改sysctl -w fs.inotify.max_queued_events="99999999"sysctl -w fs.inotify.max_user_watches="99999999"sysctl -w fs.inotify.max_user_instances="65535"固定修改：vim /etc/sysctl.conf #添加以下代碼fs.inotify.max_queued_events=99999999fs.inotify.max_user_watches=99999999fs.inotify.max_user_instances=65535

最新在新建一個博客，新的博客是建在云服務器的，完全自主，不得不說感覺非常好，比起虛擬主機可操作性強太多了。因為可操作性強，所以想把該做的都做好，比如備份。受張戈博客影響，看到了張戈的同步7天的那篇文章，想照著操作的時候發現，七牛的qrsync工具竟已廢棄：qrsync已廢棄看這簡介，推薦使用qshell命令行工具，先森就干脆研究下使用新的工具來同步。有段時間沒和七牛云儲存打交道了，變化還是挺大的。為七牛的推陳出新點個贊。一、數據庫、網站本地備份腳本在服務器上編輯shell腳本，腳本代碼如下：#!/bin/bash# Name:liuxxbak.sh# This is a ShellScript For Auto Backup and Delete old Backup# Date:2017-8-19source /etc/profilebackupdir=/web/data/liuxx_bak   # 本地備份路徑time=` date +%Y%m%d `date=` date +"%Y-%m-%d %H:%M:%S" `day=15  #本地備份保留天數# 數據庫信息user=rootpassword=******host=127.0.0.1port=3306databases=wordpress# 本地網站根目錄backhome=/web/data/html/if [ ! -d $backupdir ]; then  mkdir $backupdirfi        mysqldump -h $host -P $post -u $user -p$password ${data} | gzip > $backupdir/${data}_$time.sql.gzif [ "$?" == 0 ];then        echo "[${date}] 數據庫 ${data} 備份成功!!" >> ${backupdir}/mysqllog.logelse#備份失敗則進行以下操作        echo "[${date}] 數據庫 ${data} 備份失敗!!" >> ${backupdir}/mysqllog.logfi# 備份網站tar -zcvf $backupdir/liuxx_${time}.tar.gz $backhome > /dev/null 2>&1# 刪除同步find $backupdir -name "*.gz" -type f -mtime +${day} -exec rm {} \; > /dev/null 2>&1先森將以上代碼保存為‘liuxxbak.sh’，名稱可以隨意自定義。保存后需要增加可執行權限：chmod +x liuxxbak.sh使用說明：將以上內容變量按需修改：backupdir=本地備份絕對路徑day=本地備份保留天數user=數據庫用戶名（建議使用root用戶，出錯可能性小）password=數據庫密碼host=數據庫IP或域名port=數據庫端口databases=數據庫名稱backhome=本地網站根目錄腳本執行方式：./liuxxbak.sh或者/web/data/liuxxbak.sh    # 絕對路徑執行如此可以檢查一下是否能夠成功備份。二、遠程備份到七牛云儲存1.命令。首先下載qshell命令行工具，下載頁面：根據服務器類型選擇下載linux 64位的服務器可以直接在服務器上這樣下載并增加可執行權限：wget -O qshell http://devtools.qiniu.com/2.1.3/qshell-linux-x64 && chmod +x qshell可以將qshell命令放入自定義目錄。或直接放至/usr/bin/路徑下，這樣就可以任何地方直接輸入命令了。2.鑒權。有了命令之后，我們需要七牛的鑒權，否則沒法使用接下來的命令。需要鑒權的命令都需要依賴七牛賬號下的 AccessKey 和 SecretKey。所以這類命令運行之前，需要使用 account 命令來設置下 AccessKey ，SecretKey 。鑒權的方式很簡單，首先進入七牛的個人中心->密鑰管理中，找到AccessKey 和 SecretKey。然后在服務器中運行一下命令：/web/data/qshell account ak sk執行之后，用戶的所有信息寫入到磁盤$HOME_DIR/.qshell下面。如：root用戶執行后，信息會保存在/root/.qshell/account.json文件中。如果你修改了密鑰，只需要重新執行以上命令即可，配置信息將被覆蓋。3.同步。終于到了這一步。qshell命令的命令有很多，同步需要用到的命令是qupload。qupload是用來將本地目錄中的文件同步到七牛空間中的命令。命令格式：qshell qupload [<ThreadCount>] <LocalUploadConfig>ThreadCount：并發上傳的協程數量，默認為1，即文件一個個上傳，對于大量小文件來說，可以通過提高該參數值來提升同步速度。LocalUploadConfig：數據同步的配置文件，該配置文件里面包含了一些諸如本地同步目錄，目標空間名稱等信息。ThreadCount是可以忽略的參數，默認一個文件一個文件的上傳，因為是要備份數據庫和本地網站文件，文件較少且大，顧保持默認就好。LocalUploadConfig為配置文件，配置文件中可帶的參數共有21個，先森選用了其中的7個。詳細的配置介紹請看這里。先森選用的參數如下，將以下內容保存到文件‘localupload.cnf’：{   "src_dir"            :   "/web/data/liuxx_bak",   "bucket"             :   "liuxx-backup",   "ignore_dir"         :   true,   "overwrite"          :   true,   "check_exists"       :   true,   "check_hash"         :   true,   "rescan_local"       :   true}解釋，*為必須項："src_dir":"/web/data/liuxx_bak",  # 本地備份路徑*"bucket":"liuxx-backup",    #同步數據的目標空間名稱，可以為公開空間或私有空間*"ignore_dir":true,    #遠程同步到七牛時，忽略本地路徑"overwrite":true,    #覆蓋同名文件"check_exists":true,    #上傳前檢查是否有同名文件"check_hash":true,    #在check_exists設置為true的情況下生效，是否檢查本地文件hash和空間文件hash一致"rescan_local":true,    #檢測本地新增文件并同步最后，遠程同步到七牛云儲存的命令為:/web/data/qshell qupload /web/data/localupload.cnf可以執行一下上面的命令，檢查是否能夠成功同步。先森同步到七牛云的效果：同步效果三、定時備份同步準備工作已經完畢了，現在所需的就是每天的自動備份及遠程備份了。執行crontab -e添加以下內容：00 02 * * * /web/data/liuxxbak.sh30 02 * * * /web/data/qshell qupload /web/data/localupload.cnf >/dev/null 2>&1凌晨兩點執行本地備份，凌晨兩點半執行遠程備份。當然，你也可以將qshell命令加到liuxxbak.sh腳本的最后，那么只用添加第一條計劃任務就可以了。四、七牛十五天循環備份七牛云儲存免費的存儲空間大小是10G，如果你的七牛云存儲空間有點緊急的話，可以繼續本操作。這時候，點擊‘生命周期’，添加規則，我們可以設定刪除15天前的文件。先森設定的規則如下：刪除15天前的文件當然，如果七牛云存儲的剩余空間很足的話，可以保留更多天，這樣可供回退的版本就更多了。總結無論是用虛擬主機，還是使用云服務器，有一套備份的機制是很重要的。如果像先森一樣，主站使用的是虛擬主機，也有另外的云服務器的話，這套備份方案改改，也可以把自己虛擬主機的數據庫一起備份起來嘛。

近期遇到mysql導出文件的錯誤，之前遇到這個錯誤，因為需要導出的數據少，所以直接將結果手動復制。mysql> select * from childrenzone_order into outfile '/tmp/test.txt' fields terminated by ','  optionally enclosed by '"' escaped by '"' lines terminated by '\r\n';ERROR 1290 (HY000): The MySQL server is running with the --secure-file-priv option so it cannot execute this statement但后來遇到大量的數據需要導出，簡單的復制就不能滿足需求了。進行百度，發現解決方法很簡單，在配置文件里增加配置，重啟Mysql即可。只是，生產環境中，數據庫是不能隨意重啟的，所以這個問題就很麻煩了。為了避免往后出現這種問題，先森覺得有必要研究清楚這個問題究竟影響了多少Mysql。解決方法首先是解決此類問題的方法，通過secure_file_priv 來完成對導入|導出的限制。secure_file_priv是在 /etc/my.cnf 中的[mysqld]下配置，共有三種限制方式。1、限制mysqld 不允許導入 | 導出：secure_file_priv = null2、限制mysqld 的導入 | 導出 只能發生在指定目錄下，如/tmp目錄：secure_file_priv = /tmp3、不對mysqld 的導入 | 導出做限制，有兩種書寫方式：secure_file_priv = /或secure_file_priv =而查詢secure_file_priv的方式如下：mysql> show variables like '%secure%';查詢secure_file_priv變量配置secure_file_priv變量配置的默認值為“NULL”,也就是默認不允許導入導出。溯源雖然知道了解決方法，但是前文也提到過，生產環境的Mysql并不能隨意的重啟，即使有主備。所以，弄明白受到默認禁止導入導出的Mysql版本有哪些就有必要了。通過查詢官方文檔，先森找到了影響版本，見下圖（點擊放大）。官方文檔變量介紹通過上圖可以看到，最后一個被紅框框選的文字：“Before MySQL 5.5.53, this variable is empty by default.（在MySQL 5.5.53，這個變量默認是空的。）”。這個變量在Mysql 5.5.53之后新增了“NULL”的配置，且默認為“NULL”。所以，如果發現自己的Mysql版本是5.5.53以后的，且不想限制導入導出的話，最好把變量的值配置好后擇時重啟Mysql。另外，上圖還介紹了，secure_file_priv這個變量是全局變量，且不能動態修改。這也是必須寫入配置文件并重啟Mysql的原因。

先森近期接到個任務，這個任務中一項是需要每個服務器都得有自己的主機名，而不是默認的“localhost”。因為是CentOS 6的操作系統，所以需要改的文件有兩個，且為了不用重啟才生效，還要用hostname這個命令指定主機名。hostname命令用于顯示和設置系統的主機名稱。環境變量HOSTNAME也保存了當前的主機名。在使用hostname命令設置主機名后，系統并不會永久保存新的主機名，重新啟動機器之后還是原來的主機名。如果需要永久修改主機名，需要同時修改/etc/hosts和/etc/sysconfig/network的相關內容。如果每臺服務器都去手動修改這兩個文件和執行hostname命令未免太過麻煩，所以先森寫了一個簡單的腳本。想用“./腳本名 主機名”的方式修改主機名，但是實現腳本的過程中發生了一點小問題。hostname=$1sed -i 's/HOSTNAME=.*/HOSTNAME=$hostname/g' /etc/sysconfig/network先森想用sed命令用指定的變量值來替換“HOSTNAME=”后面指定的值，但執行后發現，等號后面的值變成了$符號+變量名稱，也就是sed命令中不認這個變量。后來經過百度一番，找到了答案：“因為 hostname 是shell變量而不是sed中的變量，需要單獨拿到 sed 的單引號外面來才能被 shell 解析。單引號里面是 sed 的勢力范圍，shell 無法觸及。”sed的參數后的命令，是已單引號開始，單引號結束的，所以想將shell變量拿出來，那就在變量前面加個單引號讓sed命令結束，再在變量后面再加個單引號讓sed命令再開始，已就是這樣：hostname=$1sed -i 's/HOSTNAME=.*/HOSTNAME='$hostname'/g' /etc/sysconfig/network感覺這種代碼的編輯模式很眼熟，一下就想到了在HTML里面寫PHP的樣子：<?php if (is_home()){ ?> </body> <?php } ?>寫腳本突然有點寫PHP的感覺，著實讓先森覺得有點新鮮。下面貼下修改CentOS 6系統的主機名腳本。#!/bin/bash[ $# != 1 ] && echo "請指定主機名：./hostname.sh 主機名" && exit 1hostname=$1echo 127.0.0.1 ${hostname} >> /etc/hostssed -i 's/HOSTNAME=.*/HOSTNAME='$hostname'/g' /etc/sysconfig/networkhostname ${hostname}hostname.sh

在運維工作中，經常接觸到網絡，所以先森今天看到這篇文章覺得寫得不錯，轉載過來自用。一、TCP 協議的作用互聯網由一整套協議構成。TCP 只是其中的一層，有著自己的分工。（圖片說明：TCP 是以太網協議和 IP 協議的上層協議，也是應用層協議的下層協議。）最底層的以太網協議（Ethernet）規定了電子信號如何組成數據包（packet），解決了子網內部的點對點通信。（圖片說明：以太網協議解決了局域網的點對點通信。）但是，以太網協議不能解決多個局域網如何互通，這由 IP 協議解決。（圖片說明：IP 協議可以連接多個局域網。）IP 協議定義了一套自己的地址規則，稱為 IP 地址。它實現了路由功能，允許某個局域網的 A 主機，向另一個局域網的 B 主機發送消息。（圖片說明：路由器就是基于 IP 協議。局域網之間要靠路由器連接。）路由的原理很簡單。市場上所有的路由器，背后都有很多網口，要接入多根網線。路由器內部有一張路由表，規定了 A 段 IP 地址走出口一，B 段地址走出口二，......通過這套"指路牌"，實現了數據包的轉發。（圖片說明：本機的路由表注明了不同 IP 目的地的數據包，要發送到哪一個網口（interface）。）IP 協議只是一個地址協議，并不保證數據包的完整。如果路由器丟包（比如緩存滿了，新進來的數據包就會丟失），就需要發現丟了哪一個包，以及如何重新發送這個包。這就要依靠 TCP 協議。簡單說，TCP 協議的作用是，保證數據通信的完整性和可靠性，防止丟包。二、TCP 數據包的大小以太網數據包（packet）的大小是固定的，最初是1518字節，后來增加到1522字節。其中， 1500 字節是負載（payload），22字節是頭信息（head）。IP 數據包在以太網數據包的負載里面，它也有自己的頭信息，最少需要20字節，所以 IP 數據包的負載最多為1480字節。（圖片說明：IP 數據包在以太網數據包里面，TCP 數據包在 IP 數據包里面。）TCP 數據包在 IP 數據包的負載里面。它的頭信息最少也需要20字節，因此 TCP 數據包的最大負載是 1480 - 20 = 1460 字節。由于 IP 和 TCP 協議往往有額外的頭信息，所以 TCP 負載實際為1400字節左右。因此，一條1500字節的信息需要兩個 TCP 數據包。HTTP/2 協議的一大改進， 就是壓縮 HTTP 協議的頭信息，使得一個 HTTP 請求可以放在一個 TCP 數據包里面，而不是分成多個，這樣就提高了速度。（圖片說明：以太網數據包的負載是1500字節，TCP 數據包的負載在1400字節左右。）三、TCP 數據包的編號（SEQ）一個包1400字節，那么一次性發送大量數據，就必須分成多個包。比如，一個 10MB 的文件，需要發送7100多個包。發送的時候，TCP 協議為每個包編號（sequence number，簡稱 SEQ），以便接收的一方按照順序還原。萬一發生丟包，也可以知道丟失的是哪一個包。第一個包的編號是一個隨機數。為了便于理解，這里就把它稱為1號包。假定這個包的負載長度是100字節，那么可以推算出下一個包的編號應該是101。這就是說，每個數據包都可以得到兩個編號：自身的編號，以及下一個包的編號。接收方由此知道，應該按照什么順序將它們還原成原始文件。（圖片說明：當前包的編號是45943，下一個數據包的編號是46183，由此可知，這個包的負載是240字節。）四、TCP 數據包的組裝收到 TCP 數據包以后，組裝還原是操作系統完成的。應用程序不會直接處理 TCP 數據包。對于應用程序來說，不用關心數據通信的細節。除非線路異常，收到的總是完整的數據。應用程序需要的數據放在 TCP 數據包里面，有自己的格式（比如 HTTP 協議）。TCP 并沒有提供任何機制，表示原始文件的大小，這由應用層的協議來規定。比如，HTTP 協議就有一個頭信息Content-Length，表示信息體的大小。對于操作系統來說，就是持續地接收 TCP 數據包，將它們按照順序組裝好，一個包都不少。操作系統不會去處理 TCP 數據包里面的數據。一旦組裝好 TCP 數據包，就把它們轉交給應用程序。TCP 數據包里面有一個端口（port）參數，就是用來指定轉交給監聽該端口的應用程序。（圖片說明：系統根據 TCP 數據包里面的端口，將組裝好的數據轉交給相應的應用程序。上圖中，21端口是 FTP 服務器，25端口是 SMTP 服務，80端口是 Web 服務器。）應用程序收到組裝好的原始數據，以瀏覽器為例，就會根據 HTTP 協議的Content-Length字段正確讀出一段段的數據。這也意味著，一次 TCP 通信可以包括多個 HTTP 通信。五、慢啟動和 ACK服務器發送數據包，當然越快越好，最好一次性全發出去。但是，發得太快，就有可能丟包。帶寬小、路由器過熱、緩存溢出等許多因素都會導致丟包。線路不好的話，發得越快，丟得越多。最理想的狀態是，在線路允許的情況下，達到最高速率。但是我們怎么知道，對方線路的理想速率是多少呢？答案就是慢慢試。TCP 協議為了做到效率與可靠性的統一，設計了一個慢啟動（slow start）機制。開始的時候，發送得較慢，然后根據丟包的情況，調整速率：如果不丟包，就加快發送速度；如果丟包，就降低發送速度。Linux 內核里面設定了（常量TCP_INIT_CWND），剛開始通信的時候，發送方一次性發送10個數據包，即"發送窗口"的大小為10。然后停下來，等待接收方的確認，再繼續發送。默認情況下，接收方每收到兩個TCP 數據包，就要發送一個確認消息。"確認"的英語是 acknowledgement，所以這個確認消息就簡稱 ACK。ACK 攜帶兩個信息：·期待要收到下一個數據包的編號·接收方的接收窗口的剩余容量發送方有了這兩個信息，再加上自己已經發出的數據包的最新編號，就會推測出接收方大概的接收速度，從而降低或增加發送速率。這被稱為"發送窗口"，這個窗口的大小是可變的。(圖片點擊放大)（圖片說明：每個 ACK 都帶有下一個數據包的編號，以及接收窗口的剩余容量。雙方都會發送 ACK。）注意，由于 TCP 通信是雙向的，所以雙方都需要發送 ACK。兩方的窗口大小，很可能是不一樣的。而且 ACK 只是很簡單的幾個字段，通常與數據合并在一個數據包里面發送。（圖片說明：上圖一共4次通信。第一次通信，A 主機發給B 主機的數據包編號是1，長度是100字節，因此第二次通信 B 主機的 ACK 編號是 1 + 100 = 101，第三次通信 A 主機的數據包編號也是 101。同理，第二次通信 B 主機發給 A 主機的數據包編號是1，長度是200字節，因此第三次通信 A 主機的 ACK 是201，第四次通信 B 主機的數據包編號也是201。）即使對于帶寬很大、線路很好的連接，TCP 也總是從10個數據包開始慢慢試，過了一段時間以后，才達到最高的傳輸速率。這就是 TCP 的慢啟動。六、數據包的遺失處理TCP 協議可以保證數據通信的完整性，這是怎么做到的？前面說過，每一個數據包都帶有下一個數據包的編號。如果下一個數據包沒有收到，那么 ACK 的編號就不會發生變化。舉例來說，現在收到了4號包，但是沒有收到5號包。ACK 就會記錄，期待收到5號包。過了一段時間，5號包收到了，那么下一輪 ACK 會更新編號。如果5號包還是沒收到，但是收到了6號包或7號包，那么 ACK 里面的編號不會變化，總是顯示5號包。這會導致大量重復內容的 ACK。如果發送方發現收到三個連續的重復 ACK，或者超時了還沒有收到任何 ACK，就會確認丟包，即5號包遺失了，從而再次發送這個包。通過這種機制，TCP 保證了不會有數據包丟失。（圖片說明：Host B 沒有收到100號數據包，會連續發出相同的 ACK，觸發 Host A 重發100號數據包。）（完）

先森安裝Nginx都是編譯安裝，所以不像yum安裝的自帶控制腳本，也就是不能通過service nignx start這種方式啟動Nginx。不過在CentOS 6中，Nginx的啟動腳本早已備好，增加控制腳本輕輕松松。不過，先森公司的客戶要求新的服務器全用CentOS 7的操作系統，如此一來，先森之前的控制腳本就沒用了。雖然先森當初培訓的時候學習的就是RedHat 7，但是參加工作以來，一直使用的CentOS 6的操作系統，早已把7版本的命令習慣忘完。先森覺得，CentOS 6和CentOS 7的變化最明顯的就是控制服務啟動關閉的命令，由service換成了systemctl。雖然在CentOS 7中service命令依舊可以用，但是使用的效果已經大打折扣了。在網上找了半天，想要找到與CentOS 6類似的控制腳本，用service啟動的，但是效果差強人意，甚至可以說無效。最后終于找到了使用systemctl的控制腳本，下面分享一波。控制腳本第一步：編輯vim /usr/lib/systemd/system/nginx.service文件，添加以下內容：注意要修改nginx的目錄，先森的是放在默認的/usr/local/nginx中。[Unit]Description=nginx - high performance web serverDocumentation=http://nginx.org/en/docs/After=network.target remote-fs.target nss-lookup.target[Service]Type=forkingPIDFile=/usr/local/nginx/logs/nginx.pidExecStartPre=/usr/local/nginx/sbin/nginx -t -c /usr/local/nginx/conf/nginx.confExecStart=/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.confExecReload=/bin/kill -s HUP $MAINPIDExecStop=/bin/kill -s QUIT $MAINPIDPrivateTmp=true[Install]WantedBy=multi-user.target第二步：添加可執行權限：chmod 755 /usr/lib/systemd/system/nginx.service第三步：添加開機啟動：systemctl enable nginx控制Nginx：systemctl start nginx    # 啟動Nginxsystemctl stop nginx    # 關閉Nginxsystemctl status nginx    # 查看Nginx狀態總結唉，CentOS 7咋用咋不習慣，但是系統版本的升級總是大勢所趨，還是得慢慢習慣。運維的路，還很長。

因為工作原因，先森經常會用到虛擬機做測試，然而也經常遇到橋接模式沒有辦法聯網，無法獲取IP地址的問題。以往先森的做法都是重啟VMware Workstation甚至重啟物理機，但這些往往都很誤事，所以先森決定好好找找問題原因，幸運的是，先森找到了問題所在。橋接模式獲取不到IP解決問題問題如上圖，重啟網絡會在獲取IP那一步等待很久（DHCP），然后報錯，查看IP可以看到eth0沒有IP地址。這種情況的原因可能是由于橋接模式橋接的網卡不正確，解決步驟如下。第一步，VMware中點擊“編輯”->“虛擬網絡編輯器”；虛擬網絡編輯器第二步VMware默認的橋接模式中橋接方式為“自動”，而自動，可能就將網絡橋接到其他網卡上去了，所以造成無法聯網。這時候第二步就是把橋接到的網卡選擇為物理機上網的網卡。點擊電腦右下角的網絡，再點擊“打開網絡和共享中心”，打開后選擇“更改適配器設置”。在連接網絡的適配器下面有網卡的名稱，如先森的是“本地連接”下的“Realtek PCIe GBE Family Controller”。這時候就將VMware的橋接模式橋接到“Realtek PCIe GBE Family Controller”這個網卡，點擊確認保存即可。更改橋接網卡設置第三步這時候再重啟網絡，即可獲取到IP地址。網絡恢復正常