同事说能否分享一下linux日志分析的心得，尽管我也只是初学小菜，不过既然问到了，那就献丑了。
linux里面有那么几个常用的命令，在大部分日志分析场景里面都会用到：
cut 按照特定分割符分成若干列，取出其中的某一列。
-d" " 表示用空格作为分割符默认好像是逗号；
-f8 表示取出第8列。
sort 按照特定的分隔符分成若干列，按照某一列进行排序。
-d" " 表示用空格（默认应该就是空格），-f1,2表示用第1、2列输出；
-g 表示按照数字进行排序；
-r 表示逆序；（默认从小到大）；
-k8 表示根据第8个字段进行排序；（默认只根据第1列排序，可以通过设置IFS来指定分隔符）
-k1,3 表示根据第1至3个字段之间的内容进行排序；
-u 表示相同的元素只输出一次。
uniq 如果下一行重复则消除。
-c 表示统计出现次数（重复一次计数为2）。
head 输出最开始的几行。
-n8 表示输出头8行。（无参数时默认10行）
tail 输出最末尾的几行。
-n8 表示输出尾8行。（无参数时默认10行）
wc 输出指定文字出现的次数。
-l 表示输出出现该文字的行数而不是次数。
grep 输出包含指定文字的若干行。
-i 表示大小写不敏感；
-e 表示使用正则表达式；(等同于egrep命令）
-v 表示输出不等于制定文字的若干行；
-m8 表示指定文件中的输出前8个；
-a 表示如果是二进制文件，则仅对比里面是文字的部分；（比如要找squid缓存文件当中记录的，与该文件对应的uri时就特别有用）；
-r 表示递归搜索所有文件夹中的指定文件；
-H 在每一行输出中均包括文件名；（搜索单个文件时默认不输出）
-h 在每一行输出中均不包含文件名；（搜索多个文件时默认输出）
-l 仅输出有命中的文件名；
-L 仅输出没有命中的文件名；
-B8 输出命中该行之前的8行；
-A8 输出命中该行之后的8行；
-c 仅输出命中次数。
上面这个命令组合通常就可以进行大部分的日志分析工作，下面举例说明。
我们假设日志名称为squid.log，格式如下所示（有点像Squid，但实际上不是真实的日志格式，只是为了便于说明）：
- - [2012/1/1 04:23:44] 223.33.54.123 "GET /pages/head.htm HTTP/1.1" {www.fix.com|http://www.google.com/search} 200 - - TCP_HIT:NONE "Mozilla/4.0"
例1 查看最后若干个访问"/pages/head.htm"的IP都来自哪里：
grep -i "/pages/head.htm" squid.log | tail -n20 | cut -d" " -f5
注意：
- 日期和时间当中有一个空格，因此是两个字段，而不会因为方括号而认为是一个字段。同样的，单引号双引号也不会影响以空格为分割符的分割；
- 如果文件非常大导致明显非常慢，可以尝试用tail作为开头进一步限制，如：
tail -n1000 squid.log | grep -i "/pages/head.htm" | tail -n20 | cut -d" " -f5
例2 统计最后若干个访问"/pages/head.htm"的IP的次数：
grep -i "/pages/head.htm" squid.log | tail -n1000 | cut -d" " -f5 | sort | uniq -c | sort -g
备注：这里的技巧是，先要sort，然后再通过uniq -c来统计次数，然后再通过sort来进行排序。这是因为对于uniq命令来说，之比较上一行和下一行，而不会考虑交错的情况，例如对于文件tmp如下：
A
A
B
B
A
A
C
用uniq -c tmp来检查，输出如下：
2 A
2 B
2 A
1 C
而实际上我们希望的输出类似如下：
1 B
2 C
4 A
于是只能够通过sort先将相同的内容放到一起，然后再用uniq来统计。sort命令当中的-u参数并不会统计处数量，于是必须使用uniq命令。同时uniq输出的顺序是原始文本出现的顺序，而不是根据数量进行排序的，因此最后还需要用sort进行排序。
例3 统计最后若干个访问"/pages/head.htm"的IP中，出现次数最多的前三名以及其次数：
grep -i "/pages/head.htm" squid.log | tail -n1000 | cut -d" " -f5 | sort | uniq -c | sort -gr | head -n3
例4 统计后端返回状态为503的访问次数：
cut -d" " -f10 "/pages/head.htm" squid.log | grep 503 | wc -l
例5 统计后端返回状态为200，且访问"/pages/head.htm"的HIT和MISS的情况（日志中TCP_HIT:NONE的那一列）：
这一个需求比较复杂，我们需要动用上面没有介绍到的另一个命令：awk
awk 对每一行按照指定分隔符进行分割，并根据指定的条件输出指定的内容。
-F" " 表示输出以空格作为分割符。
完整命令格式如下：
awk [条件] ['指令'] [待分析文件]
之所以指令是可选的，是因为参数中还有一个可以指定指令文件的参数；而待分析文件可选，是因为可以通过管道提供待分析文件。
其中的指令部分比较复杂，完整的这里就不介绍了，请自行谷歌之。这里介绍非常简单的几个常用部分。
$1 表示第一个字段
$1>2 表示第一个字段是数字且大于数字2
$1>"2" 表示第一个字段大于字符2，也就是说"12"<"2"
$1==$2 表示第一个字段等于第二个字段
&& 表示与
|| 表示或
a { b } 表示如果前面的a部分匹配，则执行b部分
print 表示输出整行
print $1 表示输出第一个字段
; 表示两个指令之间的分割
于是
$1==200 { print; }
就是说第一列等于200就输出整行。
对于本示例，将需要使用如下命令：
awk -F" " '$10==200 { print; }' squid.log | grep -i "/pages/head.htm" | cut -d" " -f13 | sort | uniq -c | sort -g
例5 统计UserAgent的情况，但前面的访问路径处可能包含不定数量的空格，比如某些访问没有发出HTTP/1.1，于是只有"GET /pages/head.htm"。
这个问题很容易想到：啊，如果能够忽略双引号中的空格多好啊！嗯，这种思路应该也是可以的，但是比起下面这种思路来说，有的时候真的太复杂了。
cut -d\" -f4 squid.log | sort | uniq -c | sort -g
“……靠，还能用双引号做分割符，咋就没想到呢？”好吧，再提示一下：每一个命令可以考虑使用不同的分割符，而不需要每一次都用同一个分割符。
