linux日志审计工具

linux日志审计工具单独工具介绍Findfind是一个在Linux和Unix系统中用于搜索文件系统中文件的命令行工具。它可以基于各种条件来查找文件，比如文件名、文件类型、大小、权限、所有者、修改日期等。find是一个功能强大且灵活的工具，非常适合执行复杂的搜索任务。基本语法find[路径][选项][操作]

路径：指定find命令开始搜索的目录路径。如果没有指定路径，find默认在当前目录及其子目录下搜索。选项：定义搜索条件。find可以使用多个条件来精确匹配所需的文件。操作：对找到的文件执行的操作。如果不指定操作，默认操作是打印所有找到的文件路径到标准输出。常见选项-name：根据文件名搜索。-type：根据文件类型搜索（例如：-typef仅搜索普通文件，-typed仅搜索目录）。-size：根据文件大小搜索。-perm：根据文件权限搜索。-user：根据文件所有者搜索。-group：根据文件所属的组搜索。-mtime,-atime,-ctime：根据修改时间、访问时间或状态变化时间搜索。-exec：对搜索到的文件执行指定的命令。示例搜索当前目录及子目录下所有的**.txt**文件：find.-typef-name"*.txt"

搜索**/home**目录下所有属于用户**bob**的文件：find/home-typef-userbob

搜索**/var/log**目录下最近7天内被修改过的文件：find/var/log-typef-mtime-7

删除**/tmp**目录下所有**.tmp**文件：find/tmp-typef-name"*.tmp"-execrm{}\;

在这个命令中，-exec后面的{}是找到的文件名的占位符，\;表示-exec参数的结束。搜索大小超过50MB的文件：find/-typef-size+50M

grep基本语法grep[options]pattern[file...]

pattern：要搜索的文本模式。这可以是普通字符串或正则表达式。file...：要搜索的文件名列表。如果未指定文件，grep通常会从标准输入读取。常用选项-i：忽略大小写。-v：反向匹配，选择不包含指定模式的行。-r或-R：递归搜索，查找所有文件。-l：只打印包含匹配模式的文件名，而不是匹配的文本行。-n：打印每个匹配行的行号。-c：统计匹配模式的行数，而不是打印匹配的行。-e：允许使用多个搜索模式。-o：只输出匹配模式的部分，而不是整行。示例搜索文件中的文本查找文件file.txt中包含"example"的所有行：grep"example"file.txt

忽略大小写地搜索查找文件中包含"example"（无论大小写）的所有行：grep-i"example"file.txt

反向匹配选择不包含"example"的行：grep-v"example"file.txt

递归搜索在当前目录及子目录下搜索包含"example"的所有.txt文件：grep-r"example"*.txt

打印匹配行的行号打印file.txt内容中包含"example"的行及其行号：grep-n"example"file.txt

统计匹配行的数量获取文件中包含"example"的行数：grep-c"example"file.txt

使用多个模式查找文件中包含"example"或"test"的行：grep-e"example"-e"test"file.txt

只输出匹配到的文本部分如果一行中包含多次出现的模式，只打印匹配到的模式部分，而非整行：grep-o"ex[a-z]*"file.txt

强行匹配grep-a"search_pattern"file

提取ipgrep-oP'(?<=from)(\d{1,3}\.){3}\d{1,3}'your_log_file.log

-o选项告诉grep仅输出与正则表达式匹配的部分。-P选项启用PCRE。正则表达式**(?<=from)(\d{1,3}.){3}\d{1,3}**查找'from'之后跟随的IP地址。wc基本语法wc[OPTION]...[FILE]...

OPTION：选择计数的模式，包括行数、单词数、字符数等。FILE：指定一个或多个文件名。如果没有指定文件或文件为-，wc会从标准输入读取。常见选项-l：只计算行数。-w：只计算单词数（以空白字符分隔的字符串）。abcabc-c：只计算字节数。-m：只计算字符数。与-c的区别在于处理多字节字符时的统计方式不同。示例方便做数据汇总计算文件的行数如果你想知道一个文件中包含多少行：wc-lfile.txt

计算文件的单词数获取文件中单词的总数：wc-wfile.txt

计算文件的字节数查看文件占用了多少字节：wc-cfile.txt

计算文件的字符数统计文件中字符的总数：wc-mfile.txt

对多个文件进行统计你可以同时对多个文件进行统计，并且wc会提供每个文件的统计数和一个总计数：wcfile1.txtfile2.txt

结合使用其他命令wc常与管道一起使用，以统计其他命令的输出。例如，统计当前目录下文件的数量：ls|wc-l

awk基本语法awk'pattern{action}'input-file(s)

pattern：指定一个条件，只有满足条件的行才执行大括号中的action。action：一组命令，当行匹配pattern时，执行这些命令。常见选项-F：指定输入文件的字段分隔符。-v：定义一个变量。-f：从脚本文件中读取awk程序。示例打印文件的每一行awk'{print}'file.txt

打印文件特定列打印第一列和第三列：awk'{print$1,$3}'file.txt

使用自定义字段分隔符使用逗号作为分隔符，打印第二列：awk-F,'{print$2}'file.txt

awk-F"notty"'{print$2}'btmp.1

-F后面不能接空格，{}外面只能接单引号

条件过滤和打印打印第三列大于100的所有行：awk'$3>100{print}'file.txt

对列值求和对第二列的所有值求和：awk'{sum+=$2}END{printsum}'file.txt

使用正则表达式打印包含"success"的行：awk'/success/{print}'file.txt

格式化输出按格式打印多列：awk'{printf"Name:%s,ID:%s\n",$1,$2}'file.txt

传递外部变量给**awk**将shell变量传递给awk：name="Alice"

awk-vname="$name"'$1==name{print}'file.txt

从**awk**脚本文件中执行先创建一个awk脚本文件filter.awk:$1>100

然后执行：awk-ffilter.awkfile.txt

提取ipawk'/Failedpasswordforroot/{print$11}'your_log_file.log

这里：/Failedpasswordforroot/是匹配条件，awk只会对包含这个字符串的行进行操作。{print$11}是动作部分，告诉awk打印每行的第11个字段（空格区分字段），根据你的日志样本，IP地址恰好是第11个字段。把','换成换行符(\n)awk'{gsub(",","\n",$0);print$0}'

uniq基本语法uniq[OPTION]...[INPUT[OUTPUT]]

OPTION：控制uniq的行为。INPUT：指定输入文件。如果未指定或为-，则从标准输入读取。OUTPUT：指定输出文件。如果未指定，结果输出到标准输出。常见选项-c：前置行数，显示每行在文件中出现的次数。-d：只打印重复行，每个重复组只打印一次。-u：仅显示唯一行。-i：忽略大小写差异比较行。示例检测重复行只显示文件中的重复行：sortfile.txt|uniq-d

计数每行出现的次数对文件排序后，计数每行出现的次数：sortfile.txt|uniq-c

显示唯一的行显示文件中唯一的行：sortfile.txt|uniq-u

忽略大小写比较重复的行在进行重复行检测时忽略大小写：sortfile.txt|uniq-i-d

组合**sort**和**uniq**进行去重将排序和去重合并输出到另一个文件：sortfile.txt|uniq>sorted_unique_file.txt

使用自定义输出检测重复行并将结果输出到指定文件：sortfile.txt|uniq-d-ooutput.txt

注意：-o选项实际上并不存在于uniq命令中。输出通常是通过重定向完成的，上面的命令应该修正为没有-o的版本，直接使用>进行重定向。uniq命令的强大之处在于其简便性和与sort命令结合使用时的效能。了解如何有效使用这些工具，可以极大提高你的文本处理能力，特别是在处理大型数据集时。Sort基本语法sort[OPTION]...[FILE]...

OPTION：控制排序行为的命令行选项。FILE：指定一个或多个要排序的文件。如果没有指定文件或指定为-，则读取标准输入。常见选项-n：根据数值进行排序。-r：倒序排序。-k：指定按照哪一列或字段排序。-t：指定字段之间的分隔符，默认是空白字符。-u：删除重复的行，只保留唯一行。-o：指定输出文件。示例按字母排序对文件file.txt的内容进行字母排序：sortfile.txt

按数值排序对数值进行排序：sort-nnumbers.txt

倒序排序对文件进行倒序排序：sort-rfile.txt

按特定列排序根据第二列的数值进行排序：sort-k2-nfile.txt

使用自定义分隔符当列由特定字符分隔时，使用-t选项指定分隔符。例如，使用冒号分隔：sort-t:-k3file.txt

删除排序过程中的重复行在排序时去除重复行：sort-ufile.txt

将排序结果输出到文件将排序结果直接输出到另一个文件：sortfile.txt-osorted_file.txt

结合多个排序标准先按第一列字母排序，再按第二列的数值逆序排序：sort-k1,1-k2,2nrfile.txt

cutcut命令是Linux和Unix系统中用于文本处理的非常有用的工具。它袽用来提取文本文件中的列或字段。你可以指定一个分隔符，该分隔符将每行文本分隔成多个字段。默认情况下，cut命令用制表符作为字段分隔符，但你可以通过-d选项指定不同的字符。cut最常见的用法包括提取文件中特定的列或列范围。语法cut命令的基本语法如下：cutOPTION...[FILE]...

其中，OPTION可以是多种选项的组合，用来指定如何选择字段和字符，[FILE]...是一个或多个文件名参数。如果没有指定文件名，或者文件名是-，cut命令会从标准输入读取数据。主要选项-dDELIMITER：指定字段分隔符，默认是制表符。这允许你指定任何字符作为字段分隔符。-fFIELDS：选择由-d选项指定的分隔符分隔的字段。你可以指定一个字段编号、一个字段范围（例如，2-5表示第2到第5个字段），或者这两种的组合。-cLIST：选择字符（而非字段）。和-f一样，你可以指定一个字符位置、一个范围或两者的组合。-bLIST：同-c，但选择的是字节位置。这在处理多字节字符时会有所不同。实例提取第一列：cut-d','-f1file.txt

这个命令提取file.txt中每行的第一字段，假定字段由逗号分隔。提取多列：cut-d''-f1,3,5file.txt

这个命令提取由空格分隔的第1、第3和第5个字段。提取范围内的列：cut-d':'-f2-4file.txt

如果file.txt中的字段由冒号分隔，这个命令会提取第2到第4列。提取字符：cut-c1-10file.txt

这个命令提取每一行的前10个字符。组合字段和字符范围：有时候，你可能需要组合使用字段和字符选项，但cut命令不支持这样做。在这种情况下，你通常会将cut命令与其他文本处理工具（比如awk或sed）结合使用。注意事项如果指定的字段不存在，cut命令不会输出错误，相反，对于那一行，什么都不会输出。如果输入包含不规则的行，比如某些行缺少某些字段，结果可能会让人困惑。在这种情况下，使用awk可能会更灵活。cut命令是文本处理工具箱中的一个简单但强大的工具，适用于快速的文本列提取任务。掌握它对于日常处理文本数据来说非常有用。组合使用常见组合1.统计文件中最常出现的单词这个任务可以通过组合使用awk、sort、uniq和wc实现。使用awk提取所有单词。使用sort对单词进行排序。使用uniq-c对排序后的单词进行去重，并计数。使用sort-nr再次对结果进行数值排序。使用head获取出现次数最多的前N个单词。运用最多场景就是统计登陆失败的前十个ipawk'{for(i=1;i<=NF;i++)print$i}'file.txt|sort|uniq-c|sort-nr|head-n10

这个命令序列假定文件中的单词已经通过空格进行分隔。2.统计特定类型文件的行数如果你想统计当前目录下所有.txt文件的行数，可以使用以下命令：cat*.txt|wc-l

透过cat*.txt将所有.txt文件的内容送入wc-l来计算总行数。3.提取并统计每个独立IP地址的访问次数假设你有一个日志文件access.log，每行包含一个IP地址，代表一个访问请求，你想知道每个IP地址分别访问了多少次。在日志里面经常使用的awk'{print$1}'access.log|sort|uniq-c|sort-nr

在这个例子中，awk'{print$1}'假设IP地址位于每行的第一列。如果实际情况不同，请相应地调整列的编号。4.检查哪些行是唯一的如果你想知道文件file.txt中哪些行是唯一的，可以使用：sortfile.txt|uniq-u

这会列出所有只出现一次的行。5.计算多个文件中不同单词的总数对于多个文本文件，如果你想知道包含的不同单词总数，可以用：catfile1.txtfile2.txt|tr'''\n'|sort|uniq|wc-l

这里，tr'''\n'是用来将空格替换为换行符，从而让每个单词单独占一行，方便后续的sort、uniq和wc处理。find+grepfind用于查找满足条件的文件和目录，而grep用于搜索文件内容。快速定位木马位置基本示例在目录及其所有子目录中查找包含"search_pattern"的所有.txt文件：find/path/to/directory-typef-name"*.txt"-execgrep"search_pattern"{}+

这个命令解释如下：/path/to/directory：你要搜索的目录路径。-typef：表示你只对文件感兴趣。-name"*.txt"：指定文件名模式，只搜索.txt文件。-execgrep"search_pattern"{}+：对所有找到的文件执行grep"search_pattern"。{}是一个占位符，代表find找到的文件名。+表示将所有找到的文件名一次性传递给grep。只打印包含文本的文件名如果你只想打印出包含"search_pattern"的.log文件名称，而不显示匹配的行，可以使用-l选项（小写的L）：find/path/to/directory-typef-name"*.log"-execgrep-l"search_pattern"{}+

搜索多种文件类型可以组合使用多个-name选项，通过-o（或逻辑）将它们连接起来，用来搜索多种类型的文件：find/path/to/directory-typef\(-name"*.txt"-o-name"*.log"\)-execgrep"search_pattern"{}+

使用xargs来提高效率对于文件数目非常多的情况，使用xargs可能会更高效：find/path/to/directory-typef-name"*.txt"|xargsgrep"search_pattern"