splunk简易教程

1、splunkCopyright 2011, Splunk Inc.Listen to your data.2Splunk = Splunkweb + SplunkdCopyright 2011, Splunk Inc.Listen to your data.3索引任何的机器数据实时从日志文件获取事件运行脚本获取系统参数, 连接到 API 和数据库监听 syslog 或获取 Windows 事件通用方式索引任何内容格式的数据, 不需要连接器WindowsRegistryEvent logsFile systemsysinternalsLinux/UnixConfigurationsSyslogF

2、ile systemPs, iostat, topVirtualizationHypervisorGuest OSGuest AppsApplicationsWeb logsLog4J, JMS, JMX.NET eventsCode and scriptsDatabasesConfigurationsAudit/query logsTablesSchemasNetworkConfigurationssyslogSNMPnetflowCopyright 2011, Splunk Inc.Listen to your data.4Splunk 有四个主要功能组件索引和搜索服务(Indexer)本

3、地和分布式管理 (Deployment Server)数据收集和转发(Forwarder)搜索和报表(Search Head)一个 Splunk 安装可以是其中一个或者多个角色 Copyright 2011, Splunk Inc.Listen to your data.5安装和启动1.安装过程很简单2. Splunk启动后，你可以打开浏览器登录进入Splunk。默认的情况下 Splunk会使用 8000 端口，如果是在本机登录 Splunk，你可以直接在地址栏输入http:/localhost:8000 Copyright 2011, Splunk Inc.Listen to your da

4、ta.6添加数据回到Splunk的 Web 界面，在页面右上角选择“管理”,选择所需添加日志的类型,或者可以选择从文件和目录导入数据. Copyright 2011, Splunk Inc.Listen to your data.7添加数据网络设备添加数据,通过udp 514端口定向转发syslogCopyright 2011, Splunk Inc.Listen to your data.8添加数据通过指定路径添加日志文件,如我们通过指定路径收集IIS日志Copyright 2011, Splunk Inc.Listen to your data.9Serach应用的介绍 在应用栏选择ser

5、ach,可以打开serach界面.Copyright 2011, Splunk Inc.Listen to your data.10Search应用的介绍开始一个搜索,展现结果.Copyright 2011, Splunk Inc.Listen to your data.11Serach应用的介绍开始搜索,可以进一步添加搜索条件,例如添加一个ip,相关结果会高亮显示.Copyright 2011, Splunk Inc.Listen to your data.12添加字段点击edit按钮,可以添加自己想要的字段,图中实例添加action、category_id、product_id 三个字段,

6、按字段搜索可以更加精确定位搜索结果.Copyright 2011, Splunk Inc.Listen to your data.13保持搜索结果搜索可以保存,方便以后快速找到结果.Copyright 2011, Splunk Inc.Listen to your data.14搜索语句简介Splunk 不只是提供简单的条件匹配搜索，还可以通过对搜索结果做进一步的处理从而进行各种复杂的数据分析。例如在样例数据中，如果我希望了解到：在线商店卖的最好的产品是哪些？有多少客户购买了鲜花？每个客户购买了多少鲜花？这些问题都可以通过 Splunk提供的强大的搜索命令来进行分析得到最终的结果.Copyri

7、ght 2011, Splunk Inc.Listen to your data.15搜索语句简介管道符（“ | ”）与topsourcetype=access_* action=purchase | top category_id 例如，如果希望知道所有购买商品的日志记录中，最多的产品类别是哪些，我可以先筛选出有购买命令动作的日志事件，然后使用 top 这个命令来对结果中的 category_id 字段进行排序Copyright 2011, Splunk Inc.Listen to your data.16搜索语句简介对搜索结果进一步钻取通过鼠标点击 category_id 中的 FLOWE

8、RS，Splunk会自动把这个条件添加到搜索条件中，打开新的搜索结果页面Copyright 2011, Splunk Inc.Listen to your data.17搜索语句简介更多的搜索方法sourcetype=access_* action=purchase category_id=flowers | stats dc(clientip) 有多少独立客户购买了鲜花类商品？（设定一个 clientip 即为一个客户来源）stats是用于统计的命令，后面可以有多种不同的统计方法，dc（或distinct_count）是其中一个计算去重后的数量Copyright 2011, Splunk I

9、nc.Listen to your data.18搜索语句简介更多的搜索方法sourcetype=access_* action=purchase category_id=flowers | stats count BY clientip 每个独立客户各购买的鲜花数量是多少？stats是用于统计的命令，后面可以有多种不同的统计方法，dc（或distinct_count）是其中一个计算去重后的数量Copyright 2011, Splunk Inc.Listen to your data.19搜索语句简介更多的搜索方法sourcetype=access_* action=purchase cat

10、egory_id=flowers | stats count AS 购买的鲜花数量 by clientip | rename clientip AS 客户 我们还可以对输出展现的样式进行调整，使用 rename命令将每列的表头名称修改为比较易于理解的描述文字. Splunk提供了上百个不同的搜索命令以便于用户可以对所获取的数据进行各种不同维度的分析,详细参见请见Search Reference手册.Copyright 2011, Splunk Inc.Listen to your data.20创建报表sourcetype=access_* method=GET | chart count A

11、S views, count(eval(action=purchase) AS purchases by category_id | rename views AS 查看, purchases AS 购买, category_id AS 产品类别 我们用下面的 chart 命令创建一个报表，展现查看和购买的商品类别数量。然后选择 创建” !Report 打开报表编辑器Copyright 2011, Splunk Inc.Listen to your data.21创建报表sourcetype=access_* | timechart count(eval(action=purchase) by

12、 product_name usenull=f1.用 timechart 命令做一个基于时间的报表。这个例子中我们会使用到之前做的查找对照定义字段2.timechart 命令自动会使用最合适的一个时间间隔来做出报表，如果你有自己指定的时间间隔，可以在 timechart 后面增加span=xxx来定义间隔，例如 span=1d、span=1h， 等等，具体可参考 timechart 命令的详细说明。 选择创建Report 生成报表，填入报表标题，在“堆叠模式”中选择“堆叠图”，并应用保存。 Copyright 2011, Splunk Inc.Listen to your data.22创建仪

13、表板 仪表板是一个展现多个报表和搜索结果的视图。一个仪表板由多个面板内容组成，Splunk允许用户自己创建并组织仪表板的内容和样式。下面我们首先通过Dashboard & Views 菜单创建一个仪表板: 创建一个新仪表板后是一个空白的视图，我们可以通过仪表板右上角的“启用”、“停用” 来编辑仪表板上的面板内容。 Copyright 2011, Splunk Inc.Listen to your data.23创建仪表板我们点击“新建面板”来增加几个刚刚保存过的报表和搜索。选择“各种产品购买趋势”报表，报表面板添加到仪表板后，选择 Edit!Edit Visualization，选择“

14、直条图”，在“堆叠模式”处选择“stacked” （堆叠） Copyright 2011, Splunk Inc.Listen to your data.24创建仪表板继续添加其他两个报表，用鼠标拖拽排列面板的位置，最终我们就生成了一个完整的仪表板Copyright 2011, Splunk Inc.Listen to your data.25Splunk应用管理官网提供很多免费的,常用的应用下载,在”管理-应用”菜单里我们可以点击互联网查找更多应用或者选择从文件安装应用安装应用,选择从文件安装,选择路径点击上载即可Copyright 2011, Splunk Inc.Listen to yo

15、ur data.26Splunk for windows应用安装好for Windows的应用之后,可以在应用菜单中选择windwos应用Copyright 2011, Splunk Inc.Listen to your data.27Splunk for windows应用安装应用的好处是,我们不需要去编写麻烦的search语句,只需点击一个按钮就可以得到自己想要的结果例如我们选择搜索和报表,选择cpu使用阀值得到cpu设定阀值触发的次数统计Copyright 2011, Splunk Inc.Listen to your data.28Splunk for linux应用Splunk fo

16、r linux应用,和for windows应用类似,我们可以很方便的查找到系统硬件(cpu,内存)等的使用状态,还可以查找到用户的登录情况(失败次数,用户添加,用户修改密码记录)等等.Copyright 2011, Splunk Inc.Listen to your data.29更多应用更多应用请登录http:/splunk- 2011, Splunk Inc.Listen to your data.30创建告警可以根据实际环境要求,创建告警通知根据需求,编写搜索语句,然后在右边的创建按钮处,选择创建alert(告警)Copyright 2011, Splunk Inc.Listen to

17、 your data.31创建告警配置接收告警邮箱创建完alert后,可以在收索与报表中看到刚才创建的告警在管理器-搜索和报表中可以看到刚创建的报表,点击进入设置项Copyright 2011, Splunk Inc.Listen to your data.32创建告警配置接收告警邮箱进入告警之后可以设置时间,默认是实时监控的.只要有符合搜索条件的日志就会触发告警.填写接收警告的邮箱,按保存完成.Copyright 2011, Splunk Inc.Listen to your data.33创建告警配置发送告警邮箱,在菜单管理器-系统设置-电子邮箱通知设置目录下.配置发送邮件服务器信息,以及发送邮件的账户信息.这里的电子邮件发送方式可以填发送邮箱名,点击保存按钮,完毕.