有谁真正关注过日志？

时间：2010-09-02 来源：deams

先来两个专业性的报告：
https://www.sans.org/reading_room/analysts_program/logmgtsurvey-2010.pdf
http://www.sans.org/security-resources/top5_logreports.pdf

再来分析下运维工作目前遇见的问题:
（范围仅限在中国境内，管理层为中国人的“搞科技”公司）
（无一例外！因为是有文化基因的，而且基因突变的机会没有！不理解者就继续不理解好了）
1.日志记录了么？记录了，但是放在那里不看。过一阵子就删除了。
2.记录的格式规范了么？基本没有！或者没听说说有日志规范这么一说！@#￥%……&×
3.有日志分析的岗位么？估计全中国不会超过100个人做这事情！也许我孤陋寡闻，但大家都忙着挣钱、挣眼球谁会做这么辛苦这么踏踏实实的基础工作呢？
4.从日志分析对决策和规划提出前瞻性建议的有么？拜托，能看的这么高远的是神仙，不是那个叫“李一”的家伙。所以我们做事情就是想到哪里做到哪里，想到什么做什么！.....

牢骚结束。
华丽的分割线——————————————————————————————————————

1.收集堆积如山的事件日志数据，如果没有经过培训的人员和资源对这些日志数据进行监测和分析，就如同没有收集任何数据一样毫无用处。日志数据在管理计算机或者网络方面是一种有价值的和实用的工具。事先监测日志数据以寻找可疑的活动迹象的能力或者在发生安全事件时分析日志数据是非常有价值的。
首先应确保你的系统和设备进行了正确的配置，以便检查和记录事件。假设日志数据已经被捕捉和存储，你需要一个有效的工作流程来检查和分析这些数据。
（1）有规律地检查日志数据
虽然日志数据在安全事件发生时用作法院的证据是非常有效的，但是，如果有规律地分析这些日志数据，这种安全事件也许根本就不会发生。
应该建立一个工作流程，确定多长时间检查和分析一次收集到的日志数据。定期分析由整个网络中的各种应用程序和设备收集到的海量日志数据有助于找出和诊断故障，还可能发现正在进行中的攻击。
（2）以开放的眼光查看日志信息
在分析日志数据时常见的错误是要具体找出已知的事件或者日志项。然而，日志数据中多数有价值的内容似乎存在于表面上很好或者正常的日志项目中。通过以开放的眼光检查这些日志项目，你也许会找到可疑的活动迹象。如果你仅仅查看错误信息，这种迹象很可能会漏掉。
如果把日志审查的重点放在查找已知的恶意活动方面，任何新出现的威胁或者对客户的攻击都会由于失察而漏掉。
（3）通过一个透镜查看数据
整个网络中的设备和应用程序将收集日志数据。遗憾的是没有一种通用的格式或者方法来记录和显示事件的信息。
为了进行准确的比对，某种形式的转化便产生了，也就是对日志数据实施“正常化”。一旦数据压缩为通用的组件，就很容易把这个网络作为一个整体进行分析，而不是作为一个单独的日志项目进行分析。这样就可以更好地根据轻重缓急对发现的问题进行处理或者做出反应。
日志数据的处理是很困难的。日志信息中包含珍贵的钻石信息。但是，你需要挖掘很多泥土才能找到这些钻石。海量的日志数据使有效地利用这些数据成为表明上不可克服的挑战。然而，有SEM(安全事件管理器)等工具软件能够帮助你查找数据。但是，没有确定如何使用日志数据的流程，没有能够有效地分析日志数据并且对日志数据中发现的信息做出反应的经过培训的人员，这种工具将毫无用处。
2.当今的企业和组织在IT信息安全领域面临比以往更为复杂的局面。这既有来自于企业和组织外部的层出不穷的入侵和攻击，也有来自于企业和组织内部的违规和泄漏。
为了不断应对新的安全挑战，企业和组织先后部署了防病毒系统、防火墙、入侵检测系统、漏洞扫描系统、UTM，等等，这些复杂的IT资源及其安全防御设施、包括网络设备、系统及应用在运行过程中不断产生大量的日志和事件。这些日志对于网络的正常运营非常重要，它记录了系统每天发生各种各样的事情，你可以通过它来检查错误发生的原因，监控用户的使用行为，发现异常情况或者受到攻击时攻击者留下的痕迹。
尽管审查日志可以帮助管理人员发现很多安全入侵和违规行为，但是由于这项工作对于管理人员的专业技术水平较高，往往很难普及，大多数情况下只能作为专业安全服务公司提供的一项服务。
此外，从信息与网络安全的发展趋势来看，网络攻击的手段越来越多样化，并且攻击手法越来越隐蔽，并且攻击者可以借助不同的技术手段设置多重跳板，追查变得无比困难。从企业和组织内部来看，各类IT资源，设备飞速膨胀，设备本身产生的日志数量也呈指数级增长，且设备的日志审计都相对孤立，无法形成有效的关联，其单独的日志分析结果对安全问题没有太大帮助，而海量日志的产生也使分析成为空想，导致日志只能简单丢弃，使网络安全的检测与审计变为空谈。
可以说，当前复杂的业务网络环境使得即便是有经验的安全专家也难以透过传统的日志审查方式去审计网络安全，而必须借助提高日志审计效率的外部工具。
对于一个日志审计系统，从功能组成上至少应该包括信息采集、信息分析、信息存储、信息展示四个基本功能：
1)信息采集功能：系统能够通过某种技术手段获取需要审计的日志信息。对于该功能，关键在于采集信息的手段种类、采集信息的范围、采集信息的粒度（细致程度）。
2)信息分析功能：是指对于采集上来的信息进行分析、审计。这是日志审计系统的核心，审计效果好坏直接由此体现出来。在实现信息分析的技术上，简单的技术可以是基于数据库的信息查询和比较；复杂的技术则包括实时关联分析引擎技术，采用基于规则的审计、基于统计的审计、基于时序的审计，以及基于人工智能的审计算法，等等。
3)信息存储功能：对于采集到原始信息，以及审计后的信息都要进行保存，备查，并可以作为取证的依据。在该功能的实现上，关键点包括海量信息存储技术、以及审计信息安全保护技术。
4)信息展示功能：包括审计结果展示界面、统计分析报表功能、告警响应功能、设备联动功能，等等。这部分功能是审计效果的最直接体现，审计结果的可视化能力和告警响应的方式、手段都是该功能的关键。
**********************************************************************
临时插入的评论：一般的文章，这里就要对比了！开源的不好，专业的好。然后介绍一下专业软件的界面、交换性、对比测试。再找几个砖家和成功安利来陪绑一番....
这里只看技术标准，提供开源软件。当然也有专业版本的。但是国内诸多“搞科技”公司的决策者，能够意识到光花钱带不来眼前实际现金流的(信息基础工作）重要性的多乎哉？--没有也..他们都在忙着堆积自己和能利用上的朋友们的脂肪、可持续性地向三高发展、玩高雅的搞尔富运动呢......
**********************************************************************
3.参考标准：
RFC 3164 RFC 3195
http://www.rfc-editor.org/rfc/
初步解决方案：
http://sourceforge.net/projects/os-sim/
http://www.secservice.net/bbs/viewtopic.php?f=19&t=20
就此暂停，授人以鱼不如授人以渔....
探索之路无止境！

先来两个专业性的报告：
https://www.sans.org/reading_room/analysts_program/logmgtsurvey-2010.pdf
http://www.sans.org/security-resources/top5_logreports.pdf 再来分析下运维工作目前遇见的问题:
（范围仅限在中国境内，管理层为中国人的“搞科技”公司）
（无一例外！因为是有文化基因的，而且基因突变的机会没有！不理解者就继续不理解好了）
1.日志记录了么？记录了，但是放在那里不看。过一阵子就删除了。
2.记录的格式规范了么？基本没有！或者没听说说有日志规范这么一说！@#￥%……&×
3.有日志分析的岗位么？估计全中国不会超过100个人做这事情！也许我孤陋寡闻，但大家都忙着挣钱、挣眼球谁会做这么辛苦这么踏踏实实的基础工作呢？
4.从日志分析对决策和规划提出前瞻性建议的有么？拜托，能看的这么高远的是神仙，不是那个叫“李一”的家伙。所以我们做事情就是想到哪里做到哪里，想到什么做什么！.....
牢骚结束。
华丽的分割线——————————————————————————————————————
1.收集堆积如山的事件日志数据，如果没有经过培训的人员和资源对这些日志数据进行监测和分析，就如同没有收集任何数据一样毫无用处。日志数据在管理计算机或者网络方面是一种有价值的和实用的工具。事先监测日志数据以寻找可疑的活动迹象的能力或者在发生安全事件时分析日志数据是非常有价值的。
首先应确保你的系统和设备进行了正确的配置，以便检查和记录事件。假设日志数据已经被捕捉和存储，你需要一个有效的工作流程来检查和分析这些数据。
（1）有规律地检查日志数据
虽然日志数据在安全事件发生时用作法院的证据是非常有效的，但是，如果有规律地分析这些日志数据，这种安全事件也许根本就不会发生。
应该建立一个工作流程，确定多长时间检查和分析一次收集到的日志数据。定期分析由整个网络中的各种应用程序和设备收集到的海量日志数据有助于找出和诊断故障，还可能发现正在进行中的攻击。
（2）以开放的眼光查看日志信息
在分析日志数据时常见的错误是要具体找出已知的事件或者日志项。然而，日志数据中多数有价值的内容似乎存在于表面上很好或者正常的日志项目中。通过以开放的眼光检查这些日志项目，你也许会找到可疑的活动迹象。如果你仅仅查看错误信息，这种迹象很可能会漏掉。
如果把日志审查的重点放在查找已知的恶意活动方面，任何新出现的威胁或者对客户的攻击都会由于失察而漏掉。
（3）通过一个透镜查看数据
整个网络中的设备和应用程序将收集日志数据。遗憾的是没有一种通用的格式或者方法来记录和显示事件的信息。
为了进行准确的比对，某种形式的转化便产生了，也就是对日志数据实施“正常化”。一旦数据压缩为通用的组件，就很容易把这个网络作为一个整体进行分析，而不是作为一个单独的日志项目进行分析。这样就可以更好地根据轻重缓急对发现的问题进行处理或者做出反应。
日志数据的处理是很困难的。日志信息中包含珍贵的钻石信息。但是，你需要挖掘很多泥土才能找到这些钻石。海量的日志数据使有效地利用这些数据成为表明上不可克服的挑战。然而，有SEM(安全事件管理器)等工具软件能够帮助你查找数据。但是，没有确定如何使用日志数据的流程，没有能够有效地分析日志数据并且对日志数据中发现的信息做出反应的经过培训的人员，这种工具将毫无用处。
2.当今的企业和组织在IT信息安全领域面临比以往更为复杂的局面。这既有来自于企业和组织外部的层出不穷的入侵和攻击，也有来自于企业和组织内部的违规和泄漏。
为了不断应对新的安全挑战，企业和组织先后部署了防病毒系统、防火墙、入侵检测系统、漏洞扫描系统、UTM，等等，这些复杂的IT资源及其安全防御设施、包括网络设备、系统及应用在运行过程中不断产生大量的日志和事件。这些日志对于网络的正常运营非常重要，它记录了系统每天发生各种各样的事情，你可以通过它来检查错误发生的原因，监控用户的使用行为，发现异常情况或者受到攻击时攻击者留下的痕迹。
尽管审查日志可以帮助管理人员发现很多安全入侵和违规行为，但是由于这项工作对于管理人员的专业技术水平较高，往往很难普及，大多数情况下只能作为专业安全服务公司提供的一项服务。
此外，从信息与网络安全的发展趋势来看，网络攻击的手段越来越多样化，并且攻击手法越来越隐蔽，并且攻击者可以借助不同的技术手段设置多重跳板，追查变得无比困难。从企业和组织内部来看，各类IT资源，设备飞速膨胀，设备本身产生的日志数量也呈指数级增长，且设备的日志审计都相对孤立，无法形成有效的关联，其单独的日志分析结果对安全问题没有太大帮助，而海量日志的产生也使分析成为空想，导致日志只能简单丢弃，使网络安全的检测与审计变为空谈。
可以说，当前复杂的业务网络环境使得即便是有经验的安全专家也难以透过传统的日志审查方式去审计网络安全，而必须借助提高日志审计效率的外部工具。
对于一个日志审计系统，从功能组成上至少应该包括信息采集、信息分析、信息存储、信息展示四个基本功能：
1)信息采集功能：系统能够通过某种技术手段获取需要审计的日志信息。对于该功能，关键在于采集信息的手段种类、采集信息的范围、采集信息的粒度（细致程度）。
2)信息分析功能：是指对于采集上来的信息进行分析、审计。这是日志审计系统的核心，审计效果好坏直接由此体现出来。在实现信息分析的技术上，简单的技术可以是基于数据库的信息查询和比较；复杂的技术则包括实时关联分析引擎技术，采用基于规则的审计、基于统计的审计、基于时序的审计，以及基于人工智能的审计算法，等等。
3)信息存储功能：对于采集到原始信息，以及审计后的信息都要进行保存，备查，并可以作为取证的依据。在该功能的实现上，关键点包括海量信息存储技术、以及审计信息安全保护技术。
4)信息展示功能：包括审计结果展示界面、统计分析报表功能、告警响应功能、设备联动功能，等等。这部分功能是审计效果的最直接体现，审计结果的可视化能力和告警响应的方式、手段都是该功能的关键。
**********************************************************************
临时插入的评论：一般的文章，这里就要对比了！开源的不好，专业的好。然后介绍一下专业软件的界面、交换性、对比测试。再找几个砖家和成功安利来陪绑一番....
这里只看技术标准，提供开源软件。当然也有专业版本的。但是国内诸多“搞科技”公司的决策者，能够意识到光花钱带不来眼前实际现金流的(信息基础工作）重要性的多乎哉？--没有也..他们都在忙着堆积自己和能利用上的朋友们的脂肪、可持续性地向三高发展、玩高雅的搞尔富运动呢......
**********************************************************************
3.参考标准：
RFC 3164 RFC 3195
http://www.rfc-editor.org/rfc/
初步解决方案：
http://sourceforge.net/projects/os-sim/
http://www.secservice.net/bbs/viewtopic.php?f=19&t=20
就此暂停，授人以鱼不如授人以渔....
探索之路无止境！