利用LogMiner分析Oracle的日志文件

我们有时候须要追踪数据误删除或用户的恶意操作情况,此时我们不仅须要查出履行这些操作的数据库账号,还须要知道操作是由哪台客户端(IP地址等)发出的。针对这些问题,一个最有效实用而又低成本的办法就是分析Oracle数据库的日志文件。本文将就Oracle日志分析技能做深入探讨。


一、如何分析即LogMiner说明

从目前来看,分析Oracle日志的唯一办法就是应用Oracle公司供给的LogMiner来进行, Oracle数据库的所有更改都记载在日志中,但是原始的日志信息我们基本无法看懂,而LogMiner就是让我们看懂日志信息的工具。从这一点上看,它和tkprof差不多,一个是用来分析日志信息,一个则是格式化跟踪文件。通过对日志的分析我们可以实现下面的目的:

1、查明数据库的逻辑更改;

2、侦查并更正用户的误操作;

3、履行事后审计;

4、履行变化分析。

不仅如此,日志中记载的信息还包括:数据库的更改历史、更改类型(INSERT、UPDATE、DELETE、DDL等)、更改对应的SCN号、以及履行这些操作的用户信息等,LogMiner在分析日志时,将重构等价的SQL语句和UNDO语句(分辨记载在V$LOGMNR_CONTENTS视图的SQL_REDO和SQL_UNDO中)。这里须要注意的是等价语句,而并非原始SQL语句,例如:我们最初履行的是“delete a where c1 <>cyx;”,而LogMiner重构的是等价的6条DELETE语句。所以我们应该意识到V$LOGMNR_CONTENTS视图中显示的并非是原版的现实,从数据库角度来讲这是很容易理解的,它记载的是元操作,因为同样是“delete a where c1 <>cyx;”语句,在不同的环境中,实际删除的记载数可能各不相同,因此记载这样的语句实际上并没有什么实际意义,LogMiner重构的是在实际情况下转化成元操作的多个单条语句。

另外由于Oracle重做日志中记载的并非原始的对象(如表以及其中的列)名称,而只是它们在Oracle数据库中的内部编号(对于表来说是它们在数据库中的对象ID,而对于表中的列来说,对应的则是该列在表中的排列序号:COL 1, COL 2 等),因此为了使LogMiner重构出的SQL语句易于识别,我们须要将这些编号转化成相应的名称,这就须要用到数据字典(也就说LogMiner本身是可以不用数据字典的,详见下面的分析过程),LogMiner利用DBMS_LOGMNR_D.BUILD()过程来提取数据字典信息。

LogMiner包括两个PL/SQL包和几个视图:

1、dbms_logmnr_d包,这个包只包括一个用于提取数据字典信息的过程,即dbms_logmnr_d.build()过程。

2、dbms_logmnr包,它有三个过程:

add_logfile(name varchar2, options number) - 用来添加/删除用于分析的日志文件;

start_logmnr(start_scn number, end_scn number, start_time number,end_time number, dictfilename varchar2, options number) - 用来开启日志分析,同时肯定分析的时间/SCN窗口以及确认是否应用提取出来的数据字典信息。

end_logmnr() - 用来终止分析会话,它将回收LogMiner所占用的内存。

与LogMiner相关的数据字典。

1、v$logmnr_dictionary,LogMiner可能应用的数据字典信息,因logmnr可以有多个字典文件,该视图用于显示这方面信息。

2、v$logmnr_parameters,当前LogMiner所设定的参数信息。

3、v$logmnr_logs,当前用于分析的日志列表。

4、v$logmnr_contents,日志分析成果。

二、Oracle9i LogMiner的加强:

1、支持更多数据/存储类型:链接/迁移行、CLUSTER表操作、DIRECT PATH插入以及DDL操作。在V$LOGMNR_CONTENTS的SQL_REDO中可以看到DDL操作的原句(CREATE USER除外,其中的密码将以加密的情势涌现,而不是原始密码)。如果TX_AUDITING初始化参数设为TRUE,则所有操作的数据库账号将被记载。

2、提取和应用数据字典的选项:现在数据字典不仅可以提取到一个外部文件中,还可以直接提取到重做日志流中,它在日志流中供给了操作当时的数据字典快照,这样就可以实现离线分析。

3、许可对DML操作按事务进行分组:可以在START_LOGMNR()中设置COMMITTED_DATA_ONLY选项,实现对DML操作的分组,这样将按SCN的顺序返回已经提交的事务。

4、支持SCHEMA的变化:在数据库打开的状况下,如果应用了LogMiner的DDL_DICT_TRACKING选项,Oracle9i的LogMiner将自动对比最初的日志流和当前体系的数据字典,并返回精确的DDL语句,并且会自动侦查并标记当前数据字典和最初日志流之间的差别,这样即使最初日志流中所涉及的表已经被更改或者基本已经不存在,LogMiner同样会返回精确的DDL语句。

5、在日志中记载更多列信息的才能:例如对于UPDATE操作不仅会记载被更新行的情况,还可以捕捉更多前影信息。

6、支持基于数值的查询:Oracle9i LogMiner在支持原有基于元数据(操作、对象等)查询的基本上,开始支持基于实际涉及到的数据的查询。例如涉及一个工资表,现在我们可以很容易地查出员工工资由1000变成2000的原始更新语句,而在之前我们只能选出所有的更新语句。

三、Oracle8i/9i的日志分析过程

LogMiner只要在实例起来的情况下都可以运行,LogMiner应用一个字典文件来实现Oracle内部对象名称的转换,如果没有这个字典文件,则直接显示内部对象编号,例如我们履行下面的语句:

delete from C.A where C1 = ‘gototop’ and ROWID = AAABg1AAFAAABQaAAH;
如果没有字典文件,LogMiner分析出来的成果将是:
delete from UNKNOWN.OBJ# 6197 where COL 1 = HEXTORAW(d6a7d4ae) and ROWID
 = AAABg1AAFAAABQaAAH;



如果想要应用字典文件,数据库至少应该出于MOUNT状况。然后履行dbms_logmnr_d.build过程将数据字典信息提取到一个外部文件中。下面是具体分析步骤:

1、确认设置了初始化参数:UTL_FILE_DIR,并确认Oracle对改目录拥有读写权限,然后启动实例。示例中UTL_FILE_DIR参数如下:

SQL> show parameter utl
NAME                         TYPE        VALUE
------------------------ ----------- ------------------------------
utl_file_dir                 string      /data6/cyx/logmnr



这个目录首要用于寄存dbms_logmnr_d.build过程所产生的字典信息文件,如果不用这个,则可以不设,也就跳过下面一步。

2、生成字典信息文件:

exec dbms_logmnr_d.build(dictionary_filename =>
dic.ora,dictionary_location => /data6/cyx/logmnr);



其中dictionary_location指的是字典信息文件的寄存位置,它必需完全匹配UTL_FILE_DIR的值,例如:假设UTL_FILE_DIR=/data6/cyx/logmnr/,则上面这条语句会出错,只因为UTL_FILE_DIR后面多了一个“/”,而在很多其它处所对这一“/”是不敏感的。

dictionary_filename指的是放于字典信息文件的名字,可以任意取。当然我们也可以不明确写出这两个选项,即写成:

exec dbms_logmnr_d.build(dic.ora,/data6/cyx/logmnr);

如果你第一步的参数没有设,而直接开始这一步,Oracle会报下面的差错:

ERROR at line 1:
ORA-01308: initialization parameter utl_file_dir is not set
ORA-06512: at SYS.DBMS_LOGMNR_D, line 923
ORA-06512: at SYS.DBMS_LOGMNR_D, line 1938
ORA-06512: at line 1



须要注意的是,在oracle817 for Windows版中会涌现以下差错:

14:26:05 SQL> execute dbms_logmnr_d.build(oradict.ora,c:oracleadminoralog);
BEGIN dbms_logmnr_d.build(oradict.ora,c:oracleadminoralog); END;
*
ERROR at line 1:
ORA-06532: Subscript outside of limit
ORA-06512: at SYS.DBMS_LOGMNR_D, line 793
ORA-06512: at line 1



解决方法:

编辑$ORACLE_HOME/rdbms/admindbmslmd.sql文件,把其中的
TYPE col_desc_array IS VARRAY(513) OF col_description;
改成:
TYPE col_desc_array IS VARRAY(700) OF col_description;



保存文件,然后履行一遍这个脚本:

15:09:06 SQL> @c:oracleora81
dbmsadmindbmslmd.sql
Package created.
Package body created.
No errors.
Grant succeeded.



然后重新编译DBMS_LOGMNR_D包:

15:09:51 SQL> alter package DBMS_LOGMNR_D compile body;
Package body altered.
之后重新履行dbms_logmnr_d.build即可:
15:10:06 SQL> execute dbms_logmnr_d.build(oradict.ora,c:oracleadminoralog);
PL/SQL procedure successfully completed.



3、添加须要分析的日志文件

SQL>exec dbms_logmnr.add_logfile( logfilename=>
/data6/cyx/rac1arch/arch_1_197.arc, options=>dbms_logmnr.new);
PL/SQL procedure successfully completed.



这里的options选项有三个参数可以用:

NEW - 表现创造一个新的日志文件列表

ADDFILE - 表现向这个列表中添加日志文件,如下面的例子

REMOVEFILE - 和addfile相反。

SQL> exec dbms_logmnr.add_logfile( logfilename=>
/data6/cyx/rac1arch/arch_2_86.arc, options=>dbms_logmnr.addfile);
PL/SQL procedure successfully completed.



4、当你添加了须要分析的日志文件后,我们就可以让LogMiner开始分析了:

SQL> exec dbms_logmnr.start_logmnr(dictfilename=>/data6/cyx/logmnr/dic.ora);
PL/SQL procedure successfully completed.



如果你没有应用字典信息文件(此时我们只须要启动实例就可以了),那么就不须要跟dictfilename参数:

SQL> exec dbms_logmnr.start_logmnr();
PL/SQL procedure successfully completed.



当然dbms_logmnr.start_logmnr()过程还有其它几个用于定义分析日志时间/SCN窗口的参数,它们分辨是:

STARTSCN / ENDSCN - 定义分析的起始/收场SCN号,

STARTTIME / ENDTIME - 定义分析的起始/收场时间。

例如下面的过程将只分析从 2003-09-21 09:39:00到2003-09-21 09:45:00这段时间的日志:

SQL> exec dbms_logmnr.start_logmnr(dictfilename=>/data6/cyx/logmnr/dic.ora , -
starttime => 2003-09-21 09:39:00,endtime => 2003-09-21 09:45:00);
PL/SQL procedure successfully completed.



上面过程第一行结尾的“-”表现转行,如果你在同一行,则不须要。我们可以看到有效日志的时间戳:

SQL> select distinct timestamp from v$logmnr_contents;
TIMESTAMP
-------------------
2003-09-21 09:40:02
2003-09-21 09:42:39



这里须要注意的是,因为我之前已经设置NL2005-1-31_FORMAT环境变量,所以上面的日期可以直接按这个格式写就行了,如果你没有设,则须要应用to_date函数来转换一下。

SQL> !env|grep NLS
NLS_LANG=american_america.zhs16cgb231280
NL2005-1-31_FORMAT=YYYY-MM-DD HH24:MI:SS
ORA_NLS33=/oracle/oracle9/app/oracle/product/9.2.0/ocommon/nls/admin/data
应用to_date的格式如下:
exec dbms_logmnr.start_logmnr(dictfilename=>/data6/cyx/logmnr/dic.ora,-
starttime => to_date(2003-09-21 09:39:00,YYYY-MM-DD HH24:MI:SS),-
endtime => to_date(2003-09-21 09:45:00,YYYY-MM-DD HH24:MI:SS));



STARTSCN 和ENDSCN参数应用办法相似。

5、好了,在上面的过程履行收场之后,我们就可以通过拜访与LogMiner相关的几个视图来提取我们须要的信息了。其中在v$logmnr_logs中可以看到我们当前分析的日志列表,如果数据库有两个实例(即OPS/RAC),在v$logmnr_logs中会有两个不同的THREAD_ID。

而真正的分析成果是放在v$logmnr_contents中,这里面有很多信息,我们可以依据须要追踪我们感兴致的信息。后面我将单独列出来讲常见的追踪情况。

6、全部收场之后,我们可以履行dbms_logmnr.end_logmnr过程退出LogMiner分析过程,你也可以直接退出SQL*PLUS,它会自动终止。

四、如何利用LogMiner分析Oracle8的日志文件

虽然说LogMiner是Oracle8i才推出来,但我们同样可以用它来分析Oracle8的日志文件,只不过稍微麻烦了一点,并且有必定的限制,下面是具体做法:

我们首先复制Oracle8i的$ORACLE_HOME/rdbms/admin/dbmslmd.sql脚本到Oracle8数据库所在主机的同样目录;这个脚本用于创造dbms_logmnr_d包(注意,Oracle9i中还将创造dbms_logmnr包),如果是8.1.5脚本名字为dbmslogmnrd.sql。然后在Oracle8的数据库上运行这个脚本,之后应用dbms_logmnr_d.build过程创造字典信息文件。现在我们就可以把Oracle8的归档日志连同这个字典信息文件复制到Oracle8i数据库所在的主机上,之后在Oracle8i数据库中从上面分析过程的第三步开始分析Oracle8的日志,不过

dbms_logmnr.start_logmnr()中应用的是Oracle8的字典信息文件。

依照我前面所说的那样,如果不是字典文件,我们则可以直接将Oracle8的归档日志复制到Oracle8i数据库所在主机,然后对它进行分析。

其实这里涉及到了一个跨平台应用LogMiner的问题,笔者做过试验,也可以在Oracle9i中来分析Oracle8i的日志。但这些都是有所限制的,首要表现在:

1、LogMiner所应用的字典文件必需和所分析的日志文件是同一个数据库所产生的,并且该数据库的字符集应和履行LogMiner数据库的相同。这很好理解,如果不是同一个数据库所产生就不存在对应关系了。

2、生成日志的数据库硬件平台和履行LogMiner数据库的硬件平台请求一致,操作体系版本可以不一致。笔者做试验时(如果读者有兴致可以到我网站http://www.ncn.cn上下载试验全过程,因为太长就不放在这里了),所用的两个数据库操作体系都是Tru64 UNIX,但一个是 V5.1A,另一个则是V4.0F。如果操作体系不一致则会涌现下面的差错:

ORA-01284: file /data6/cyx/logmnr/arch_1_163570.arc cannot be opened
ORA-00308: cannot open archived log /data6/cyx/logmnr/arch_1_163570.arc
ORA-27048: skgfifi: file header information is invalid
ORA-06512: at SYS.DBMS_LOGMNR, line 63
ORA-06512: at line 1



五、分析v$logmnr_contents

前面我们已经知道了LogMiner的分析成果是放在v$logmnr_contents中,这里面有很多信息,我们可以依据须要追踪我们感兴致的信息。那么我们通常感兴致的有哪些呢?

1、追踪数据库结构变化情况,即DDL操作,如前所述,这个只有Oracle9i才支持:

SQL> select timestamp,sql_redo from v$logmnr_contents2 
where upper(sql_redo) like %CREATE%;
TIMESTAMP
-------------------
SQL_REDO
-------------------------
2003-09-21 10:01:55
create table t (c1 number);



2、追踪用户误操作或恶意操作:

例如我们现实中有这样需求,有一次我们发明一位员工通过程序修改了业务数据库信息,把部分电话的收费类型改成免费了,现在就请求我们从数据库中查出到底是谁干的这件事?怎么查?LogMiner供给了我们分析日志文件的手段,其中v$logmnr_contents的SESSION_INFO列包括了下面的信息:

login_username=NEW_97 
client_info= OS_username=oracle8 Machine_name=phoenix1
 OS_terminal=ttyp3 OS_process_id=8004 OS_program name=sqlplus@phoenix1
 (TNS V1-V3)



虽然其中信息已经很多了,但在我们的业务数据库中,程序是通过相同的login_username登录数据库的,这样单从上面的信息是很难断定的。

不过我们注意到,因为公司利用服务器不是每个人都有权限在上面写程序的,一般恶意程序都是直接通过他自己的PC连到数据库的,这就须要一个精确的定位。IP追踪是我们首先想到的,并且也满足我们的实际请求,因为公司内部IP地址分配是统一管理的,能追踪到IP地址我们就可以准肯定位了。但从面的SESSION_INFO中我们并不能直接看到IP,不过我们还是有方法的,因为这个SESSION_INFO里面的内容其实是日志从V$SESSION视图里提取的,我们可以在生产数据库中创造一个追踪客户端IP地址的触发器:

create or replace trigger on_logon_trigger
after logon on database
begin
  dbms_application_info.set_client_info(sys_context(userenv, ip_address));
end;
/



现在,我们就可以在V$SESSION视图的CLIENT_INFO列中看到新登录的客户端IP地址了。那么上面的提出的问题就可以迎刃而解了。假如被更新的表名为HMLX,我们就可以通过下面的SQL来找到所需信息:

SQL > select session_info ,sql_redo from v$logmnr_contents 
2 where upper(operation) = UPDATE  and upper(sql_redo) like %HMLX%
3 /
SESSION_INFO
-----------------------------------------
SQL_REDO
-----------------------------------------
login_username=C client_info=10.16.98.26 OS_username=sz-xjs-chengyx Machine_name
=GDTELSZ-XJS-CHENGYX
update C.HMLX set NAME = free where NAME = ncn.cn and ROWID = AAABhTAA
FAAABRaAAE;



好了,到此为止,这篇文章就要收场了,如果读者朋友还有什么疑问,可以登录我的个人网站(www.ncn.cn)来获得最新消息,也可以通过MSN(gototop_ncn@hotmail.com)直接和我联系。

六、参考资料:

1、Technical White Paper Oracle9i LogMiner

2、Metalink文档:How to Setup LogMiner(文档ID:111886.1)

原文地址:https://www.cnblogs.com/weaver1/p/2495621.html