n this Document
| Purpose |
| |
问题 1：警报日志显示 ora-29740 是实例崩溃/驱逐的原因 |
| 症状： |
Applies to:
Oracle Database - Enterprise Edition - Version 10.2.0.1 to 11.2.0.3 [Release 10.2 to 11.2]Information in this document applies to any platform.
Purpose
本文档针对导致实例驱逐的主要问题为 DBA 提供了一个快速概述。
Scope
DBA
Details
问题 1：警报日志显示 ora-29740 是实例崩溃/驱逐的原因
症状：
实例崩溃，警报日志显示“ORA-29740:evicted by member ...（被成员...驱逐）”错误。
可能的原因：
一个实例将另一个实例从 RAC 数据库驱逐时，出现了 ORA-29740 错误。被驱逐的实例会在警报日志中报告 ora-29740 错误。
此问题的部分原因是集群中的通信错误、向控制文件发送“心跳”失败以及其它原因。
检查所有实例的 lmon 跟踪文件，这对确定实例驱逐的原因代码而言非常重要。查找包含“kjxgrrcfgchk:Initiating reconfig”的行。
这将提供一个原因代码，如“kjxgrrcfgchk:Initiating reconfig,reason 3”。实例驱逐时发生的大多数 ora-29740 错误是由于原因 3（“通信故障”） 造成的。
Document 219361.1
a) 网络问题。
b) 资源耗尽（cpu、I/O 等）
c) 严重的数据库争用。
d) Oracle bug。
解决方案：
此问题的部分原因是集群中的通信错误、向控制文件发送“心跳”失败以及其它原因。
检查所有实例的 lmon 跟踪文件，这对确定实例驱逐的原因代码而言非常重要。查找包含“kjxgrrcfgchk:Initiating reconfig”的行。
这将提供一个原因代码，如“kjxgrrcfgchk:Initiating reconfig,reason 3”。实例驱逐时发生的大多数 ora-29740 错误是由于原因 3（“通信故障”） 造成的。
Document 219361.1
a) 网络问题。
b) 资源耗尽（cpu、I/O 等）
c) 严重的数据库争用。
d) Oracle bug。
1) 检查网络，确保无网络错误，如 UDP 错误或 IP 数据包丢失或故障错误。
2) 检查网络配置，确保所有节点上的所有网络配置均设置正确。
例如，所有节点上 MTU 的大小必须相同，并且如果使用巨帧，交换机也能够支持大小为 9000 的 MTU。
3) 检查服务器是否存在 CPU 负载问题或可用内存不足。
4) 检查数据库在实例驱逐之前是否正处于挂起状态或存在严重的性能问题。
5) 检查 CHM (Cluster Health Monitor) 输出，以查看服务器是否存在 CPU 或内存负载问题、网络问题或者 lmd 或 lms 进程出现死循环。CHM 输出只能在特定平台和版本中使用，因此请参阅 CHM 常见问题
6) 如果 OSWatcher 尚未设置，请按照
CHM 输出不可用时，使用 OSWatcher 输出将有所帮助。
2) 检查网络配置，确保所有节点上的所有网络配置均设置正确。
3) 检查服务器是否存在 CPU 负载问题或可用内存不足。
4) 检查数据库在实例驱逐之前是否正处于挂起状态或存在严重的性能问题。
5) 检查 CHM (Cluster Health Monitor) 输出，以查看服务器是否存在 CPU 或内存负载问题、网络问题或者 lmd 或 lms 进程出现死循环。CHM 输出只能在特定平台和版本中使用，因此请参阅 CHM 常见问题
6) 如果 OSWatcher 尚未设置，请按照
可能的原因：
在 RAC 中，数据库进程，例如 lmon、lmd 和 lms 会不断地和其他实例的进程通信。lmd0 进程负责管理 enqueue，而 lms 进程负责管理数据块资源并传输数据块以支持 Cache Fusion。如果这些进程中的一个或多个受阻、死循环或异常繁忙，则可能导致“IPC send timeout（IPC 发送超时）”错误。
lmon、lms 和 lmd 进程报告“IPC send timeout”错误的另一个原因是网络问题或服务器资源（CPU 和内存）问题。这些进程可能无法获得 CPU 运行调度或这些进程发送的网络数据包丢失。
涉及 lmon、lmd 和 lms 进程的通信问题导致实例驱逐。被驱逐实例的警报日志显示的信息类似于如下示例
IPC Send timeout detected.Sender: ospid 1519
Receiver: inst 8 binc 997466802 ospid 23309
如果某实例被驱逐，警报日志中的“IPC Send timeout detected（检测到 IPC 发送超时）”通常伴随着其它问题，如 ora-29740 和“Waiting for clusterware split-brain resolution（等待集群件“脑裂”解决方案）”
此处的解决方案与问题 1 相似。
lmon、lms 和 lmd 进程报告“IPC send timeout”错误的另一个原因是网络问题或服务器资源（CPU 和内存）问题。这些进程可能无法获得 CPU 运行调度或这些进程发送的网络数据包丢失。
涉及 lmon、lmd 和 lms 进程的通信问题导致实例驱逐。被驱逐实例的警报日志显示的信息类似于如下示例
IPC Send timeout detected.Sender: ospid 1519
Receiver: inst 8 binc 997466802 ospid 23309
如果某实例被驱逐，警报日志中的“IPC Send timeout detected（检测到 IPC 发送超时）”通常伴随着其它问题，如 ora-29740 和“Waiting for clusterware split-brain resolution（等待集群件“脑裂”解决方案）”
1) 检查网络，确保无网络错误，如 UDP 错误或 IP 数据包丢失或故障错误。
2) 检查网络配置，确保所有节点上的所有网络配置均设置正确。
3) 检查服务器是否存在 CPU 负载问题或可用内存不足。
4) 检查数据库在实例驱逐之前是否正处于挂起状态或存在严重的性能问题。
5) 检查 CHM (Cluster Health Monitor) 输出，以查看服务器是否存在 CPU 或内存负载问题、网络问题或者 lmd 或 lms 进程出现死循环。CHM 输出只能在特定平台和版本中使用，因此请参阅 CHM 常见问题
由于 lmon、lmd 和 lms 等不同进程与其它实例上对应的进程通信，因此当实例和数据库挂起时，这些进程可能正在等待某个资源，如 latch、enqueue 或数据块。这些等待中的进程得不到网络响应，或无法通过网络向远程实例发送任何通信。因此，其它实例将驱逐问题实例。
在执行驱逐其他实例动作的实例警报日志中，您可能会看到与以下消息类似的消息：
Remote instance kill is issued [112:1]:8
或者
Evicting instance 2 from cluster
