HBase 集群运维排障

要解决的问题

HBase 集群的故障往往集中在几个固定位置：Master 启动卡住、hbase:meta 中 region 丢失导致表不可访问、Region 长时间停在 OPENING/CLOSING、写入路径 WAL 超时、RegionServer 宕机后 WAL 拆分恢复缓慢、复制队列堆积。这些问题的共同特点是排查路径长——需要翻 Master 与 RegionServer 日志、登录 HDFS 核对目录、确认 region 状态码，手动处理时一次误操作就可能扩大故障面。

技能如何工作

技能基于 Apache HBase 2.4.x 官方文档、HBCK2 工具文档和社区运维实践整理而成。基础信息部分梳理了关键端口（如 HMaster RPC 16000、RegionServer Web UI 16030）、配置文件（hbase-site.xml、hbase-env.sh）与 HDFS 目录（/hbase/WALs/、/hbase/MasterProcWALs/）。核心运维命令覆盖 hbase shell 常用操作、region 状态码表、hbtop 与 canary 监控。HBCK2 详解逐条给出 assigns、unassigns、bypass、fixMeta、setRegionState、scheduleRecoveries、regionInfoMismatch 等命令的用途与适用场景。故障处理按现象组织：例如 META 表损坏优先尝试 reportMissingRegionsInMeta 与 addFsRegionsMissingInMeta 在线修复，Procedure 卡住时检查 MasterProcWALs 增长情况再决定是否 bypass。此外还包含性能调优、快照备份与恢复、容量估算公式和关键监控指标。

适用边界与注意点

• 内容针对 HBase 2.4.x；HBCK2 与 1.x 的 hbck 命令差异较大，不要直接套用。
• unassigns、setRegionState、bypass 属于强制操作，会中断正常流程，建议在维护窗口执行并先确认无业务写入。
• 清空 MasterProcWALs 是最后手段，执行前务必备份。
• 参数调优（memstore、block cache、WAL 线程数等）需结合实际负载验证，不宜照搬。