蜻蜓手游网,分享真实精致软件资源!

首页 → 科技资讯 → 服务器内存够但进程被杀,OOM 到底是怎么触发的

服务器内存够但进程被杀,OOM 到底是怎么触发的

来源:本站整理时间:2026/11/13 15:18:08作者:蜻蜓手游网编辑部点击:0次评论:0次

有一种故障特别让人困惑:监控面板上内存使用率只有六成,业务进程却莫名其妙消失了,日志里没有任何报错,服务重启之后就恢复了。多数人的第一反应是内存不够,于是加内存,加完发现问题还在。

服务器内存监控与进程管理

这类情况的根源在于,决定进程生死的不只是内存总量。内核在分配内存失败时会启动一套保护机制,主动杀掉占用最多的进程,而这个判断依赖的不是监控看到的「使用率」,而是若干项具体的限制和当时的实际状态。

所以排查的第一步不是加内存,而是弄清楚到底哪一项先到顶了。

这篇把三类常见原因拆开:统计口径的差异、各类内存限制、以及回收失败的情形,每一类说清怎么确认、怎么修。

上面这些落到实际,终究要挑一台机器来跑——这几家都是云服务器里比较有代表性的,4 家可选,价格从 22 元拉到 43 元

商家推荐款配置带宽与流量月费档位参照
云途HK.N4.A2 核 2G 20G200Mbps / 500G22 元存储型,盘位优先
isvoroHK CN2 Core2 核 2G 30G100Mbps / 300G25 元入门档,先验线路
rabisuAydn VPS x84 核 8G 60G500Mbps / 不限34.5 元常规口径,注意超售比
spartanhost10Gbps 系列4 核 8G 40G10Gbps / 2T43.2 元见正文

第一步:确认到底是不是被系统杀的

还有一个细节是终止记录的级别,内核日志分不同的严重程度,内存相关的记录通常在中高等级,用默认级别过滤可能会漏掉。判断方法是查看时不要只过滤最高等级。

记录里还会写明触发的是全局限制还是单个进程,这两者含义不同,前者说明整机紧张,后者说明这个进程自己占太多。判断方法是读记录里的触发条件描述。

进程消失和进程被杀是两件事。程序崩溃会留下异常栈或错误日志,而被内核终止时通常只有一条内核日志,应用层看不到任何痕迹,所以先要区分是哪一种。判断方法是查内核日志里有没有与内存相关的终止记录。

内核日志里的终止记录会写明被杀进程的名字和当时的资源状态,包括总内存、可用内存、缓存占用这些数值,这几个数字是后续判断的唯一依据。判断方法是把那条记录完整读出来,不要只看进程名。

如果内核日志里没有记录,说明不是被内核杀的,可能是进程自己退出、被外部信号终止、或者被某个管理工具重启,排查方向完全不同。判断方法是查系统日志和应用日志里的退出原因。

还有一个容易混淆的情况是进程被守护工具自动重启,看起来像是「挂了又自己好了」,实际是被判定为不健康然后重启的,这和内存无关。判断方法是看守护工具的日志。

确认之后要记录几个关键数值:终止时系统报告的可用内存、缓存占用、以及被杀进程自身的占用,这三个数决定了属于哪一类原因。判断方法是把每次终止的记录汇总成表。

如果是反复被杀,要把每次的记录都收集起来,看是否有规律,比如每隔固定时间、或者在某个操作之后,规律本身能指向原因。判断方法是按时间排序后找共性。

真实可用空间要扣掉缓存和预留才算准。云途那条产品线里高内存的档位分得细,按扣掉缓存后的用量选档更靠谱。

第一类原因:统计口径不一样

还有一个相关的概念是内存预留,系统会为内核保留一部分内存,这部分在任何情况下都不给用户进程使用,所以标称容量里有一块是永远拿不到的。判断方法是看预留配置。

判断真实可用空间还要考虑换页空间,有的系统会启用换页,换页能给内存减压但速度慢很多,如果看到换页活跃说明已经在用它兜底了。判断方法是看换页读写是否持续非零。

监控看到的「可用内存」和内核判断时用的口径不同。监控通常把缓存算作可用,因为缓存理论上可以回收;而内核在紧急分配时,回收缓存需要时间而且不一定成功,所以它的判断更保守。判断方法是同时看「含缓存可用」和「不含缓存可用」两个数字。

缓存的作用是加速文件读取,它占用内存但不影响分配,只有在内存紧张时才会被回收。问题在于回收有成本,回收不过来时分配就会失败,于是就触发了保护机制。判断方法是看终止前后的缓存占用是否出现剧烈下降。

还有一种情况是内存被大量文件页占着,这些页来自文件读取,理论上可以丢弃重读,但如果有进程正在使用就不会被回收,实际可用空间比统计显示的要小。判断方法是看被锁定的内存占比。

内存监控与进程

所以只看使用率会误判,一个显示六成使用率的机器,实际可用分配空间可能只有两成。判断方法是按「总量减缓存减预留」估算真实可用空间。

判断方法的具体做法是:把监控里的缓存单独列出来,然后算一个「扣掉缓存后」的可用值,这个值才是内核真正能用的。判断方法是把两个数字放在同一张图上对比。

如果发现扣掉缓存后可用值长期偏低,说明内存确实紧张,加内存是对的;如果扣掉之后还有富余,那问题就在别处。判断方法是按这个结论决定下一步排查方向。

限制藏在四层里,只有容器和进程自己知道。rabisu那个按月付费的档环境独立,配额和主机限制都能自己掌控。

第二类原因:各类限制先到顶

还有一个是进程数限制,不是内存限制但表现相似,进程创建失败看起来像资源不足,实际是数量到顶。判断方法是核对进程数上限。

容器环境有自己的内存配额,配额是独立于主机的,主机还有很多余量,容器内部的进程却会因为触碰配额被杀。判断方法是看容器运行时报告的配额值和实际使用量。

用户级别的限制也会触发,某些系统对单个用户的可用内存设了上限,超过就终止该用户下的进程,这个限制通常写在一个配置文件里,不看就发现不了。判断方法是查用户资源限制配置。

进程级别的地址空间限制同样存在,有的服务配置了虚拟内存上限,虽然物理内存充足,但虚拟地址空间用尽一样会被终止。判断方法是看进程配置里的内存上限参数。

还有一种情况是内存映射文件占用,这类内存计入进程的地址空间但不一定占用物理内存,看起来虚拟用量很大而实际用量不大,容易误判。判断方法是区分虚拟内存和物理内存两项。

这些限制的共同特点是不显示在主机监控里,所以看监控永远觉得「内存够」,而实际早就触顶了。判断方法是逐项核对这些隐藏的配置和限制。

所以排查时要把主机、容器、用户、进程四个层级的限制都查一遍,哪一层的数值最接近上限,哪一层就是原因。判断方法是列一张表,四层的限值和实际用量并排。

第三类原因:分配失败但总量充足

还有一个容易被忽略的是后台任务的内存占用,备份、压缩、索引重建这类任务会在某个时刻申请大量内存,而它们平时不占,所以监控的基线里看不到。判断方法是把终止时间和任务调度时间对照。

内存碎片会让总量充足也分配不出来。系统里有大量分散的空闲内存块,但需要一个连续的大块时找不到,于是分配失败。判断方法是看内存碎片指标,或者观察长时间运行后是否更容易出现。

被锁定的内存过多也会导致这个问题,锁定内存不允许换出,保证实时性,但如果锁得太多,可用空间就被永久占住了。判断方法是看锁定内存的占比是否异常。

内存泄露是渐进式的,进程的占用量在慢慢增长,增长到某个点触发保护。判断方法是按天记录进程占用,看曲线是否持续上升。

服务器机柜

还有一种是一次性的大分配,程序在处理大文件或大查询时申请了远超平时的内存,瞬时顶穿。判断方法是看终止时间点是否对应某个业务操作。

这几种情况的共同点是「有解但不好找」,需要看进程内部的状态,而不只是主机指标。判断方法是结合应用日志和内存曲线一起分析。

所以当总量充足却分配失败时,方向应该从主机转向进程,看它内部是怎么申请和释放内存的。判断方法是先确认没有泄露,再看是否有大对象。

容器环境要注意的差异

还有一个容器特有的问题是缓存不受配额控制,某些文件系统的缓存统计在宿主机上而不在容器内,导致容器以为自己用得很少。判断方法是看宿主机的缓存增长是否和容器活动相关。

容器里看到的内存和主机上的不一样,容器内的监控工具可能显示主机的数值,也可能显示配额的数值,取决于配置。判断方法是明确容器监控读的是哪一层的数据。

容器配额包含缓存,缓存用完也算超限,这和主机上「缓存可回收」的逻辑不同,所以容器更容易因为缓存而触发限制。判断方法是看容器的缓存占用是否计入配额。

还有一个差异是内存超分,宿主机上多个容器共用物理内存,各自配额之和可能超过物理总量,高峰期互相挤压。判断方法是看宿主机的总体使用率。

所以容器的排查顺序是先看配额、再看宿主机、最后看进程,而主机的排查顺序是先看总量、再看限制、最后看进程。判断方法是按环境选对应的顺序。

判断容器问题时最好拿到两套数据:容器内的和宿主机的,两者对不上往往说明配额或者指标口径有问题。判断方法是做一次对照。

还有一个实用建议是给容器设配额时留出余量,按实际峰值的两倍配置,因为容器内的缓存和临时分配会额外占用。判断方法是按实测峰值调整。

修复的先后顺序

还有一个动作是给关键进程设保护优先级,让内核在杀进程时优先选非关键的,这样即使内存紧张也不至于把核心服务杀掉。判断方法是看是否配置了调整值。

第一步是保留现场,把内核日志、监控数据、进程状态都存下来,再重启。重启之后很多信息就没了,而这次的记录是下次判断的依据。判断方法是建立一份终止事件记录。

第二步是核对限制,把四层限制逐项查一遍,找出最接近的那个,这一项往往是最快的突破口。判断方法是列一张限值对照表。

第三步是优化进程的内存使用,检查是否有不必要的缓存、是否有大批量操作可以分批做。判断方法是看单次操作的峰值占用。

第四步才考虑加配置,因为加配置只能解决「确实不够」这一类,对其他两类无效。判断方法是确认了是总量不足再加。

第五步是配置监控告警,对内存相关指标设阈值,在触发保护之前就先告警。判断方法是看告警能否在终止前触发。

所以修复的顺序是从便宜到贵:先查配置、再优化代码、最后才加钱。判断方法是按这个顺序推进,不要跳步。

性能监控屏

几个常见的误判

误判七是以为内存越大越安全,实际上大内存机器上的大分配也会更大,问题依然存在,只是推迟发生。判断方法是看问题是否随配置升级而推迟而非消失。

误判一是看到内存使用率不高就认为不是内存问题,实际上决定生死的是扣掉缓存后的可用值,而不是使用率。判断方法是看终止记录的原始数值。

误判二是直接加内存,对总量不足有效,对配额限制、碎片、泄露都无效,加了还是会被杀。判断方法是先确认原因再加。

误判三是只看主机不看容器,容器配额往往是最先到顶的那一项,而在主机监控里完全看不到。判断方法是把容器配额单独列出来。

误判四是把进程重启当成解决,重启能清空内存暂时缓解,但根本原因还在,还会再来。判断方法是看重启后多久复发。

误判五是相信应用日志,被内核终止的进程不会留下日志,日志里什么都没有不代表没问题。判断方法是查内核日志。

误判六是设了告警但阈值太高,「使用率九成」对内存来说已经很危险了,因为剩下的空间不够一次大分配。判断方法是把阈值调到七成左右。

泄露的曲线是单调上升的,跑一周就能看出来。sixtynet那几档按月计费,观察一周的成本比买大内存低得多。

怎么看出是不是内存泄露

还有一个验证泄露的方法是观察重启前后的差异,重启后占用回到基线,然后逐渐回到原来的高点,这个循环本身就证明了泄露。判断方法是记录重启后的曲线。

泄露的特征是占用持续上升而不回落,正常程序在操作结束后会释放内存,释放之后占用应该回到基线,回不去的就说明有泄漏。判断方法是记录进程占用在业务低谷时的数值,连续几天对比。

还有一种假泄露是内存分配器没把内存还给系统,程序确实释放了,但分配器留着备用,看起来占用不降。这类不影响稳定性,但会让人误判。判断方法是看分配器的统计和实际占用的差异。

查看方式有两个方向,一是从系统层面看进程的常驻内存和虚拟内存两项,二是从应用层面看它对内存的自报数值,两者对不上往往是分配器的问题。判断方法是同时采集两个数值。

判断是否真泄露的关键是看趋势,泄漏是持续的、单调上升的,而波动型的内存使用是正常的。判断方法是画一周的曲线,看是否单调。

如果确认是泄露,先定位是哪段代码,通常和缓存、连接、大对象持有有关,比如缓存没有上限、连接没有归还、集合一直往里加。判断方法是按功能模块分别观察。

处理泄露的收益很高,因为它不受配置上限影响,加多少内存都能耗光。判断方法是把定位泄露放在加配置之前。

告警该怎么设才有用

最后一个建议是告警要有人响应,设了没人看等于没设,要明确谁负责处理以及处理不了时找谁。判断方法是看告警的接收人和响应记录。

内存告警最容易犯的错是按使用率设一个固定阈值,比如九成告警,而对内存来说九成已经很危险,因为剩余空间不够一次大分配。判断方法是把阈值下调到七成左右。

机房走道

更有用的告警是基于「扣掉缓存后的可用值」,这个指标才反映真实情况,使用率可能是六成而可用值只剩一成。判断方法是按可用值设阈值,而不是按使用率。

还要设增长速率的告警,比如一小时内上涨超过某个值就告警,这能提前发现突发的大分配或者泄露。判断方法是看正常业务的波动范围。

容器环境下要按配额设告警,而不是按主机总量,因为容器先撞的是配额。判断方法是把配额使用率单独设一条。

告警还要分级,接近阈值时提醒、触碰阈值时告警、被杀时立即通知,三级的处理动作不同,混在一起会让人麻木。判断方法是看告警是否有分级。

最后是告警要有可操作的信息,只报一句「内存高」没有用,要带上当前值、扣除缓存后的可用值、以及占用最多的进程。判断方法是看告警内容够不够定位。

配置该怎么调整

最后一个做法是给内存敏感的操作加保护,比如限制单次请求的并发数、给大查询设超时,让峰值不至于冲得太高。判断方法是看保护是否覆盖了主要的大内存操作。

如果确认是总量不足,加内存是最直接的,但要按峰值加而不是按平均值加,峰值和平均值的差距往往在两倍以上。判断方法是看百分之九十五分位的用量。

如果确认是容器配额不足,调整配额比加主机内存有效,因为瓶颈在配额这一层。判断方法是先调配额观察效果。

如果是缓存占满导致的,可以调整缓存策略,给缓存设一个上限,让它主动回收而不是占满才释放。判断方法是看缓存是否有明确的淘汰策略。

如果是碎片或者大分配导致的,可以把大操作分批做,或者预先分配一块固定内存,避免运行时找连续空间。判断方法是看失败是否集中在大操作时。

调整之后要观察一段时间,确认终止事件不再出现,而不是改完就认为解决了。判断方法是设定一个观察窗口,比如一周。

所以配置调整的原则是对症,加内存只治一类,其他几类要靠改配置或者改代码。判断方法是先定位再加钱。

把整篇收一句

最后一个问题:这次的终止记录里,扣掉缓存剩下的可用值是多少。判断方法是把这个数字算出来,答案就在它和某层限制的差距里。

内存够却被杀,说明决定的不是总量,而是扣掉缓存后的真实可用值、某一层的具体限制、或者一次连续分配的成败。

判断方法是:先在内核日志里找到终止记录确认是系统杀的,再看当时扣除缓存后的可用值,然后逐项核对主机、容器、用户、进程四层限制,哪一层最接近上限就是原因。

修复顺序是保留现场、核对限制、优化进程、最后才加配置;只加内存对三类原因中的两类无效。

最后一句:先搞清楚是哪一层先到顶,再决定要不要花钱。

本文只为提供市场讯息,所有内容及观点仅供参考,不构成投资建议,不代表本站观点和立场。投资者应自行决策与交易,对投资者交易形成的直接或间接损失,作者及本站将不承担任何责任!

AI摘要

此内容由AI根据文章内容自动生成,并已由人工审核

猜你喜欢

    相关评论

    阅读本文后您有什么感想? 已有人给出评价!

    • 2791 喜欢喜欢
    • 2101 顶顶
    • 800 难过难过
    • 1219 囧囧
    • 4049 围观围观
    • 5602 无聊无聊
    评分
    ★
    ★
    ★
    ★
    ★
    力荐
    选择头像:
    10
    999+人评分
    ★★★★★
    ★★★★
    ★★★
    ★★
    ★
    查看更多 >

    游戏推荐