做视频站,服务器配置最难的不是选多大,而是决定哪些业务放在一起。转码和分发是两个核心环节,而它们的资源需求几乎相反,这也是视频站架构里最容易出错的地方:转码吃 CPU 和磁盘,分发吃带宽和内存。放在同一台上,两者会互相抢占,结果是两件事都做不好。

而很多人把这两件事放一起,是因为起步阶段量小,一台机器足够。这个阶段没问题,问题是业务上来之后没有及时分开,导致体验明显下降,而这时候再拆,成本已经高了很多。
所以判断该不该分,要看业务处于什么阶段,以及两张资源的压力比。
下面把两个环节的资源需求拆开,再说清什么时候该分、怎么分,最后给一个配置思路。
按上面这套判断去挑,大带宽方向真正要盯的是端口与额度算法。下面这 4 档都可以直接对照,价格从 43 元拉到 960 元——先按线路等级筛,再比价格
| 商家 | 推荐款 | 配置 | 带宽与流量 | 月费 | 档位参照 |
|---|---|---|---|---|---|
| sixtynet | LAX-Storage-1TB | 8 核 8G 1TB | 10Gbps / 15T | 700 美元/年 | 存储型,盘位优先 |
| sixtynet | LAX-LARGE | 8 核 16G 320G | 10Gbps / 40T | 1600 美元/年 | 见正文 |
| justg | RosCloud-04 | 5 核 8G 160G | 500Mbps / 4096G | 49.99 美元 | 常规口径,注意超售比 |
| spartanhost | 10Gbps 系列 | 4 核 8G 40G | 10Gbps / 2T | 43.2 元 | 见正文 |
转码吃 CPU,核数要按同时转的任务数配。rabisu那个四核八G的档,适合先跑起来验证转码耗时。
转码是什么资源密集
还有一个提醒:转码的并发不等于用户数。
判断方法:按上传量估算任务数。
还有一个结论:转码机应该按峰值任务配 CPU,不是按平均值。
因为任务来了就是满载。
还有一个细节:同时转码的任务数决定了核数需求。
判断方法:按峰值任务数乘每任务核数。
而这个算法,比凭感觉配准得多。
还有一个经验:转码任务最好安排在后台队列,不要和前台争。
判断方法:看任务是否有独立队列。
还有一个补充:字幕和封面生成也吃 CPU,但量小。
判断方法:看这类任务的频率。
还有一个细节:转码队列的设计比转码速度更重要。
判断方法:看任务是否按优先级排队。
而没有队列的,先来的任务会占满资源。
还有一个数据:一小时的高清视频,在普通配置上转码可能要几十分钟。
判断方法:实测一次,得出自己的耗时基准。
还有一个特点:转码的负载是突发式的,任务来了就忙,没任务就闲。
判断方法:看 CPU 曲线的形态。
而突发的负载和分发的平稳负载冲突明显。
还有一个细节:不同分辨率的转码耗时差别很大。
判断方法:按目标分辨率分段测。
而四K转码的耗时可能是高清的数倍。
还有一个补充:硬件转码能大幅降低 CPU 占用。
判断方法:确认是否支持硬件编码。
而支持的,能在同一台上做更多。
转码是把源视频转换成不同分辨率、不同编码格式的过程。
它的核心消耗是 CPU,因为编码计算量大。
判断方法:看转码任务执行时的 CPU 使用率。
而单任务的 CPU 占用通常能跑满一到两个核心。
还有磁盘。转码要读写视频文件,IO 压力不小。
判断方法:看转码期间的磁盘读写量。
而大文件连续读写会占用大量带宽。
还有一个细节:转码时间很长。一部高清视频可能要几十分钟。
判断方法:按视频时长和分辨率估。
而这个时间决定了要多少并发能力。
分发吃带宽,按并发观看数乘码率就能估出量级。sixtynet那几档的流量额度从五T到二十T,正好对应不同规模的视频站。
分发是什么资源密集
还有一个做法:按档位分别统计带宽。
而这个统计,能找出最耗资源的一档。
还有一个判断:如果峰值和均值差距在两倍以内,说明带宽买对了。
差距大的说明平时浪费。
还有一个参考:一百路高清并发约需三百到五百兆带宽。
判断方法:按自己的码率重算。
还有一个做法:多个清晰度档位按需生成,不要预生成全部。
而这能同时省 CPU 和存储。
还有一个细节:并发观看数不是注册用户数。
判断方法:按实际同时在线算。
而多数站的并发只占用户的百分之几。
还有一个指标:起播时间。它比带宽更能反映体验。
判断方法:测从点击到画面出现的时间。
而这个时间受网络和源站双重影响。
还有一个参考:标清每路约一兆,高清三到五兆,超清更高。
判断方法:按自己的清晰度档位算。
还有一个细节:分发的带宽在不同时段差别明显。
判断方法:看晚间和白天的人均在线数。
而晚间通常是高峰。
还有一个方面:视频码率决定带宽。
判断方法:按清晰度档位分别统计。
而多档位会让总带宽上升。
还有一个补充:拖动进度条会产生额外的请求。
判断方法:看这类请求的占比。

而这部分会推高峰值。
分发是把视频流送到用户,核心消耗是带宽。
一个用户看高清视频,每秒就要几兆带宽。
判断方法:按并发观看人数乘单路码率算。
而一百人同时观看,就要几百兆。
还有内存。分发需要缓存和连接状态。
判断方法:看分发服务的连接数和内存占用。
而并发连接多时,内存消耗很快。
还有一个细节:分发的带宽是持续的。
判断方法:看峰值和均值的差距。
而视频的带宽曲线通常比较平,不像网页有尖峰。
放一起会怎样
还有一个结论:资源冲突在高峰期最明显,平峰时看不出来。
判断方法:只在高峰时段观察。
还有一个做法:给两者设不同的资源配额。
而这只能在容器化之后才容易做到。
还有一个实例:转码时磁盘 IO 涨到八成,分发读视频就会卡。
判断方法:看磁盘使用率。
还有一个数据:转码期间分发的响应时间可能翻倍。
判断方法:对比转码前后的监控数据。
还有一个测法:在转码时做个简单压测,看响应时间变化。
而这个测试十几分钟就能做完。
还有一个结论:两者放一起,必然有一方要妥协。
判断方法:看哪一方在让路。
而长期让路的那一方,体验会持续下降。
还有一个现象:转码时用户反映视频起播变慢。
判断方法:测起播时间在前后的差别。
还有一个表现:转码期间网络请求的延迟上升。
判断方法:同时测 ping 和 CPU 占用。
而两者同涨的,就是互相影响。
还有一个方面:磁盘的争抢会让两者都变慢。
判断方法:看磁盘等待时间。
而等待时间在转码时明显上升。
还有一个补充:内存也可能被争抢。
判断方法:看两者的内存占用是否互相挤压。
而挤压的结果是换页增加。
两者放一起,问题出在资源抢占。
转码跑满 CPU 时,分发服务的响应会变慢。
判断方法:转码期间测页面加载和视频起播时间。
而这个测试能直接看出影响。
分发占满带宽时,转码的文件读写会变慢。
判断方法:分发高峰测转码速度。
而两者在高峰期会互相拖累。
还有一个更严重的:转码任务突发时会挤掉分发的资源。
判断方法:看转码任务是否有排队机制。
而没有排队时,同时启动几个任务就可能打满。
什么时候可以放一起
还有一个做法:设置资源告警,超了就暂停转码。
而这个机制能自动保护分发。
还有一个数据:一台四核机器大约能同时转两路高清。
判断方法:实测得出自己的数字。
还有一个条件:带宽要能同时满足分发和转码的读写。
判断方法:把两者的带宽需求加起来。
还有一个前提:机器要有独立的数据盘。
判断方法:确认系统和数据是否分盘。
还有一个做法:给转码设独立的进程组和限制。
而这个设置,能显著降低互相影响。
还有一个判断:如果每天的转码任务不到几个,一台机器完全够用。
判断方法:统计每日任务量。
还有一个前提:机器配置要够,CPU 核数不能太少。
判断方法:核数按转码并发数配。
还有一个做法:用容器或者进程限制资源。
判断方法:给转码进程设 CPU 上限。
而设了上限,能避免它抢光资源。
还有一个方面:调度时间。
判断方法:把转码安排在凌晨。
而这个安排几乎零成本。
还有一个补充:控制任务队列。

判断方法:同一时间只跑一个转码。
而排队比并行更适合小机器。
这一节给明确的条件。
第一,量小。并发观看人数少,转码任务也不多。
第二,转码在低峰做。和分发高峰错开。
第三,能接受偶尔的卡顿。
判断方法:这三点满足的,一台机器可以跑起来。
而这个阶段省钱是合理的。
还有一个做法:限制转码的并发数。
判断方法:把转码进程的 CPU 优先级调低。
而在资源紧张时,转码会让路给分发。
所以起步阶段的关键是控制,不是分离。
分开之后,分发那台最该看的是带宽额度而不是核数。justg那档五百兆配两T流量,适合分发侧的中小规模。
什么时候必须分开
还有一个数据:如果转码等待超过两小时,用户上传的体验会很差。
判断方法:看从上传到可播放的时长。
还有一个考虑:业务即将上量时提前分。
而临时拆的代价更大。
还有一个信号:开始出现转码失败或超时。
判断方法:看失败率。
还有一个判断:如果每次转码都要等到深夜,说明白天不能用。
而这个限制本身就是问题。
还有一个场景:准备做直播,那必须分开。
判断方法:直播对实时性要求极高。
还有一个数据:如果转码任务等待时间超过一小时,说明算力不足。
判断方法:看队列的平均等待时长。
还有一个信号:转码和分发的高峰时段开始重合。
判断方法:把两者的流量曲线放在一张图上。
还有一个信号:用户开始抱怨卡顿。
判断方法:看投诉的时间段是否和转码重合。
而重合的,就是原因。
还有一个方面:转码任务越积越多。
判断方法:看队列长度。
而队列增长的说明算力不足。
还有一个补充:带宽账单明显上升。
判断方法:看月度带宽用量的变化。
而这个上涨可能来自分发而不是转码。
这一节给必须分离的信号。
第一,转码影响到了分发体验。
第二,分发占满了带宽,转码排队。
第三,资源利用率长期在高位。
判断方法:这三点出现任一点,就该考虑分开。
而第三点是最直接的信号。
还有一个场景:业务增长快,转码任务量和观看量同时上升。
判断方法:看两者的增长曲线。
而同时上升时,矛盾会集中爆发。
所以分开的时机,通常在业务明显增长之后。
怎么分:三种方案
还有一个建议:先小规模验证,再全量切换。
而这能降低风险。
还有一个细节:拆开之后要重新做容量规划。
因为两者的瓶颈变了。
还有一个建议:拆之前先做一次基线记录。
这个记录会是很重要的后续参照。
还有一个细节:拆开之后要统一时间基准。
否则日志对不上。
还有一个过渡方案:先加一台做转码,分发保持原样。
而这个方案改动最小。
还有一个建议:先拆分发,因为它的收益最直接。
判断方法:看带宽成本占总成本的比例。
还有一个细节:拆开之后要统一日志和监控。
否则排查会更麻烦。
还有一个考虑:分步走的风险更低。
判断方法:先拆 CDN,再拆转码。
而这个顺序,收益最快。
还有一个方面:拆开之后的运维。
判断方法:确认团队能管几台机器。
而管不过来的,先别拆。
还有一个补充:拆开之后的成本。
判断方法:对比拆前拆后的账单。
而这个对比往往能说明选择是否正确。

第一种,转码独立,分发加 CDN。
判断方法:分发交给 CDN,源站只管转码和存储。
而这个方案的成本最低,效果最直接。
第二种,分发独立,转码单独一台。
判断方法:适合自建分发能力的场景。
而这个方案的带宽成本较高。
第三种,全部云化。
判断方法:用对象存储加转码服务加 CDN。
而这个方案的运维成本最低,但单价比自建高。
三种方案没有绝对优劣,取决于规模和能力。
CDN 在视频站里的位置
还有一个细节:CDN 对视频的切片支持要好。
判断方法:确认是否支持分段缓存。
还有一个判断:如果 CDN 命中率低于八成,要查原因。
可能是缓存策略有问题。
还有一个细节:防盗链和 CDN 要一起配。
判断方法:确认是否有访问控制。
还有一个数据:走 CDN 的源站带宽能降九成。
判断方法:对比接入前后的源站流量。
还有一个考虑:不同地区的 CDN 覆盖不同。
判断方法:按用户分布选服务商。
还有一个细节:CDN 的回源带宽也要算成本。
判断方法:看回源流量占总流量的比例。
而命中率高的,回源成本低。
还有一个判断:如果 CDN 成本过高,可以考虑自建边缘。
而自建的门槛在于规模。
还有一个细节:CDN 的计费方式有按流量和按峰值两种。
判断方法:按业务形态选。
而流量平稳的,按峰值更省。
还有一个方面:不同 CDN 的质量差异。
判断方法:测不同地区的起播时间。
而质量差的会拖累体验。
还有一个补充:回源的策略。
判断方法:确认缓存过期设置是否合理。
而过期太短会让回源增加。
这一节说清一个关键设计。
视频分发最好前置到 CDN,而不是从源站直出。
判断方法:确认播放地址是否走 CDN。
而源站直出的带宽成本极高。
CDN 的好处是就近分发,用户离节点近。
判断方法:看不同地区用户的起播时间。
而走 CDN 的起播时间通常更短。
还有一个细节:CDN 的缓存命中率决定了源站的压力。
判断方法:看热点视频的命中率。
而命中率高的,源站压力小很多。
一个配置思路
还有一个数据:视频站的磁盘需求往往被高估。
判断方法:按实际存储量算,不按峰值。
还有一个补充:转码机和存储机的网络要够。
判断方法:按输出量算传输需求。
还有一个原则:转码机不需要高带宽。
判断方法:按输出上传的需求配。
还有一个做法:把转码输出直接写到对象存储。
而这样分发和转码就解耦了。
还有一个提醒:磁盘按转码后的输出量算,不按源文件。
而输出通常是源文件的一到两倍。
还有一个数据:转码机的内存需求通常在中等水平。
判断方法:按并发任务数乘单任务内存。
还有一个补充:存储和计算最好分开。
而分开之后扩容更灵活。
还有一个原则:按瓶颈配,不按平均配。
判断方法:找出最紧的那一项,优先满足。
而平均配置往往两头都不够。
还有一个方面:预留扩展。
判断方法:确认磁盘和内存能否加。
而扩展性比初始配置更重要。
还有一个补充:监控要覆盖两者。
判断方法:确认转码和分发都有独立指标。
而没有指标就无从判断。
把配置按角色拆开,思路就清楚了。

转码机:CPU 优先,核数多,内存中等,磁盘大。
判断方法:按同时转码的任务数配核数。
而每个任务约一到两核。
分发机或 CDN:带宽优先,缓存足。
判断方法:按并发观看数乘码率配带宽。
而这个算法,能给出量级。
存储:单独考虑,用对象存储或者大容量盘。
判断方法:按视频总量乘冗余系数。
而这个总量,往往比想象的大。
成本怎么控制
还有一个手段:按地区差异定价带宽。
判断方法:看不同地区的单价。
还有一个思路:把长尾视频合并存储。
而这个做法对存储成本影响明显。
还有一个做法:把不常用的清晰度档位去掉。
判断方法:看各档位的播放占比。
而这个占比通常极不均衡。
还有一个思路:按观看时长收费的业务,带宽成本要算进定价。
判断方法:算单位观看时间的成本。
还有一个数据:多数视频站的带宽成本占比在六成以上。
判断方法:看自己的账单结构。
还有一个做法:用更长的缓存时间换取更低的回源。
判断方法:看内容更新频率。
还有一个思路:把冷视频转成更低码率存档。
而这个做法能省下大量存储。
还有一个手段:转码按需进行。
判断方法:只在有观看需求时转码。
而预转码所有分辨率会浪费。
还有一个方面:删掉没人看的视频。
判断方法:看访问统计。
而长期零访问的可以归档。
还有一个补充:用更高效的编码。
判断方法:对比同画质下的码率。
而新编码能省下可观的带宽。
视频站的成本大头在带宽和存储,不在 CPU。
判断方法:看账单的构成比例。
而带宽通常占一半以上。
降低带宽的办法是压缩码率和用 CDN。
判断方法:对比不同码率下的清晰度和成本。
而找到平衡点,能省很多。
降低存储的办法是分级。热视频存高速介质,冷视频归档。
判断方法:按访问频次分层。
而多数视频的访问集中在前几天。
把整篇收一句
还有一个补充:架构调整要有回滚预案。
而预案本身也是成本的一部分。
还有一个最后的判断:先保证核心业务,再优化次要业务。
而没有优先级,就会两头都顾不好。
还有一个提醒:拆分之后要重新评估监控告警。
判断方法:确认阈值是否还适用。
还有一个补充:小规模可以先云后自建。
判断方法:按成本对比决定。
还有一个观察:架构问题往往在业务增长时才显现。
判断方法:按增长预期提前规划。
还有一个结论:视频站的架构会随规模变,不会一步到位。
判断方法:按阶段规划,别按终局设计。
还有一个提醒:起步阶段别过度设计。
判断方法:按当前规模配,留出拆分的预案。
转码吃 CPU,分发吃带宽,两者的资源需求相反。
量小时可以放一起,但要限制并发;转码影响分发或带宽占满时,就必须分开。而分开的首选是转码独立加 CDN 分发。
所以配置顺序是:先按角色拆资源,再算带宽和存储成本,最后选方案。
最后一句:视频站的成本结构里,带宽和存储占大头,CPU 反而是最便宜的那部分。
本文只为提供市场讯息,所有内容及观点仅供参考,不构成投资建议,不代表本站观点和立场。投资者应自行决策与交易,对投资者交易形成的直接或间接损失,作者及本站将不承担任何责任!
此内容由AI根据文章内容自动生成,并已由人工审核

喜欢
顶
难过
囧
围观
无聊
服务器放在韩国
DODO (DODO) 币
Seppuku (SEPPU
台湾机房和香港