新闻资讯
Recallai 经过消除 WebSockets 节约上百万美元的 AWS 费用
Recall.ai 最近同享了他们在 AWS 上运转一个用于构建和办理会议机器人的渠道的经历,他们发现 运用 WebSockets 每年会添加 100 万美元的额定本钱。该团队介绍了他们是怎么经过开发一个高带宽、低推迟的进程间通讯(inter-process communication,IPC)代替计划来处理这一问题的。
当谈到优化云本钱的时分,IPC 很少会得到人们的重视。但事实上,如果在 AWS 上每秒以 IPC 的办法传输 1TB 的视频且处理功率不高的话,那么将会发生巨额的费用。
在对机器人样本做剖析时,研讨小组开始估计大部分的 CPU 运用来自视频编码和解码。可是,他们发现最大的贡献者居然是接纳数据的 Python WebSocket 客户端,其次是发送数据的 Chromium WebSocket 完成。Levin 解说说:
WebSocket 好像很合适咱们的需求。它像 Web API 相同“快”,能够很方便地在 JS 运转时中进行拜访,支撑二进制数据,最重要的是,它现已内置在了 Chromium 中。
为了寻觅更具本钱效益的传输层,Recall.ai 团队考虑了三种处理计划,即原始的 TCP/IP、Unix Domain Socket 和同享内存。虽然没有经过同享内存传输数据的标准接口,可是 TCP/IP 和 Unix Domain Socket 至少都需求在用户空间和内核空间之间仿制数据,团队终究决议规划一种自定义的传输办法,以下降 AWS 的本钱,并挑选环形缓冲(ring buffer)作为高层级的传输结构。
在 Hacker News 上,有些研制人员对技能栈和视频解码器的挑选提出了质疑,用户 IX-103 这样写到:
Chromium 现已内置了运用同享内存的零复制 IPC 机制,叫做 Mojo。这便是各种浏览器进程之间完成彼此对话的办法。它们只需求将 mojo::BigBuffer 音讯传递给 custom.process 即可,无需忧虑渠道特定代码的问题。不过我觉得,编写一个自定义的环形缓冲完成也不错。
你需求的并不是 WebSockets,而是 PubSub。我最近一直在试用 AppSync Events,我了解到,即便笼统到超高层,运用 WebSocket 仍然很困难。我从事实时通讯作业多年,仅有能让它变得简略的办法便是将协议彻底笼统掉。
单看这个很能吸引人的标题,“WebSockets 是怎么让咱们在 AWS 上花费上百万美元的”,它很好地说明晰在大多数情况下单纯因为本钱或功用原因此深入研讨使用架构的深层问题是没有过大的含义的。可是在这样的环境中,它肯定是有含义的,依据 Levin 的说法,完成和布置环形缓冲后,Recall.ai 能够将机器人的 CPU 运用率最多下降 50%,然后优化 IPC 以进步 CPU 功率。这一改变使 AWS 的年度本钱下降了 100 多万美元。
就在 12 月 13 日 -14 日,AICon 将会聚 70+ 位 AI 及技能领域的专家,深入探讨大模型与推理、AI Agent、多模态、具身智能等前沿论题。此外,还有丰厚的圆桌论坛、以及展区活动,满意你对大模型实践的猎奇与幻想。现在正值 9 折倒计时,名额有限,快扫码咨询了解概况,别错过这次绝佳的学习与沟通时机!
特别声明:以上内容(如有图片或视频亦包含在内)为自媒体渠道“网易号”用户上传并发布,本渠道仅供给信息存储服务。
河南:对2026年—2027年期间置办的新能源轿车折半征收置办税 其间每辆新能源乘用车不超越1.5万元
“饭局上,领导说“加个微信吧”,千万别回“我扫您仍是您扫我”,高情商做法来了”
带接触和语音操控功用的苹果 Magic Mouse 将于 2026 年问世
英特尔0x114微码据称没有办法处理箭湖-SCPU 问题 功用直线下降问题仍然存在
华为鸿蒙 NEXT 体系“超级终端”新增适配部分 Sound 系列音箱
《编码物候》展览开幕 北京年代美术馆以科学艺术解读数字与生物交错的世界节律