架构
7 篇从 KV Cache 到 AI 内存系统:大模型推理架构的演进

原作者:xieydd 摘要 这篇文章想回答一个看似分散、其实高度统一的问题:为什么这两年围绕大模型推理的系统创新,越来越不像是在“优化一个神经网络”,反而像是在“设计一个内存系统”? 如果把 2023 年以前的大模型工程叙事概括成“拼 FLOPS、拼 Tensor Core、拼训练吞吐”,那么 2024–2026 年的推理叙事,已经明显转向了另一条主线:KV cache、TTFT/TPOT、continuous batching、prefix reuse、prefill/decode …
原作者:xieydd 摘要 这篇文章想回答一个看似分散、其实高度统一的问题:为什么这两年围绕大模型推理的系统创新,越来越不像是在“优化一个神经网络”,反而像是在“设计一个内存系统”? 如果把 2023 年以前的大模型工程叙事概括成“拼 FLOPS、拼 Tensor Core、拼训练吞吐”,那么 2024–2026 年的推理叙事,已经明显转向了另一条主线:KV cache、TTFT/TPOT、continuous batching、prefix reuse、prefill/decode …
基础架构部,真的没有必要了么?

原作者:程序员 Aike 今天一篇基础架构部,还有必要吗?的文章刷屏了,作为一名资深的基础架构从业者,浅谈下自己的看法,期望引发广大基础架构从业者、业务开发、测试人员等相关从业者更多的思考和判断! 01 基础架构部的定位 不同公司对基础架构部的定位不同,以下是可能的几个方面: 1、通过技术和工程手段、运维手段,保障线上服务稳定性。比如运维人员保障业务核心指标健康,网络、服务器等基础设施组件能承受业务压力等。 2、构建统一的基础服务,比如数据库、消息中间件、微服务框架,或者中台服务,减少各业务重 …
原作者:程序员 Aike 今天一篇基础架构部,还有必要吗?的文章刷屏了,作为一名资深的基础架构从业者,浅谈下自己的看法,期望引发广大基础架构从业者、业务开发、测试人员等相关从业者更多的思考和判断! 01 基础架构部的定位 不同公司对基础架构部的定位不同,以下是可能的几个方面: 1、通过技术和工程手段、运维手段,保障线上服务稳定性。比如运维人员保障业务核心指标健康,网络、服务器等基础设施组件能承受业务压力等。 2、构建统一的基础服务,比如数据库、消息中间件、微服务框架,或者中台服务,减少各业务重 …
基础架构部需要先进技术吗?

原作者:思维男人 前两天,瑞典马工发了一篇《基础架构部,还有必要吗?》,文章的逻辑是基础架构部(或者技术平台部,或者运维开发部,或者架构平台部)为业务单元提供技术支撑,然后技术支撑需要自身有优秀技术,然后尝试列出一些反例去证明基础架构没有优秀技术,所以支撑不了业务单元,就该解散或者消失了。 我当时看完,觉得文章逻辑就不对,因为支撑业务单元不一定要优秀技术,很多时候只需要补充业务单元的弱项和空白就行了;然后列出来的反例都是些表象,但这些表象放在不同组织内是否真的都是反例?不同组织架构有不同的资源 …
原作者:思维男人 前两天,瑞典马工发了一篇《基础架构部,还有必要吗?》,文章的逻辑是基础架构部(或者技术平台部,或者运维开发部,或者架构平台部)为业务单元提供技术支撑,然后技术支撑需要自身有优秀技术,然后尝试列出一些反例去证明基础架构没有优秀技术,所以支撑不了业务单元,就该解散或者消失了。 我当时看完,觉得文章逻辑就不对,因为支撑业务单元不一定要优秀技术,很多时候只需要补充业务单元的弱项和空白就行了;然后列出来的反例都是些表象,但这些表象放在不同组织内是否真的都是反例?不同组织架构有不同的资源 …
基础架构,路在何方?

原作者:titi 这两天马工关于基础架构部的文章「基础架构部,还有必要吗?」进一步在朋友圈疯转,没想到比起喷 DBA、喷国内云厂商,这篇文章竟然会引来这么多反对的声音,坦白来讲确实有些出人意料。笔者忍不住也在第一时间拜读了全文。其实严格来说,这篇文章更应该被看作前一篇关于多云的文章「多云战略:无奈的现实,危险的选择」的姊妹篇。众所周知,马工时常说话难听,在更多时候也喜爱把事情推极端,虽然笔者也因为各种话题和马工有观点上的分歧,经常没事互怼。但不代表今天文中所主张的观点没人讲,这些情况在现实中便 …
原作者:titi 这两天马工关于基础架构部的文章「基础架构部,还有必要吗?」进一步在朋友圈疯转,没想到比起喷 DBA、喷国内云厂商,这篇文章竟然会引来这么多反对的声音,坦白来讲确实有些出人意料。笔者忍不住也在第一时间拜读了全文。其实严格来说,这篇文章更应该被看作前一篇关于多云的文章「多云战略:无奈的现实,危险的选择」的姊妹篇。众所周知,马工时常说话难听,在更多时候也喜爱把事情推极端,虽然笔者也因为各种话题和马工有观点上的分歧,经常没事互怼。但不代表今天文中所主张的观点没人讲,这些情况在现实中便 …
基础架构部不死,只是慢慢消逝

原作者:李令辉 瑞典马工昨天的文章《基础架构部,还有必要吗?》里面点名质疑了基础架构部存在的必要性。我自己从事基础架构工作多年,希望可以从相对客观的角度来回答这篇文章提出的问题。也谨以此文致敬基础架构的老兵们。 基础架构部的价值是什么? 正如马工文中所说,基础架构部是为了向业务单位交付技术,并且要具备两个前提: 自己有优秀的技术 要能引导业务部门使用优秀的技术 技术的“优秀”与否要看场景 但是,“优秀”不是有唯一标准的,什么算优秀的技术?技术都是有 tradeoff 的,比如某一种技术能获取最 …
原作者:李令辉 瑞典马工昨天的文章《基础架构部,还有必要吗?》里面点名质疑了基础架构部存在的必要性。我自己从事基础架构工作多年,希望可以从相对客观的角度来回答这篇文章提出的问题。也谨以此文致敬基础架构的老兵们。 基础架构部的价值是什么? 正如马工文中所说,基础架构部是为了向业务单位交付技术,并且要具备两个前提: 自己有优秀的技术 要能引导业务部门使用优秀的技术 技术的“优秀”与否要看场景 但是,“优秀”不是有唯一标准的,什么算优秀的技术?技术都是有 tradeoff 的,比如某一种技术能获取最 …
基础架构部,还有必要吗?

原作者:瑞典马工 过去二十年,中国互联网公司取得了巨大的成就。基础架构部(或者技术平台部,或者运维开发部,或者架构平台部)作为互联网公司的技术底座维护者,贡献巨大。但是随着技术的进步,此类部门的老经验在云时代,越来越不适用,而他们又普遍跟不上新问题。两项加起来,使得大家不得不问一个问题:基础架构部,真的还有价值吗? 基础架构部的价值是向业务单元交付技术 基础架构部出于一个目的建立:集中公司的基础设施和架构人才,为业务单元提供技术支撑。 要达到这个目的,基础架构部需要达到两个条件 自己要有优秀的 …
原作者:瑞典马工 过去二十年,中国互联网公司取得了巨大的成就。基础架构部(或者技术平台部,或者运维开发部,或者架构平台部)作为互联网公司的技术底座维护者,贡献巨大。但是随着技术的进步,此类部门的老经验在云时代,越来越不适用,而他们又普遍跟不上新问题。两项加起来,使得大家不得不问一个问题:基础架构部,真的还有价值吗? 基础架构部的价值是向业务单元交付技术 基础架构部出于一个目的建立:集中公司的基础设施和架构人才,为业务单元提供技术支撑。 要达到这个目的,基础架构部需要达到两个条件 自己要有优秀的 …
互联网技术大师速成班

原作者:瑞典马工 人人都知道,互联网是个钱多责小离家近的好行业。这个行业流传着许多飞檐走壁技术大师的故事,激励了很多学过高数课的年轻人。本文意在讨论互联网技术大师的修炼之道,试图找到一个共通的速成模式,希望对年轻人有所助益。 第一步:先进大厂 进大厂是成为大师的第一步,无可通融。 有些小朋友说“大厂 HR 卡学历,不让我进,可我还是想当技术大师,怎么办啊?“ 我只能遗憾的表示,小朋友你生不逢时啊。 你看那些到处开课的技术大师,他们十几年前入职 Google /阿里/腾讯的时候,你还系着红领巾在 …
原作者:瑞典马工 人人都知道,互联网是个钱多责小离家近的好行业。这个行业流传着许多飞檐走壁技术大师的故事,激励了很多学过高数课的年轻人。本文意在讨论互联网技术大师的修炼之道,试图找到一个共通的速成模式,希望对年轻人有所助益。 第一步:先进大厂 进大厂是成为大师的第一步,无可通融。 有些小朋友说“大厂 HR 卡学历,不让我进,可我还是想当技术大师,怎么办啊?“ 我只能遗憾的表示,小朋友你生不逢时啊。 你看那些到处开课的技术大师,他们十几年前入职 Google /阿里/腾讯的时候,你还系着红领巾在 …