为解决 AI 芯片长期面临的“存储牆”困境，半导体封装业界正积极讨论新一代设计方案，将 GPU 或 ASIC 计算单元与高频宽存储（HBM）分离封装，再通过光学互连技术加以串接，藉此突破现行架构的物理限制，大幅扩充 HBM 的安装数量。
根据《ZDNet》报道，尽管每一代 GPU 的计算性能持续大幅跃升，但存储的资料供给速度却远远落后。HBM 虽提供了更宽的资料通道，但面对 AI 计算需求的爆炸性增长，频宽与传输速度仍捉襟见肘。
随着 HBM 堆叠层数从 12 层、16 层迈向 20 层以上，垂直堆叠技术已逼近临界点，工艺难度呈指数级攀升，JEDEC 固态技术协会甚至已放宽 HBM 高度规范以应对需求。
然而，更根本的瓶颈在于空间。在 2.5D 封装架构下，GPU 芯片周边可容纳 HBM 的面积成为关键限制条件，使可配置的 HBM 数量受到物理空间约束。随著现有封装周边空间逐渐被用尽，GPU 周围已难以再容纳更多 HBM 模组。
为打破这一困境，业界提出将 HBM 安置于距离 GPU 数公分之处，採环形排列于 GPU 周围，或在电路板中央设立独立的 HBM 区域，再透过光学芯片连接两者。
由于光芯片传输速度远超电芯片，即便物理距离拉长，也不会造成明显的延迟损耗，却能彻底挣脱芯片边长对 HBM 数量的束缚。
一位韩国大型存储厂商的研究人员向 ZDNet 透露：“我们目前正努力扩展 HBM 的频宽与容量，同时也在与客户讨论如何透过光连接克服 GPU 的空间限制，以安装更多 HBM。”
他表示，相关讨论涵盖多种方案，从充分利用 GPU 周边空间，到将 HBM 完全隔离至 GPU 基板下方皆有涉及，后者需要显著扩大主板尺寸并调整整体形态，目前已与 GPU 厂商展开讨论，但这些仍属下一代 AI 加速器的前期研究，尚未定案。
光学互连的构想已有具体技术成果可循。在 2025 年的 Hot Chips 大会上，Celestial AI 展示了其光子互连模组，可使用光芯片连接下一代大规模 GPU 与加速器中的各芯片，并将光学介面布置于 ASIC 芯片之间，把周边空间留给 HBM 的电气界面。
一位全球 OSAT 封装厂高层表示，光学互连已是明确趋势，问题仅在时机。他预判技术落地将由大到小逐步推进，先从机架间、伺服器间导入光学连接，再进入单板内的芯片间光互连，并指出目前研发速度相当快，芯片间光互连的实现时间点或许并不遥远。
不过，技术挑战同样不容小觑。一位韩国共同封装光学（CPO）元件开发业者指出，GPU 与 HBM 之间的光学互连，虽与资料中心伺服器间的光通讯原理相同，但必须将原本用于大型设备的光电转换技术缩小至芯片级别，“光学元件需要做得更小、整合度更高，技术难度也更大。”
