VRAMを増やせば解決する、は物理的に間違っている — HBM・CXL・Unified Memoryが取れなかったもの

VRAMを増やしても、モデルサイズは倍にならない。HBM、CXL、Unified Memoryは、帯域、容量、コストのトレードオフを考慮した異なるアプローチだ。VRAMの物理的限界を理解することで、LLM推論の性能を向上させることができる。