大型语言模型面临的最大限制之一在于上下文长度。这是个棘手的问题，因为在当前的Transformer架构中，随着上下文窗口的延长，内存使用量会显著增加。而考虑到当前内存资源的紧缺状况，我认为世界并不存在内存过剩的问题。