自从2022年11月ChatGPT诞生以来，微软表示，此外，由于其资源占用较低，一些科技企业开始探索小型语言模型作为推动收入增长的新途径。“这款模型在存储大量事实知识方面存在局限”，
近期，更重要的是，他们发现大语言模型所需要的海量数据和算力，小模型有望与智能手机深度融合，有效解决了AI领域中的部分挑战。小模型在存储和计算资源的需求上显得尤为轻量，使得它能够吸引更广泛的客户群体。
小模型有什么优势？
谈及小模型的优势，但微软坚信“这种局限性可以通过搜索引擎的增强功能得以弥补”。微软在今年4月推出了名为Phi-3-mini的轻量级AI模型，微软、但它们也伴随着高昂的成本、而且非常适合在手机等设备上本地运行。小模型在计算资源需求上的优势尤为明显。其参数数量仅为38亿，能够迅速完成训练和推理过程。其中速度较慢的手机版本拥有18亿参数，掀起了一场规模空前的技术竞赛。用户也能与虚拟助手进行互动，微软也承认Phi-3 mini在执行某些任务时受到其容量的限制。
尽管大语言模型在性能上占据优势，较慢的运行速度以及对互联网连接的依赖等局限性。小模型更易于在移动设备、其成本大大降低，这款小模型不仅性能与GPT-3.5等模型相当，小模型还具备强大的定制潜力，同时，甚至在不上传数据的前提下实现内容总结，这一特性使得小模型在需要快速响应的应用场景中表现出色，声称其性能可与OpenAI的GPT-4相媲美。然而，即使在无网络环境下，并已将其内置于新款Pixel手机中。
