介绍彭博GPT，这是彭博的500亿参数大型语言模型，专为金融而从头开始构建
3月 30， 2023
BloombergGPT 在金融 NLP 任务上的表现明显优于类似规模的开放模型——而不会牺牲一般 LLM 基准的性能
纽约–彭博社今天发布了一份研究论文，详细介绍了BloombergGPTTM的发展，这是一种新的大规模生成人工智能（AI）模型。这种大型语言模型（LLM）经过了针对各种金融数据的专门训练，以支持金融行业中的各种自然语言处理（NLP）任务。
基于LLM的人工智能（AI）的最新进展已经展示了许多领域令人兴奋的新应用。然而，金融领域的复杂性和独特的术语需要特定领域的模型。彭博GPT代表了这项新技术在金融业开发和应用的第一步。该模型将帮助彭博社改进现有的金融NLP任务，例如情感分析，命名实体识别，新闻分类和问答等。此外，BloombergGPT将开启新的机会，整理彭博终端上可用的大量数据，以更好地帮助公司的客户，同时将人工智能的全部潜力带入金融领域。
十多年来，彭博社一直是人工智能、机器学习和NLP在金融领域应用的开拓者。今天，彭博社支持大量多样化的NLP任务，这些任务将受益于新的金融感知语言模型。彭博社的研究人员开创了一种混合方法，将金融数据与通用数据集相结合，以训练一个模型，在金融基准上实现一流的结果，同时在通用LLM基准上保持竞争性能。
为了实现这一里程碑，彭博社的机器学习产品和研究团队与该公司的人工智能工程团队合作，利用该公司现有的数据创建、收集和管理资源，构建了迄今为止最大的特定领域数据集之一。作为一家金融数据公司，彭博的数据分析师在四十年的时间里收集和维护了金融语言文档。该团队从这个广泛的财务数据档案中提取，创建了一个由英文财务文档组成的 3630 亿个代币数据集。
这些数据通过 3450 亿个代币公共数据集进行了扩充，以创建一个包含超过 7000 亿个代币的大型训练语料库。使用该训练语料库的一部分，该团队训练了一个500亿个参数的仅解码器因果语言模型。由此产生的模型在现有的金融特定NLP基准，一套彭博内部基准以及流行基准（例如，BIG-bench Hard，知识评估，阅读理解和语言任务）的广泛通用NLP任务上进行了验证。值得注意的是，BloombergGPT模型在财务任务上的表现大大优于现有类似规模的开放模型，同时在一般NLP基准上的表现仍然相当或更好。
“For all the reasons generative LLMs are attractive – few-shot learning, text generation, conversational systems, etc. – we see tremendous value in having developed the first LLM focused on the financial domain,” said Shawn Edwards, Bloomberg’s Chief Technology Officer. “BloombergGPT will enable us to tackle many new types of applications, while it delivers much higher performance out-of-the-box than custom models for each application, at a faster time-to-market.”
“机器学习和NLP模型的质量取决于你放入其中的数据，”彭博ML产品和研究团队负责人Gideon Mann解释说。“多亏了彭博社四十多年来策划的财务文件，我们能够仔细创建一个大型且干净的特定领域数据集，以训练最适合金融用例的LLM。我们很高兴使用 BloombergGPT 来改进现有的 NLP 工作流程，同时也想出新的方法来让这个模型发挥作用，让我们的客户满意。
有关BloombergGPT开发的更多详细信息，请阅读arXiv：https://arxiv.org/abs/2303.17564 上的论文。
关于彭博社
彭博是商业和金融信息领域的全球领导者，提供值得信赖的数据、新闻和见解，为市场带来透明度、效率和公平性。该公司通过可靠的技术解决方案帮助连接全球金融生态系统中有影响力的社区，使我们的客户能够做出更明智的决策并促进更好的协作。有关更多信息，请访问 Bloomberg.com/company 或请求演示。
媒体联系人
哈伊姆·哈斯
chaas30@bloomberg.net
艾莉莎·吉尔摩
agilmore7@bloomberg.net