(图右)微软
今年3月1日,OpenAI正式跨入企业应用市场,释出了ChatGPT背後GPT-3.5版模型的付费API服务,也跨进了更多企业对话式应用情境,从搜寻、问答、客服、导览到语音操控等。
不到2周,新一代GPT-4模型问世,不只文字,还能输入图片,带来了生成式AI更多种应用的可能,不只是回答问题,还可以解释图片、看图答题,或是分析图表趋势,甚至,只要输入一张手绘的网站设计草图,GPT-4就能自动生成对应网页的程式码。不只国外企业,台湾金融业、制造业、政府和教育机构都跃跃欲试,想要开始采用ChatGPT背後的超大语言模型技术。
不过,企业拥抱GPT的考量,和个人使用截然不同,我们整理了10个企业拥抱ChatGPT技术要先知道的10个QA。
OpenAI的付费API没有提出服务可用性的保证,根据其服务状态仪表板来看,API可用性约98~99%,每个月会中断30~40分钟。这是企业采用前要留意的事。
Q:GPT、ChatGPT、OpenAI和Azure OpenAI有何不同?
A 这是上手ChatGPT技术前要先厘清的四个名词,ChatGPT应用是爆红的AI对话服务,背後所用的生成式AI模型就是GPT模型的3.5版本,而开发出ChatGPT应用的公司就是OpenAI,他们也在3月1日释出了OpenAI的API服务,其中就包括了ChatGPT模型的API。而微软则是将OpenAI的技术部署到Azure上来提供,也就是Azure OpenAI服务。
Q:OpenAI和Azure提供的ChatGPT技术API有什麽不同?
A 在技术上,凡是OpenAI公司提供API功能或模型,微软承诺会尽快跟进在自家Azure OpenAI服务上提供。两者主要不同是,OpenAI公司的API倾向於研发、研究使用为主,而微软则比照原本Azure公云的服务等级,提供了更多资安强化(例如VLAN传输)、服务可用性承诺(例如99.9%的的SLA)、企业合规要求、顾客资料保护承诺、隐私机制、AI伦理机制等。另外,企业则可自助申请快速启用OpenAI的付费API服务,但Azure OpenAI目前则采审查申请制,需等待一段时间审查才能开通。
Q:企业可以使用哪些OpenAI生成式模型?
A OpenAI目前可以提供最新多模态的GPT-4(限定测试版)以及ChatGPT所用的GPT-3.5版模型,以及GPT-3模型,另外还提供了图片生成式模型DALL·E (测试版)、语音转文字的Whisper模型(测试版)、程式码生成模型Codex(限定测试版)、过滤敏感资料的微调模型Moderation,还有一个适合用於企业内部运用的Embeddings模型API。不过,这些模型都是公版的基础模型(base-model),企业若希望模型能更佳客制化,需要进行模型微调(Finetune)或是输入提示(Prompt)来引导。
Q:提示和微调有什麽不同?
A ChatGPT可以输入提示文字(prompt)来引导ChatGPT产生的内容,越来越符合使用者预期的需求,同样也可以用於OpenAI的API,甚至出现了「AI提示工程师」(Prompt Engineer)或者更诗意的「AI咏唱者」说法,只要提问的问题问得好,就越能得到更贴切的答案。
但是,输入提示给基础模型,不会改变基础模型本身的权重。因此,每一次都要重新输入提示文字才能得到想要的答案。若要建立客制化的模型,企业得改用微调(Finetune)的方式,输入一批自己的资料,来调教OpenAI提供的基础模型,产生自己的客制化模型。不过,目前OpenAI还没有开放GPT-3.5和GPT-4的微调,只能透过提示工程来进行客制化。另外,微调也不是重新训练整套GPT模型,而是针对使用者提供的少量数据来改变部分参数的权重(或者可以说是加上一个属性模型),让模型输出的结果更符合使用者的期待,因此,微调模型不需要庞大训练资料,也不需要像重新训练那样费时及庞大成本。
Q:为何要计算Token? 一次最多上传多少字?
A 当输入一段文字到API後,OpenAI会抽取这段文字中的词或概念(类似断词),将文字转换成一个个Token。以中文字来说,平均一千个中文字约有600~700个Token不等,但还要看文字内容而定。OpneAI的API上传限制就是按照Token数量来计算,例如 GPT-3.5模型的上限是4K个Token,而GPT-4则增加了四倍,最大到32K个(不过,目前只开放特定用户)。Token也是OpenAI API的计价单位,以对话用的gpt-3.5-turbo的API来说,每千个Token要价0.002美元,而最新的GPT-4的32K引擎版本则每千个Token要价0.12美元,後者贵了60倍。
Q:什麽是Embeddings模型?有什麽用途?
A 不同於GPT-4或GPT-3.5是生成媲美人话的文字来回覆使用者,Embeddings模型是将输入的文字转换成一个浮点数值的嵌入向量(Embeddings Vector),当两段文字的向量距离越近(可透过向量计算得到),就代表了这两段文字的关联性越高。可以用於搜寻(比对一段话在一篇文章中的位置,或从一批文章找出最相关者)、分类用途(将相关性高的文章分成同一群)、寻找关键字(找出中一篇文章最相关的几个关键词)等。摩根士丹利财管公司就是利用Embeddings功能来搜寻和整理庞大知识资产。
Q:企业能不能下载模型到本地端部署?
A 不能,不论是OpenAI或Azure都没有提供GPT-3.5或GPT-4的本地端部署,企业只能将资料上传到云端API。透过微调产生的客制化模型,也只能储存在云端,透过API呼叫来使用,无法下载部署。
Q:OpenAI将资料储存在哪?
A 目前全都储存在Azure美国机房,微软的Azure OpenAI服务也是。所以,对台湾企业而言,等於是境外服务。
Q:企业上传的资料会不会变成训练资料?
A 企业上传到OpenAI的资料可分为两类,一类是每次输入的提示文字或问题,另一类是用来微调模型的数据。OpenAI承诺从3月1日後不会用这些提示文字资料来训练(代表之前会),不过,企业可选择愿意授权给他们用於训练。对於第二类,OpenAI保证只会用於顾客自己模型的微调,不做他用。微软则比照Azure政策,不会私自使用顾客上传的资料也不会卖给第三方。不过,不论是OpenAI或微软,对於输入的第一类提示文字则会保留30天,以供敏感资料的真人审查之用。
Q:为何需要真人审查?企业能不能拒绝?
A GPT-4目前只能过滤8成敏感内容(不当指令拦截可超过95%但并非100%),而gpt-3.5-turbo甚至不到6成,因此,OpenAI在特定情况下会由少数获得授权的真人来审查有疑虑的内容,微软Auzre OpenAI服务也是如此,不过,微软也提供企业可以专案申请免除真人审查。
不论是OpenAI或微软,对於企业输入的提示文字会保留30天,以供敏感资料的真人审查之用。不过,微软开放企业专案申请免除真人审查。图片来源/微软
相关报导