OpenAI调研
OpenAI
2021 openai 有大批成员出走。
GPT/GPT-2/GPT-3
根据少量文本输入，生成可信的续接文本。
都不开源，只能通过商业API访问
GPT-3 集成
● Power Apps用户可以描述程序目标然后自动转换成Power Fx代码
● GitHub用户可以在代码编辑器中调用Codex生成代码片段或者整个函数
有超过300个App基于GPT-3进行创建，OpenAI启动了1亿美元的基金，用于投资使用了他们的API的公司。
CLIP
多模态+自监督+大数据集
使用400M 文本-图像数据对学习图像文本表示；无需fine-tuning就能够在各种任务中表现出稳定的性能。
DALL-E/DALL-E 2
120亿的参数量
创建链接视觉和语言的多模态模型，迈向通用人工智能。
将 文本-图像对视为生成任务，基于自然语言提示生成可信的图片。
基于1280的文本图像token进行自回归建模。
为了得到更好的结果，研究人员使用CLIP对32个最好的图片结果进行了重排。
https://openai.com/dall-e-2/
Codex
是GPT-3 的一个具体应用。可以将自然语言翻译成几十种编程语言中的功能代码。
● 在将问题分解为可管理的较小问题后，开发人员可以调用Codex，自动将这些问题映射到现有代码（库、API或函数）。
● Codex支持理解查询的上下文，可以保留之前的查询，以便在新查询中更有效地推理。
● 使用GPT-3的自然语言数据集以及从GitHub等公共来源检索的数十亿行源代码进行训练。
它可以生成代码片段，但无法生成整个程序。
虽然它比其它的模型表现更好，但在 中/难 测试中准确率不超过 5%。