谷歌开始测试Gemini：比GPT-4算力大5倍，多模态能力大提升

🆕最新资讯🆕
今年5月的谷歌I/O大会上，皮查伊宣布了一种名为PaLM 2的大型模型，该模型与GPT-4相媲美，但同时也提到谷歌的研究重点正在转向名为Gemini的新工具。为加快Gemini的开发速度，谷歌在今年4月份合并了内部的两个人工智能实验室：谷歌大脑（Google Brain）和DeepMind，Gemini这一联合计划由两个实验室的研究人员组成的团队领导。随着时间的推移，Gemini逐渐揭开了神秘的面纱：这个模型是在Google Brain和DeepMind合并之后开始研发的，将具备类似GPT-4的万亿参数规模；Gemini在训练中展现出了前所未有的多模态能力；经过微调和严格的安全性测试后，谷歌还将提供不同尺寸和功能的Gemini版本，以确保能够部署在各种产品、应用和设备上。最新消息是，谷歌已经允许少数公司使用Gemini软件的早期版本，意味着谷歌即将将其纳入消费者服务，并通过云计算服务出售给企业。Gemini是否能超越GPT-4？最近，SemiAnalysis的分析师Dylan Patel和Daniel Nishball透露了更多关于Gemini的信息，其中Dylan Patel于今年7月11日曝光了GPT-4的架构。他们透露，初代的Gemini是在TPUv4上训练的，使用的芯片数量较少，以确保芯片的可靠性和热插拔。而现在Gemini已经开始在新的TPUv5 Pod上训练，算力高达1e26 FLOPS，比训练GPT-4的算力大5倍。此外，Gemini的训练数据库是来自YouTube的93.6亿分钟视频字幕，总数据集大小约为GPT-4的两倍。Gemini由一组大型语言模型组成，可能使用MOE架构和投机采样技术，在小模型生成token后传送给大模型进行评估，以提高整体推理速度。Gemini的功能范围广泛，支持从聊天机器人到文本摘要或原始文本生成（如电子邮件草稿、歌词或新闻文章）的多种功能，这些功能都是基于对用户想要阅读的内容的描述。此外，Gemini还可以帮助软件工程师编写代码，并根据用户的要求生成原始图片。谷歌希望通过Gemini大大提高软件开发人员的代码生成能力，以与微软的GitHub Copilot代码助手竞争。谷歌员工还讨论过Gemini在图表分析等功能方面的应用，比如要求模型解释完成图表的含义，以及使用文本或语音指令来浏览网页浏览器或其他软件。有人表示，Gemini至少在一个方面比GPT-4更有优势：除了网络上的公共信息外，Gemini还利用了谷歌从其消费产品中获取的大量专有数据，因此在理解用户对特定查询的意图时可能更准确，而且似乎会产生较少的错误答案。谷歌云服务正积极追赶，在OpenAI开始出售GPT-4访问权限后，谷歌近几个月一直在努力为更多开发者提供其现有商用模型。谷歌计划通过Google Cloud Vertex AI服务向企业提供包含各种大小版本的Gemini，开发者可以选择购买简单任务所需的较小版本，或者在个人设备上运行一个较小的版本。谷歌花费了大量资源和人力来开发Gemini，希望它不仅能促进云服务器租赁业务，还能支持从聊天机器人到软件的新功能。然而，开源大型模型的崛起可能会削弱谷歌和OpenAI出售专有模型访问权限的关注度。或许有一天我们会惊讶地发现，Gemini已经正式发布，届时它的神秘面纱将会被揭开。
来源：https://zhuanlan.zhihu.com/jiqizhixin