淘优惠

淘优惠

东软载波:公司未直接开展chatgpt相关研究,但公司智能化产品都具有自学习和边缘技术功能

热门文章 0

2023年11月20日 每日一猜答案: 答案:ABC
每日一猜答案分析:

东软载波是东软集团子公司,东软集团跟东软载波,东软载波公司简介,东软载波董事长

每经AI快讯,有投资者在投资者互动平台提问:请问公司公司业务中是否有chatgpt应用或者研究

东软载波(300183.SZ)2月8日在投资者互动平台表示,Chatgpt是openAI基于GPT-3架构(生成式语言模型)开发的模型,通过使用大量的训练数据,能够模拟人类的语言行为。可以用于自然语言处理、人机交互等应用场景。 公司的芯片产品、融合通信产品、智能化解决方案主要面向物联网应用,提供数据的采集、传输及应用,为各类上层应用提供基础服务,公司未直接开展chapgpt相关研究,但公司智能化产品如传感器、万能遥控器、智能水表数据采集器等产品都具有自学习和边缘技术功能,使用了相关技术。

(记者 王瀚黎)

免责声明:本文内容与数据仅供参考,不构成投资建议,使用前核实。据此操作,风险自担。


全面解读东软载波的智能化野心 东软载波处理结果

东软载波模块的作用,东软载波智能化建筑,东软和东软载波,东软载波科技股份有限公司

东软载波2月8日在互动平台表示,Chapgpt是openAI基于GPT-3架构(生成式语言模型)开发的模型,通过使用大量的训练数据,能够模拟人类的语言行为。可以用于自然语言处理、人机交互等应用场景。公司的芯片产品、融合通信产品、智能化解决方案主要面向物联网应用,提供数据的采集、传输及应用,为各类上层应用提供基础服务,公司未直接开展chapgpt相关研究,但公司智能化产品如传感器、万能遥控器、智能水表数据采集器等产品都具有自学习和边缘技术功能,使用了相关技术。

海量资讯、精准解读,尽在新浪财经APP

中国将成人工智能超级大国 中国和美国哪个适合人工智能发展

人工智能强国,国人支持人工智能,中国人工智能的未来,中国人工智能世界领先
原文:谁能成人工智能领域领军者?中国锐意进取 美国沉默

美国(可能还可以带上英国)吧

中国虽然锐意进取,但事实上,中国AI 已经全面落后英美了。当然,虽然落后于美英,但还是全球第二吧,因为其他国家落后的更多。

这个很明显的,ChatGPT,OpenAI 已经做出来了,国内研究者们(包括国内最牛的高校,最高级别的三大人工智能实验室等等)还在讨论为啥国内做不出来。Diffusion Model,美英开源了,国内马上就有了; 而GPT3、Codex 以及 ChapGPT,美英没有开源,国内至今没有。

关于 ChatGPT 和其他大模型,可参阅:

学习ChatGPT和扩散模型Diffusion的基础架构Transformer,看完这些论文就够了

究其本质,就一个字:!因为穷束缚了想象力,穷夺走了面对失败的勇气!

事实上,在超大模型之前,人工智能领域出来个啥东西,国内都还跟的挺紧的,原创的内容也是有一些的。但自从 GTP3以及类似的超大模型之后,国内就跟不上了。其本质就是,AI(超大模型) 太费钱了。

这个是2020年关于 gpt3和alphaZero的估计:

  1. 使用微软提供的AI超级AI计算机,训练一次GPT3的时间大约是5 天左右;如果使用美国云服务提供商提供的 GPU 来训练,训练一次 gtp-3 需要耗费从 280 万到 540 万美元不等,其价格主要取决于使用那 种 gpu/tpu 硬件。
  2. 经估算,从零开始训练一个 alphaZero 的花费在 3500 万美元左右(按 2018 年 google 公布的 TPU 价格计算)。

这还仅仅是训练模型的钱,其他费钱的地方也很多:

  1. 比如数据,高质量的数据收集。相比于英文的数据,中文的高质量数据太缺乏了!!!这其实也是需要钱堆出来的,而且,这个仅仅靠 AI领域的钱是远远不够的!!!
  2. 比如专心的研究而不用考虑各种 KPI,这其实需要足够富裕的社会才能够容忍的。类似DeepMind和 OpenAI 这种到现在都光花钱不怎么产生收入,很难有短期经济效益的,是足够富裕的社会才会有的。

在 GPT3出来没多久(2020年),上海经信委就组织过关于 GPT3的调研,当时我给的建议是(但这两年看来,这个并没有跟上):

  1. GPT3很费钱,国内初创企业搞不定的,国内大企业也大概率会因为没有短期直接的收益而投入不多
  2. 关于GPT3,以及当时的 AlphaZero 等,要抓紧组织研究、复现并在此基础上持续研究

上述这个建议的出发点很简单,就是:

GPT3,以及AlphaZero、 ChatGPT、AlphaFold 等所代表的是 AI领域的“大工程”,不是三五个研究小组就能搞定的,需要一个“大”的精英组织,有基础设施(算力集群)、并行计算、大数据(数据量 T 级别,甚至更高)、以及 AI 算法等。

顺带说说,为什么 ChatGPT 值得重视呢?

一方面,对于 ChatGPT 来说,综合了机器学习的三大范式――有监督学习、无监督学习、强化学习。由于GPT3.5(包括未来的 GPT4)强大的能力,以及基于 RLHF 实现了人机交互,并且能够从人机交互中持续学习,这使得ChatGPT 已经有了 AGI 的雏形了。AGI 的基础特征就是一个模型能够适用于多种任务,特别是在训练时候所未能想到(设计/遇到)的任务,而 ChatGPT 与以往模型的最大差别是,在语言模型中,它好像能做一切事情(分类、抽取、生成、摘要、写诗,还有人用它来谱曲等等)。个人感觉,未来几年如果未能紧紧跟上这个领域,则新一代的技术革命危矣。

另一方面,ChatGPT 和扩散模型所代表的 AIGC,还有另一个层面的意思,就是在AI 辅助创作方面的生产力能够极大提升,这将对未来的“知识”生产产生降维打击。现在“英文”知识已经远远好于“中文”知识了,在 ChatGPT等 AIGC 的协同下,未来可能进一步拉大差距。比如,国外已经出现了利用 ChatGPT 来共同写论文的例子了。

最后,国内在非“大工程”AI 的话,还是能够保持坐二望一的地位的,但在大工程 AI方面,可能还是“坐二”,但对第一可能已经是望尘莫及了。

既然已经看到这里了,那么就买几本书看看吧,为 AI 添砖加瓦打好基础。这里推荐三本,一本是图灵奖三巨头的《深度学习》,第二本是知识图谱领域权威书籍珠峰书《知识图谱:认知智能理论与实战》,第三本是强化学习的经典书籍《强化学习(第二版)》。

人工智能三大流派之一的连接主义,深度学习是连接主义的代表,花书《深度学习》是代表性著作。

人工智能三大流派之一的符号主义,早期的代表是专家系统,现在的代表是知识图谱,珠峰书《知识图谱:认知智能理论与实战》是代表性著作。

AlphaGo 的基础, 为ChatGPT提供人机交互和人类反馈的底层功臣的强化学习,《强化学习(第二版)》是经典著作。

都看到这里了,不买书的就顺手点个赞吧!

“穷”本身是相对的,在 AI 未来的进一步发展中,是需要很多钱的,这包括:

  1. AI研究本身需要大量的钱,比如训练 AlphaZero、GPT3、PaLM 等,费钱不少,但这块国内大企业或大的研究机构是付得起的;
  2. 投入大量的钱进行创新,比如 OpenAI 几百亿持续5年在研究生成式模型,这个从 GPT 、GPT2再到 GPT3都并不是业界所一致看好的,但OpenAI 能够持续研究。这个对国内大企业和头部研究机构来说,就不见得能付得起了;
  3. 数据,目前高质量的数据还是以英文为主,相比之下,中文可谓稀缺。这块是需要百年的“富裕”来支撑的。从这个视角来讲,中国还很“穷”。
  4. 与数据一样,能够有大量的人去探索、创新、去研究未知的科学,是需要大量富足的、高智商人去往我的投入的,这块对国内来说,刚刚起步。

补充一个关于数据问题,中文语言语料相比于英文语言语料的极大劣势,至少有3点是明确的,其他更多也欢迎评论补充:

  1. 国内审核机制导致 UGC 内容极其缺乏,特别是高质量的 UGC 。从这个衍生出去,接下来的 AIGC 也会因此受阻。
  2. 学术论文基本以英文为主,相对应的中文的科学类论文(以及广义的科学类语料,比如编程代码之类的)也是极其缺乏的(相比与英文)。
  3. 一个众所周知的事实是:公开已标注的语料中也是以英文为主,中文极其缺乏(相比于英文)。

补充另一个问题:在大陆使用 Transformers、Pytorch 和 Tensorflow 等框架时,所有自动下载模型的接口都存在问题,一旦模型大一些(比如超过1G),往往需要数小时甚至下载失败,这非常影响使用。其原因没法说。

补充一个 Google 和 ChatGPT的信息:Google 并不是做不出 ChatGPT,Google CEO发布 Red Code的原因是,如果Google 也提供类似 ChatGPT这样的服务的话,会影响广告收入。

补充关于Google 的对话大模型:LaMDA,FLAN 等;详情可参考 Google 对对话大模型的评估论文《The Flan Collection: Designing Data and Methods for Effective Instruction Tuning》 arXiv:2301.13688

据2023年2月2日路透社的报道,ChatGPT 的当时的用户量已超过1亿,成为有史以来用户增长最快的产品。这点对于使用了 RLHF 的产品来说,大量用户的反馈能够迅速提升其水平,ChatGPT 能够根据用户反馈进行快速升级,这对后来的类似 ChatGPT产品形成了另一个壁垒。另一方面,大量的专业认识对 ChatGPT 的评估产生了大量的论文和 blog,这些内容也是 OpenAI 完善ChatGPT 的宝贵资源.比如被大量诟病 ChatGPT 数学能力(如牛津大学评估了 ChatGPT 的数学能力《Mathematical Capabilities of ChatGPT》),ChatGPT 就专门升级了其数学能力。这点对未来类似 ChatGPT 的产品来说,就没有那么多全球范围内的各个领域专家对其评估,“帮助”改进产品了。不幸的是【相反,对 OpenAI /美国来说是幸运的】,这两点对AI 产品来说,至关重要。