科技 technology
您现在的位置:首页 > 科技 > Google的新AI语言模型可以理解整本书

新闻

全国学会服务地方产业发展试点项目落地山西:迎来“晋”式医药发展变革 全国学会服务地方产业发展试点项目落地山西:迎来“...

6月17日,全国学会服务地方产业发展试点项目正式落地山西。该项目由中国科协主导,振东制药协办,研发总...

  • 十亿善款,三十二年坚守:振东制药公益“长城”这样建成

    如果说慈善事业是企业责任感的一个缩影。那么振东制药的慈善“侧写”便是大爱无疆。山西振东健康产业集团自太行山深处诞生,稳扎稳打、守正创新,跻身中国药企中流砥柱行列。引导旗下公益扶贫办凝聚共识、加强合作...

  • 千人竞逐“红气球”,振东集团公益精神在晋中大地闪耀

    5月25日,山西省高校新区(山西大学城)热闹非凡,2025“红气球挑战赛”(晋中站)在此鸣笛开赛。这场没有奖金的赛事,却吸引了来自社会各界及山西大学城高校的一千余名选手踊跃参与,他们“一起红气球,快乐学急救”...

  • 振东集团:32年慈善长跑背后的“共富密码”

    在商业与公益的天平上,山西振东健康产业集团选择了后者——即便负债也要坚持的"变态慈善"。这家从太行山走出的民营企业,用32年时间构建起一套独特的公益生态系统,累计捐赠超10亿元,将"与民同富、与家同兴、与国...

财经

唯品会经营范围变更 新增医疗器械、蔬菜水果零售等业务 唯品会经营范围变更 新增医疗器械、蔬菜水果零售等...

天眼查数据显示,3月31日,唯品会(中国)有限公司发生工商变更,经营范围新增蔬菜零售;非许可类医疗器...

  • 品钛旗下赣州爱信小贷正式接入人民银行征信系统

        北京2020年4月7日 /美通社/ -- 领先的金融科技解决方案提供商品钛(Pintec Technology Holdings Ltd., Nasdaq: PT) 今日宣布旗下的赣州爱信网络小额贷款有限公司(下称“爱信小贷”)正式接入中国人民银行...

  • 特斯拉空头近一个月减少超200万股

      据金融分析机构S3 Partner数据显示,截至4月3日,特斯拉未平仓空头头寸为1604万股,占流通股的10.97%。过去30天,特斯拉未平仓空头头寸减少222万股或12.18%,期间股价上涨32%;过去一周,特斯拉未平仓空头头...

  • 特斯拉展示新型自研呼吸机:与Model 3共用零件

      特斯拉之前宣布将开发新的呼吸机,而现在他们展示了这种新型设计。特斯拉在YouTube发布了视频,其工程师演示了两个版本的呼吸机,一个是把所有零件摆在桌子上的原型,另外一个则是组装好的设备,用于显示在医...

  • 特朗普称将在下一轮刺激计划中为美国民众发放更多的钱

      北京时间4月7日消息,美国总统特朗普称将在下一轮刺激计划中为美国民众发放更多的钱。在白宫新闻发布会上表示,特朗普“肯定”想听取下一次刺激计划的想法,并补充道他希望其中包括“切切实实的基础设施”。  ...

Google的新AI语言模型可以理解整本书

发布时间:2020/01/19 科技 浏览:537

 
基于语言的AI模型的主要挑战之一是了解周围内容的上下文。
为了解决这个问题,Google推出了一种称为“ Reformer”的新模型,该模型仅使用16GB的空间即可了解100万行的上下文。该公司为此建立了解决方案,以解决其旧模型Transformer的问题-神经网络,该神经网络将段落中的单词彼此进行比较以了解它们之间的关系。
当前的模型支持对重点文本前后几行或几段的理解。
但是,由于Transformer使用对匹配,因此如果需要处理多于数千个单词的文本,则会占用大量数据空间。因此,当您处理长篇文章或一本书时,这是不切实际的。
谷歌让Reformer解决了旧模型的“注意力跨度”短和内存消耗问题。为了解决第一个问题,新模型使用了局部敏感哈希(LSH)。
这是什么意思?该模型使用散列函数将存储桶中的相似单词组合在一起,然后在相同或相邻存储桶中相互比较单词,从而减少了处理负担,而不是将所有单词彼此进行比较。
为了解决内存问题,研究人员拥有了可逆的残留层,这些残留层使用一层的激活(输出)并将其用于另一层。为了测试该模型,Google向Reformer提供了一些图像,并从中创建了全幅图像。
Google的工程师说,新模型可以轻松处理整本书。这为批量处理文本打开了巨大的潜力。