深度线性网络通过反向传播在 MNIST 数据集上训练时,可获取 94% 的训练准确率和 92% 的测试准确率(机器之心使用三层全连接网络可获得 98.51% 的测试准确率)。相对而言,相同的线性网络使用进化策略训练可获取大于 99% 的训练准确率、96.7% 的测试准确率,确保激活值足够小而分布在 float32 的非线性区间内。
2017-10-18 17:46
最近我们尝试用无监督学习增强系统,进一步研究语言能力。无监督技术训练能通过含有巨大信息量的数据库训练单词的表示,与监督学习结合后,模型的性能会进一步提高。最近,这些NLP领域的无监督技术(例如GLoVe和word2vec)利用了简单模型(词向量)和训练信号。
2018-06-30 09:20
可解释性研究的一种简单方法是首先了解 AI 模型各个组件(神经元和注意力头)在做什么。传统的方法是需要人类手动检查神经元,以确定它们代表数据的哪些特征。这个过程很难扩展,将它应用于具有数百或数千亿个参数的神经网络的成本过于高昂。
2023-05-15 09:40
OpenAI昨日发布研究成果,宣布Dota2 5v5在限定条件下(英雄阵容固定,部分道具和功能禁用)战胜人类半职业选手。本文主要对其模型技术架构做一些分析总结。
2018-07-05 16:17
据报道,旧金山人工智能研究公司OpenAI已经开发了一种新系统,能根据短文本来生成图像。
2021-01-07 09:50
微软(Microsoft)宣布,将向埃隆-马斯克(Elon Musk)的OpenAI投资10亿美元,打造能够处理更复杂任务的人工智能。
2019-08-14 16:16
Dota游戏是一个典型的AI难题,它综合了决策周期长,空间大而且敌我双方是在非完全信息下博弈。OpenAI继去年解决1v1的问题后,1年内能在5v5的更复杂情况下,完全依靠自我对抗学习、无显式通讯
2018-06-27 12:01
OpenAI联合创始人Ilya Sutskever说:“OpenAI在创立之初就已为建立一个强大的技术实验室指定了完善的规范。但是,如何建立一个旨在使这些技术的长期影响进展顺利的组织,这并没有真正的先例。
2018-04-12 10:55
在开发RND之前,OpenAI的研究人员和加州大学伯克利分校的学者进行了合作,他们测试了在没有环境特定回报的情况下,智能体的学习情况。因为从理论上来说,好奇心提供了一种更简单的方法来教授智能体如何与各种环境进行交互,它不需要人为的回报设计。
2018-11-05 15:15
OpenAI 的研究人员们近日发布了一个高度优化的 GPU 计算内核,它可以支持一种几乎没被人们探索过的神经网络架构:带有稀疏块权重的网络。
2017-12-11 09:29