栏目标题 当前位置:幸运彩票APP > 新闻资讯 >

强化学习工具Horizon开源网络教育:Facebook曾用它优化和聊天

时间:2018-11-26 13:54来源:未知 作者:幸运彩票APP 点击:

  原标题:强化学习工具Horizon开源:Facebook曾用它优化在线视频和聊天软件

  Facebook上周末开源了一个强化学习工具——Horizon。

  虽然之前也有其他公司开源过强化学习工具,但Facebook声称Horizon是第一个开源的“端到端”(end-to-end)强化学习工具。

  它由Python编写,使用Pytorch进行建模和Caffe2进行训练,用于解决一些数据集很大、反馈回路很慢的实际强化学习问题。而这些问题往往需要在现实世界中小心翼翼的进行试验,因为没有模拟器可供运行。

  Facebook全球拥有20多亿用户,在这方面有丰富的经验。Horizon框架开发的工作始于2年半以前,并在去年投入公司内部使用。Facebook曾将它用在优化网络360°全景视频和智能个性化推荐等实际产品上。

  Horizon平台包含训练深度强化学习算法的工作流,像数据处理、特征转换、分布式训练、反事实策略评估、优化服务等。

  强化学习在AI领域取得了很多成就,比如人机围棋大战、AI在Dota 2团战中战胜人类这些大新闻,其中都有强化学习的功劳。

  但是它却鲜有商业用途,原因是在游戏之外的地方,通过反复试错来学习的方法是不明智或不安全的。对于现实世界中的现象,也没有精确的模拟器可供算法进行安全的训练。

  为了解决其中的一些限制,Facebook开发了Horizon工具,让公司团队在面临一些实际问题时也能使用强化学习。

  Horizon最初训练算法是选取工程师指定的动作集合,而不是让算法从零开始并从随机动作中学习。然后,它使用基于现有数据的几种反事实分析来模拟算法可能采取的不同动作。通过这种方式,Horizon在模拟器中模拟训练算法,使其完善而不必担心它会在现实世界中造成严重破坏。

  一般来说,使用实际的模拟器会比进行这种反事实分析更好。 但对于Facebook的许多问题,构建模拟器并非易事。目前Facebook团队正在研究如何从数据集构建模拟器。

  一旦算法运行良好,Horizon就允许用户进行小规模在线实验,实时使用实际数据,然后逐步将新算法推广到更大的用户或数据集。再将完全训练的算法作为新的起点,不断重复此过程。

  谈到为何将Horizon开源,Facebook应用机器学习主管Srinivas Narayanan说:“我们致力于开源,因此共享这个最新的产品化系统是很自然的事情。”

  原本Horizon是为企业和研究团队大规模部署AI而开发的,它需要数以千计的CPU或GPU数十亿的观测结果。现在经过Facebook用Apache Spark预处理和用PyTorch训练系统后,它也能用在个人电脑上了。

  Horizon项目负责人Jason Gauci认为强化学习是在采用ML的工业领域的下一个前沿,希望开源这个平台让用户开始使用强化学习。Horizon是为了规范大型数据集的训练,这也是强化学习中的常见问题,他说。

  另外一些AI公司,如果DeepMind、谷歌大脑团队和OpenAI,也在之前开源过强化学习工具。Facebook此举或是紧随竞争对手的步伐。

  据英国媒体报道,美国教育部下属机构国家教育统计中心22日在其网站的儿童专区“每日语录”一栏中引用名言,但后来又将其删除,并换成了林肯的名言。

  ① 学校在新生报到期间开辟“绿色通道”,保障家庭经济困难新生顺利入学。“绿色通道”主要是办理暂缓缴纳学杂费手续,难以凑够学费的新生可向学校提出暂缓缴纳学杂费(包括学费和住宿费)的申请,经学校审批后可暂缓缴纳,暂缓截止期限为2016年12月31日。学生通过“绿色通道”即可办理入学手续并正常参加学校各项教学活动,入学后学校将通过多种措施帮助学生筹措学费,缓解经济困难。

  中国传媒大学录取通知书设计风格采用传统中式设计理念,形式新颖而具有寓意,色彩浓烈而不失典雅,视觉上给人以吉祥喜庆的深刻印象,传达了国内一流大学所具有的深厚文化内涵。

  先下手为强,后下手遭殃,和我们一起脑洞打开,天马行空,抑或是静心策划,步步为营!

  原标题:ZWU世界女牛仔联盟队员培训心得--编号018(中国)成以华:严师出高徒

  今天起!合肥包公园景区中的三个景点免费开放!每天2000张观展券!持续一周!

  19、读书无疑者,须教有疑,有疑者,却要无疑,到这里方是长进。——朱熹

  比如有人支持自考专升本,有人认为自考专升本会后悔一生。那么,为什么会出现自考专升本后悔一生的现象呢?

  为积极响应党委的号召,在党员中进一步践行科学发展观的重要思想,巩固和发展党员的先进性教育成果,增强党员的党性和为人民服务的宗旨,我校党支部以实际行动响应号召,在11月20日下午开展了以“洁美家园,卫生文明”党员志愿者活动。

  高考填写:读了专升本好后悔啊!专升本耽误学习,耽误时间?高考对于学生来说,就是一个人生的里程碑。2018的高考早已落下了帷幕,有人在紧张的等待成绩公布,也有同学因为发挥失常,所以选择复读。然而复读这条路不是谁都可以走的,那么该如何判断自己是否适合复读呢?要知道,复读是需要付出代价的就要好几千。而就是一年一度的毕业的,有的专科生到了大三就可以申请专升本了,但是很多学生都会有很大的顾虑。被专升本耽误,后悔一生到底是怎么回事呢?赶快来了解一下吧!

  所以在市场缺口这么大的情况下,参加长沙Java软件开发培训有了一定的Java实战经验,幸运彩票APP_首页_幸运彩票手机版_幸运彩票投注平台:这时在进入到心仪的企业,拿到自己理想的工资是那么的顺理成章。所以不要犹豫了,快来牛耳教育报名吧,你将成为下一个IT技术大神!返回搜狐,查看更多

  61. 有疑者看到无疑,其益犹浅;无疑者看到有疑,其学方进。——唐彪

  我们专为你量身定制了数学预科班,专门针对零基础学员,从最基本的数学知识开始学起,帮助零基础学员在接触《高等数学》之前将数学基础打扎实。使得大家在接触《高等数学》科目时不至于觉得一筹莫展,还没入门便打起了退堂鼓。

  北大把今年河南首张录取通知书送到了张广利家中,广利晒出自己的录取通知书。

  晚报讯 (记者 张莉萍)“我本来是想下载个学习APP,以便督促孩子完成作业。谁能想到,这款学习APP内竟然暗藏一些小游戏,网络教育更可气的是,孩子为了玩游戏竟然跟家长斗起了心眼。”近日,家住市中区福华园小区的沈女士说。

  江苏新华报业传媒集团有限公司 版权所有 未经允许 请勿复制或镜像

  • 上一篇:Java软件开发培训后能挣多少钱一幸运彩票月?
  • 下一篇:大连学习室内设计软件幸运彩票APP费用?转行学室内还有前途吗

  • 联系方式
    南京分校电话: 025-8600-8600(南京校区) 025-8600-8601 (徐州校区) 南京分校地址:江苏省南京市鼓楼区
    四校联动 工作学习两不误 报名,学习,考试 就在身边
     
    姓名: 报考专业:
    目前学历: 报考院校:
    手机号码: 在线QQ:
        其他补充:
     
    • 在线咨询
    QQ
    QQ
    QQ
    QQ
    QQ
    QQ
    QQ
    顶部 ↑