使用Python进行异常检测
|
Actor与Learner交互的RL架构。Learner使用采样数据训练模型，并将更新后的模型传递给Actor(例如TF-Agents，IMPALA)。 今天，我们要介绍的是Menger——一种具有本地化推理能力的大规模分布式RL架构，可通过多个处理集群(如Borg单元)扩展数千个Actors，从而减少了芯片放置任务的训练时间。在接下来的章节，我们介绍了如何使用Google TPU配置Menger，从而提高训练速度，进一步我们通过芯片放置任务验证框架的性能和可扩展性。可以发现，与基准模型相比，Menger将培训时间减少了8.6倍。 Menger设计思路 当前有各种各样的分布式RL系统，如Acme和SEED RL，然而，这些系统往往只从一个特定角度对分布式强化学习系统进行优化。例如，Acme从频繁的Learner获取模型，使每个Actor都进行本地推理，而SEED RL则通过分配一部分TPU内核执行批量调用，进行集中推理。对通信成本和推理成本的衡量是不同优化系统的区别，具体包括：(1)向/从集中式推理服务器发送/接收观察和动作的通信成本，或从Larner获取模型的通信成本;(2)相比加速器(TPU/GPU)成本，Actor的推理成本大小。考虑到观察值、动作和模型大小等目标程序要求，Menger使用类似Acme的局部推理，但同时尽可能的增加Actor的可扩展性。要实现良好扩展性和训练速度，主要挑战包括以下两点： Actor向Learner进行大量读取请求以进行模型检索，这就造成Learner的负担，随着Actor数量的增加模型表现明显受限(如收敛时间的显著增长)。 在将训练数据输送给TPU计算核心时，TPU性能通常受到输入管道效率的限制。随着TPU计算核心数量的增加(如TPU Pod)，输入管道的性能对于训练时间的影响更加明显。 高效的模型检索
为应对第一个挑战，在TensorFlow代码中，我们在Learner和Actor之间引入了透明的分布式缓存组件，并通过Reverb进行优化(类似于Dota中使用的方法)。缓存组件的主要职责是对Actor的大量请求和Learner的处理能力进行平衡。通过添加这些缓存组件，不仅显着减轻了过多请求对Learner的压力，而且以少量的通信成本将Actor分配给多个Borg单元。我们的研究表明，对有512个Actors、大小为16MB的模型，引入缓存组件可以将平均读取延迟降低约4.0倍，从而实现更快的训练迭代，在PPO等策略算法中效果更加明显。 苹果官网信息显示，iPhone 12系列手机支持的5G NR频段除了上文所提到的n41、n78和n79之外，还有包括另外14个频段，远远超过市面上主流安卓手机。不过，值得注意的是，考虑到国内毫米波部署尚未成熟，目前只有美版iPhone 12支持毫米波。 针对5G耗电量大的问题，苹果官方称其为iPhone 12 系列手机打造了一个高度集成的完整系统，例如优化了iOS架构，各类APP无需使用更多电量就能从5G中获益。新增的智能数据模式则可以在iPhone无需使用5G时，自动切换到LTE模式，以节省电量。 从重量上看，iPhone 12 mini 也是目前市面上最轻薄的5G手机。 不过，也有分析师认为目前5G网络部署还不够成熟，iPhone 12处境尴尬，如同是在村道上奔跑的法拉利。 一方面，根据调研公司IHS Markit旗下RootMetrics部门对美国125个地区的5G网络进行的测试，在中低频段，5G速度仅仅略快于4G LTE，距离实现手机运营商所承诺的速度还差数年时间，在高频段毫米波，虽然5G网络速度快很多，但会出现信号迅速恶化的情况;另一方面，使用5G提供新功能的应用程序还未开发出来，像在4G时代，是移动应用程序推动了4G的发展。
至于苹果首款5G手机是否真的是最强5G手机，以及最终会走向何方，还需要放在终端用户的实际体验中来评估。 cpdump 和 tcpflow 工具有大量的选项，包括创建复杂过滤表达式的能力。
tcpdump 和 tcpflow 都是基于文本的命令行工具。如果您更喜欢图形用户界面(GUI)，有一个开放源码工具 Ethereal 也许适合您的需要。Ethereal 是一个专业的协议分析软件，它可以帮助调试应用层协议。它的插入式架构(plug-in architecture)可以分解协议，比如 HTTP 和您能想到的任何协议(写本文的时候共有 637 个协议)。 （编辑：鞍山站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
