普林斯顿、英特尔提出ParNet，加速和准确性显著优于ResNet

通过扩充因特网规模来获得较高的精确度。之前的科学研究 (Tan & Le, 2019) 延展了跨度、灵敏度和尺度。由于本科学研究的前提是风险评估否可以在尺度较低的前提协作高稳定性，因此科学研究成果将建模的尺度保持稳定不变，通过逐低跨度、灵敏度和引数来延展 ParNet。

对于 CIFAR10 和 CIFAR100，该科学研究逐低了因特网的跨度，同时将灵敏度保持稳定为 32，引数保持稳定为 3。对于 ImageNet，该科学研究在三个有所不同的维度上透过了试验，如下布 3 简述。

立体简化驱动程式的实际优势

目前 5 纳米光刻瓷已吻合 0.5 纳米晶石墨厚度，微处理器频率促使降低的空间更是少。这意味著神经因特网的较慢推理小说必须依赖测算的立体简化简化。单个单片 GPU 的稳定性增长也在放缓，预计传统光刻可协作的第二大芯片厚度将达到 800 平方毫米（Arunkumar 等，2017）。总体而言，未来在微处理器频率、芯片厚度以及每个微处理器的晶体管数等方面都将维持一个平稳状态。

为了解决这个问题，早先的一些管理工作指出了多芯片接口 GPU (MCM-GPU)，比第二大的可协作单片 GPU 较慢。用当中型芯片取代大型芯片上半年逐低石墨成本。这样的芯片其设计有利于带有立体简化共同点的分区算法，算法之间中介更是少的原始数据并且尽可能地分别独立执行。基于这些心理因素，非尺度立体简化构件将有利于协作短时间内速推理小说，尤其是对于未来的显卡。

试验结果

所列 1 直现了 ParNet 在 ImageNet 上的稳定性。该科学研究注意到，尺度数为 12 的因特网就可以协作惊人的高稳定性。为了与 ResNet 透过公平相比较，科学研究成果适用不尽相同的基础训练协定和原始数据减弱直新基础训练 ResNet，这将 ResNet 的稳定性降低到了打破对外结果的水平。值得注意的是，该科学研究注意到 ParNet-S 在所列达式数量少的前提（19M vs 22M）在准确率上比 ResNet34 高达 1 个百分点以上。ParNet 还通过困难直直其设计协作了与 ResNet 相比较的稳定性，同时尺度减低到 1/4-1/8。

如下所列 2 简述，ParNet 在准确率和速度上优于 ResNet，但所列达式和 flop 也更是多。例如，ParNet-L 协作了比 ResNet34 和 ResNet50 较慢的速度和更是快的精确度。多种不同地，ParNet-XL 协作了比 ResNet50 较慢的速度和更是快的精确度，但带有更是多的所列达式和 flop。这所列明适用 ParNet 只用 ResNet 时存在速度与所列达式和 flop 之间的权衡。一般来说，可以通过借助于可以分布在 GPU 上的立体简化姪构件来协作高速。

该科学研究测试者了 ParNet 三种类似于的速度：未相结合、相结合和多 GPU，结果如下所列 3 简述。未相结合的类似于由 RepVGG-SSE 块当中的 3×3 和 1×1 共同点一组。在相结合类似于当中，适用构件直所列达式简化擅长将 3×3 和 1×1 共同点合并为一个 3×3 共同点。对于相结合和未相结合类似于，该科学研究适用单个 GPU 透过推理小说，而对于多 GPU 类似于，适用了 3 个 GPU。对于多 GPU 类似于，每个引都在基本上的 GPU 上激活。当一个引当中的所有层都被处理时，来自两个相邻引的结果将在其当中一个 GPU 上连接起来并促使处理。为了衔接 GPU 传输原始数据，该科学研究适用了 PyTorch 当中的 NCCL 后端。

该科学研究注意到尽管存在通信开销，但 ParNet 仍可以衔接 GPU 有效立体简化简化以透过短时间内速推理小说。适用都由的显卡可以减低通信延期，甚至可以协作较慢的速度。

所列 5 直现了大幅提高 ParNet 稳定性的其他分析方法，例如适用较高灵敏度的投影、较短的基础训练机制（200 个 epoch、余弦固简化）和 10-crop 测试者。这项科学研究有利于风险评估非尺度建模在 ImageNet 等大规模原始数据集上可以协作的可用性。

MS-COCO (Lin 等，2014) 是一个前提检查原始数据集，其当中构成带有常见普通人的日常场景投影。科学研究成果用 COCO-2017 原始数据集透过了风险评估。如下所列 4 简述，即使在单个 GPU 上，ParNet 也协作了比基线较高的速度。这阐述了如何适用非尺度因特网来制作短时间内速前提检查系统。

所列 6 揭示了各种因特网在 CIFAR10 和 CIFAR100 上的稳定性。

融解试验

为了测试者否可以恰当地减低 ResNet 的尺度并使它们变宽，科学研究成果测试者了三个 ResNet 类似于：ResNet12-Wide、ResNet14-Wide-BN 和 ResNet12-Wide-SSE。ResNet12-Wide 适用 ResNet 基础 block，尺度为 12，而 ResNet14-Wide-BN 适用 ResNet 困难直直 block，尺度为 14。所列 7 直现了对因特网驱动程式和基础训练协定的各种其设计的融解科学研究结果，其当中包括适用原始数据减弱、SSE block 和 SiLU 激活线性的 3 种情况。

在所列 10 当中，科学研究成果风险评估了所列达式总数不尽相同但共同点数有所不同（ 1、2、3、4）的因特网。试验所列明，对于举例来说数量的所列达式，带有 3 个共同点的因特网带有略低于的准确率，并且在因特网灵敏度共有 224x224 和 320x320 这两种前提都是也就是说的。

另一种因特网立体简化简化的分析方法是创建者由多个因特网一组的包涵。因此，该科学研究将 ParNet 和功能强大的因特网透过对比。如下所列 9 简述，当适用少的所列达式时，ParNet 的稳定性优于功能强大的因特网。

。

株洲专业治疗妇科医院
杭州男科检查多少钱
济南治早泄阳痿的专科医院
吃饭恶心
急支糖浆和强力枇杷露哪个好
降压药
止咳糖浆哪个比较好一点
抗过敏药