版权声明：本文为博主【图不灵】原创文章，允许转载，转载时请务必以超链接形式表明文章出处、作者信息和本声明。否则将追究法律责任。 https://blog.csdn.net/qj8380078/article/details/80388393

论文阅读：Deep Learning in Mobile and Wireless Networking:A Survey

从背景介绍到未来挑战，一文综述移动和无线网络深度学习研究
近来移动通信和 5G 网络等快速发展，它们的调控与配置因为充满了多样性和动态变化而面临非常多的挑战。因此近来很多研究科学家开始利用机器学习及深度学习加强移动无线网络的配置，以此应对数据量和算法驱动的应用程序的增长。本论文基本是首篇综述深度学习及无线网络交叉学科研究面貌的调研，通过阅读原论文该能够新兴交叉学科有了一个相对全面的了解。

• 论文阅读：Deep Learning in Mobile and Wireless Networking:A Survey 1 introduction
• 2 文章相关工作概述及综述范围
• 3. 深度学习基础 A.深度学习的基本原理
• B.深度学习的优势

4. 深度学习在移动网络中的应用

5. 深度学习：顶尖性能

6. 深度学习驱动的移动和无线网络

A.DL驱动移动数据分析 1.网络级移动数据分析：
• 2.应用级移动数据分析

B.深度学习驱动的移动分析和用户定位

C.深度学习驱动的无线传感器网络

D.深度学习驱动的网络控制

E.深度学习驱动的网络安全

F.深度学习驱动的移动网应用

7. 模型改进：DL框架对特定移动网络任务的适应

A. 用于移动设备和系统的深度学习架构改进
• B. 深度学习适应分布式数据容器（看不懂。。。）

8. 未来研究展望

A.用大量高质量数据为深度学习服务
• B.时空移动流量数据挖掘中的深度学习
• C.深度无监督学习支持移动数据分析
• D.深度强化学习支持移动网络控制

9. 结论

摘要：移动设备的迅速普及以及移动应用和服务的普及对移动和无线网络基础设施提出了前所未有的要求。 即将推出的5G系统正在不断发展以支持爆炸式移动通信量与敏捷的网络资源调配管理，以最大化用户体验以及提取细粒度的实时分析。 随着移动环境日益复杂，异构和不断发展，实现这些任务是具有挑战性的。 一个可能的解决方案是借助先进的机器学习技术来管理数据量和算法驱动型应用的增长。 深度学习最近的成功为这个领域问题的解决带来了新型强大工具。

  本文通过对深度学习与移动、无线网络研究的交叉领域开展综合性研究，填补了二者之间的鸿沟。首先，本文简要介绍了深度学习技术的基本背景和最新进展，以及在网络方面的潜在应用。然后讨论了几种有助于在移动系统上高效部署深度学习的技术和平台。随后，本文对基于深度学习的移动和无线网络研究进行了百科全书式的回顾（encyclopedic review），并按不同领域进行了分类。此外，本文还基于自己的经验讨论了如何根据移动环境定制深度学习。最后明确了当前的挑战和未来的研究方向。

关键词：深度学习，机器学习，移动网络，无线网络，移动大数据，5G系统，网络管理

1 introduction

  互联网连接的移动设备正在渗透生活、工作和娱乐的各个方面。智能手机数量不断增加以及不断增多的应用程序引发了移动数据流量的激增。事实上，最新行业预测显示，到 2021 年，全球 IP 年流量将达到 3.3 泽字节( 10151015 兆字节)—zettabytes (1015 MB) ，同年，智能手机流量将超过 PC 流量 [1]。由于用户偏好转向无线连接，当前移动基础设施面临着巨大的容量需求。针对这一日益增长的需求，有人建议采用灵活的资源供给方式 [ 2 ]，分布式解决移动管理问题 [ 3 ]。然而，长远来看，互联网服务提供商 ( ISP ) 必须开发智能异构架构和工具，以催生第五代移动系统 ( 5G )，并逐步满足终端用户的迫切需求 [4], [5]。

  移动网络架构日益多样化且复杂性不断提高，监控和管理众多网络元素的问题因而变得棘手。因此，广大研究人员对多功能机器智能嵌入未来移动网络这一课题的兴趣空前高涨 [6]，[7]。这种趋势反映在机器学习（ML）解决方案中，从无线接入技术（RAT）选择 [8] 到恶意软件检测 [9]，以及支持机器学习实践的网络系统的开发（例如 [10 ]，[11]）。机器学习能够从流量数据中系统地挖掘有价值的信息，并自动发现其相关性，这类问题对于人类专家来说太过复杂 [12]。作为机器学习的重要部分，深度学习在计算机视觉 [13] 和自然语言处理（NLP）[14] 等领域取得了卓越的进展。网络研究人员也开始认识到深度学习的重要性，并探索如何将深度学习应用到移动网络领域 [15], [16]。

  我们有充分理由在在 5G 移动和无线网络中嵌入深度学习，尤其在处理移动环境产生的异构数据。因为这些数据通常来源广泛，格式各异，并且表现出复杂的相关性 [17]。传统的机器学习工具需要繁琐的特征工程才能根据这些数据做出准确的推论和决策。深度学习消除了领域专业知识的门槛，因为它采用分层特征提取，该技术可以有效地提取信息并从数据中获取越来越抽象的相关性，同时最大限度地减少数据预处理工作量。基于GPU（图形处理单元）的并行计算进一步使深度学习能够在毫秒内进行推理。这有利于分析网络，提高管理准确度并克服传统数学技术（例如凸优化、博弈论、元启发式）的运行时间限制。

  尽管移动网络领域的深度学习炙手可热，但现有的成果分散在不同的研究领域，缺乏全面而简明的研究。本文通过介绍这两个领域交叉研究的最新调查，填补了深度学习与移动、无线网络之间的鸿沟。除了回顾相关度最高的文献之外，本文还讨论了各种深度学习架构的优缺点，并提出深度学习模型的选择策略，以解决移动网络问题。此外，本文还进一步研究了如何调整DL模型框架以针对特定移动网络任务的方法，以在复杂环境下实现最佳性能的方法。最后，本文指出未来值得深入研究的方向和尚未解决的重要问题，而最终目标是为用深度学习来解决各领域问题的网络研究人员和从业人员提供明确的指导。

  论文结构：如图 1 所示，本文采用自上而下的方式组织文章。首先，本文将讨论围绕深度学习、未来移动网络和使用深度学习构建的网络应用程序进行的高层次概述工作，这些工作有助于定义本文的范围和贡献 (第 2 节)。鉴于深度学习技术是移动网络社区中的新课题，第 3 节给出了深度学习的基本背景，突出了解决移动网络问题的直接优势。许多因素能够促进移动网络应用领域的深度学习实现 (包括专用的深度学习库、优化算法等)。第 4 节讨论了这些促进因素，帮助移动网络研究人员和工程师选择合适的深入学习软硬件平台。

图1：本文图解示意图图1：本文图解示意图

  第 5 节介绍和比较了最先进的深度学习模型，并提供了网络问题解决方案。第 6 节回顾了近期深度学习领域中移动和无线网络应用，本文将这些应用分为不同的场景，从移动流量分析到安全以及新兴应用。第 7 节讨论了如何针对移动网络问题定制深度学习模型，并强调网络研究中，深度学习应用相关的开放性问题（第 8 节）。本文结尾部分简要讨论移动网络和深度神经网络之间的相互作用（第 9 节）。

2 文章相关工作概述及综述范围

  近来深度学习有很多先进的综述性调查或研究，它们都令深度学习尤其是移动端网络架构在终端设备上有很大的提升。一般来说，深度学习的这些进步主要体现在先进的并行计算、分布式机器学习系统、便捷的深度学习框架和高效的最优化方法等。我们在下表 3 展示了这些进步，并在论文中详细讨论它们。

Alt text

表2：与深度学习和移动网络相关的现有调研、学术论文和专著汇总。符号D表示该出版物所处的研究领域，✗标记不直接覆盖该领域的文章，但读者可以从中获得一些启发，与深度学习和移动网络相关的出版物都使用阴影表示。表2：与深度学习和移动网络相关的现有调研、学术论文和专著汇总。符号D表示该出版物所处的研究领域，✗标记不直接覆盖该领域的文章，但读者可以从中获得一些启发，与深度学习和移动网络相关的出版物都使用阴影表示。

our scope：
  本调查的目的是为移动网络领域提供最先进的深度学习实践的全面观点。文章旨在回答以下关键问题：

1）为什么深度学习有望解决移动网络问题？
2）与移动和无线网络相关的尖端深度学习模型是什么？
3）移动网络领域最新成功的深度学习应用是什么？
4）研究人员如何才能针对特定的移动网络问题量身定制深度学习？
5）哪些是值得进一步研究的最重要和最有希望的方向？

  文章超越了以往的作品，特别关注了深度学习和移动网络之间的交叉领域。虽然主要范围仍然是移动网络领域，但为了完整起见，我们还讨论了无线网络的深度学习应用，并确定与这些领域密切相关的新兴应用领域。总体而言，我们的论文与以前的调查区别于以下观点：
  （i）我们特别关注移动网络分析和管理的深度学习应用，而不是广泛讨论深度学习方法（例如在[18]，[19]中）或集中在单个应用领域，例如移动大数据分析与特定平台[17]。
  （ii）我们从移动网络的角度讨论尖端的深度学习技术（例如，[66]，[67]），侧重于它们在这个领域的适用性，同时不太关注或许已经过时的传统的深度学习。
  （iii）我们分析现有的非联网问题与移动网络特有问题的相似之处;基于这一分析，我们提供深入了解最佳深度学习架构选择策略和适应方法的见解，以便利用移动网络的特性进行分析和管理任务。
  作者表示，这是第一次从深度学习的角度来谈移动网络分析和管理的文章。我们还首次提供了有关如何针对移动网络问题量身定制深度学习的见解。

3. 深度学习基础

  我们首先简要介绍深度学习，重点介绍该领域计算技术背后的基本原理及其成功的关键因素。深度学习实质上是ML的一个子分支，其中算法通过多层非线性处理单元从原始数据中分层提取知识，以根据某个目标目标进行预测或采取行动。与传统ML相比，深度学习的主要优势在于自动特征提取，从而避免了昂贵的手工特征工程。我们在图2中高层次地阐述了深度学习，机器学习和人工智能（AI）之间的关系。

图2：深度学习、机器学习和AI之间关系的维恩图。本调研重点关注移动和无线网络中的深度学习应用。图2：深度学习、机器学习和AI之间关系的维恩图。本调研重点关注移动和无线网络中的深度学习应用。
  这门学科追溯到75年前，当时使用阈值逻辑来产生计算模型用于神经网络[68]。然而，直到20世纪80年代后期，神经网络（NN）才得到了人们的关注，因为Williams和Hinton表明，多层神经网络可以通过向后传播错误来有效地训练[69]。LeCun和Bengio随后提出了现在流行的卷积神经网络（CNN）体系结构[70]，但由于当时可用系统的计算能力限制造成了发展的停滞。继最近GPU的成功之后，CNN被用来大幅度降低大规模视觉识别挑战（LSVRC）中的错误率[71]。这使得研究者们对深度学习产生了前所未有的兴趣，突破在各种计算机科学领域不断出现。

A.深度学习的基本原理

  深度神经网络的关键目标是通过单元（或神经元）的简单和预定义操作的组合来逼近复杂函数。这样一个目标函数几乎可以是任何类型的，比如图像和他们的类标签之间的映射（分类），基于历史值计算未来股票价格（回归），或者甚至根据当前状态在棋盘上决定下一步最佳落子（控制）。所执行的操作通常由特定的一组隐藏单元与非线性激活函数的加权组合来定义，具体取决于模型的结构。这些操作与输出单元一起被命名为“图层（layers）”。神经网络结构类似于大脑中的感知过程，其中在给定当前环境的情况下激活特定的一组单元，从而影响神经网络模型的输出。在数学术语中，深层神经网络的体系结构通常是可微分的，因此可以学习模型的权重（或参数），根据基本链规则[69]，使用梯度下降法通过反向传播最小化损失函数。图3中举例说明了深度神经网络的学习和推理过程的原理，我们以CNN为例。
  
图3：4层卷积网络的学习和推断过程，其中w(·)代表每一个隐藏层的权重、σ(·)代表激活函数、λ为学习率、∗(·)表示了卷积运算，而L(w)为需要优化的损失函数。图3：4层卷积网络的学习和推断过程，其中w(·)代表每一个隐藏层的权重、σ(·)代表激活函数、λ为学习率、∗(·)表示了卷积运算，而L(w)为需要优化的损失函数。
  对于一般的深度学习来说，它们可以抽象为一系列相互嵌套的复合函数，且这种复合函数在直观上可以表示为一系列叠加的层级。如下展示了一般深度神经网络架构的训练和推断过程，其中正向传播即神经网络的推断过程。因为它们可以抽象为一个复合函数，那么根据复合函数的链式求导法则，就可以轻松地使用反向传播和最优化方法训练神经网络。

B.深度学习的优势

  我们认识到采用深度学习解决网络工程问题的几个好处，即：
  1）众所周知，对于传统ML算法的性能至关重要，特征工程是昂贵的[72]。深度学习的一个关键优势是它可以从具有复杂结构和内部相关性的数据中自动提取高级特征。学习过程不需要由人设计，这极大地简化了以前的特征手工制作[18]。在移动网络的背景下，这一点的重要性得到了放大，因为移动数据通常是由不同来源产生的，往往是嘈杂的，并且表现出非平凡的空间和时间模式[17]，否则其标签将需要杰出的人力。
  2）其次，深度学习能够处理大量数据。移动网络可以快速生成大量不同类型的数据。训练传统的ML算法（例如，支持向量机（SVM）[73]和高斯过程（GP）[74]）有时需要将所有数据存储在内存中，这在大数据情况下在计算上是不可行的。此外，随着大量数据和平台相对较快，ML的性能不会显着增长[23]。相比之下，用于训练神经网络的随机梯度下降（SGD）只需要每个训练步骤的子集，这就保证了深度学习对于大数据的可扩展性。深度神经网络进一步受益于大数据训练防止模型过度拟合。
  3）传统的监督学习只有在有足够的标记数据可用时才有效。然而，目前大多数移动系统都生成未标记或半标记的数据[17]。深度学习提供了各种方法，允许利用未标记数据以无监督方式学习有用模式，例如限制玻尔兹曼机器（RBM）[75]，生成敌对网络（GAN）[76]。应用包括聚类[77]，数据分布近似[76]，非/半监督学习[78]，[79]和一次/零点学习[80]，[81]等。
  4）深层神经网络学习的压缩表示可以在不同的任务之间共享，而在其他ML范式（例如线性回归，随机森林等）中这是有限的或难以实现的。因此，可以对单个模型进行培训以实现多个目标，而不需要针对不同的任务进行完整的模型重新训练。我们认为这对于移动网络工程是至关重要的，因为它在执行多任务学习应用时降低了移动系统的计算和内存需求[82]。
  通过深度神经网络学习的压缩表示可以在不同的任务之间共享，而在其他ML范例（例如，线性回归，随机森林等）中这是有限的或难以实现的。因此，可以对单个模型进行培训以实现多个目标，而不需要针对不同的任务进行完整的模型重新训练。我们认为这对于移动网络工程是至关重要的，因为它在执行多任务学习应用时降低了移动系统的计算和内存需求[82]。
  来自嵌入式和移动设备的连续音频分析是一个日益重要的应用领域。越来越多的设备，如亚马逊Echo，智能手机和手表，甚至是研究原型都试图从环境音频中同时执行多种区分任务;例如，监听背景声音类别（例如，音乐或对话），识别某些关键词（’Hey Siri’或’Alexa’），或从语音中识别用户和她的情绪。深度学习算法的使用通常为这种通用音频任务提供最先进的模型性能。然而，深度学习模型的巨大计算需求与移动，嵌入式和物联网设备的有限处理，能量和内存资源不一致。在本文中，我们提出并评估了一种新颖的深度学习建模和优化框架，它专门针对这类嵌入式音频传感任务。虽然支持的任务比语音识别的任务更简单，但该框架旨在维持预测精度，同时最大限度地减少整个处理器资源占用量。所提出的模型以多任务学习原则为基础，以训练共享的深层和作为输入层仅利用音频过滤器库的统计摘要来进一步降低计算。我们发现，对于嵌入式音频感应任务，我们的框架能够保持类似的精度，这在类似的使用单任务学习和通常更复杂的输入层的深层体系结构中被观察到。最重要的是，平均来说，这种方法为四种独立的音频感应任务提供了运行时间，能量和内存的减少2.169，假设有多种任务组合。
  尽管深度学习在解决移动网络问题时具有独特优势，但它需要一定的系统和软件支持，才能有效部署到移动网络中。我们在下一节中回顾并讨论这些启用者。

4. 深度学习在移动网络中的应用

5G 系统是试图提升信息吞吐量并获得低延迟通信服务的协议，它们能很大程度上提升用户的 QoE [4]。但在 5G 系统上构建深度学习智能系统是非常复杂和昂贵的。幸运的是，目前一些进步令深度学习在移动端的应用变成了可能：（i）高级并行计算，（ii）分布式机器学习系统，（iii）优秀的深度学习框架，（iv）快速优化算法和（v）雾计算（fog computing）。表 3 中总结了这些优势。

表3：在移动系统中嵌入深度学习的工具和技术汇总表3：在移动系统中嵌入深度学习的工具和技术汇总

因为并行计算和分布式系统的进步，目前深度学习出现了很多适用于移动端的框架和平台，它们都寻求在移动端上精简和优化深度模型。表 4 中对比了这些平台。

表4：深度学习移动平台对比表4：深度学习移动平台对比

5. 深度学习：顶尖性能

重新回顾图 2，机器学习方法可以很自然地分为监督学习、无监督学习和强化学习，而深度学习在这些领域中都实现了当前最顶尖的性能。在这一章节中，作者介绍了深度学习的关键原则，并讨论它们在解决移动网络问题上的潜力。下图 4 和表 5 都展示了当前基本的深度神经网络架构。

图4：MLP、RBM、AE、CNN、RNN、GAN和DRL的基本结构和操作原理。图4：MLP、RBM、AE、CNN、RNN、GAN和DRL的基本结构和操作原理。

如上所示为基本的深度网络架构，当然最基础的是有感知机发展而来的多层感知机或全连接网络，该网络前后两层的所有神经元都相互有连接。而后卷积神经网络和循环神经网络都基于一些先验特征而只有局部连接，这样不仅减少了权重数量，同时还加强了模型的性能。

以下展示了各神经网络架构的属性、优势和应用于移动网络的潜力等：

6. 深度学习驱动的移动和无线网络

  深度学习在移动网络领域应用广泛。我们在不同的网络域中组织和分组深度学习应用，并描述它们的贡献。接下来，本文将介绍所有领域的重要出版物，并对比其设计思路和原则。

A.DL驱动移动数据分析

  移动技术的发展（例如智能手机，增强现实等）迫使移动运营商发展移动网络基础设施。 结果，移动网络的云端和边缘端都在变得越来越复杂以满足用户的需求，每天产生并消耗大量的移动数据。这些数据既可以由记录个人用户行为的移动设备的传感器产生，也可以由反映城市环境动态的移动网络基础设施产生。合理利用这些数据对于多学科研究领域的研究工作（范围从移动网络管理和社会分析，公共交通，个人服务提供等）很有帮助[32]。
  运营商在大量异构移动数据的管理和分析工作中不堪重负。深度学习可能是分析移动大数据最有效的方法。作者通过介绍移动大数据的特点开始本小节，然后对深度学习驱动的移动数据分析进行全面评估。

移动大数据的特点：分为两种，网络级数据与应用级数据，它们之间的主要区别在于前者通常由网络基础设施收集，而后者则可以通过边缘移动设备获得。在讨论移动数据的分析之前，先通过图5简要介绍移动数据的收集过程。

图5：蜂窝、WiFi和无线传感器网络中的移动数据收集过程示意图。BSC：基站控制器；RNC：无线电网络控制器。图5：蜂窝、WiFi和无线传感器网络中的移动数据收集过程示意图。BSC：基站控制器；RNC：无线电网络控制器。
  移动运营商可以通过网络基础设施生成收集到大量网络级移动数据。这些数据不仅提供移动网络性能（例如吞吐量，端到端延迟，抖动等）的全局视图，还通过呼叫详细记录（CDR）个人会话时间，通信类型，发送者和接收者。网络级数据通常表现出由用户的行为导致的显着的时空变化[162]，这可以用于网络诊断和管理，用户流动分析和公共交通规划[163]。
  另一方面，应用程序级别的数据直接由安装在各种移动设备上的传感器或移动应用程序记录。这些数据经常通过来自不同来源的众包计划收集，如全球定位系统（GPS），移动摄像机和录像机以及便携式医疗监护仪。移动设备充当传感器中心，负责数据收集和预处理，并随后根据需要将其分发到特定场所[32]。应用级数据通常直接或间接反映用户的行为，如行程，个人偏好与社交网络[55]。收集并分析某用户的应用级数据能够重建该用户的个性特征与日常生活轨迹，可用于推荐系统和用户定位等应用。但访问这些数据通常涉及隐私和安全问题，这些问题必须得到适当的解决。
  不同无线网络中收集的数据是不一样的，如下展示了由不同基础设施收集的不同数据及及其类型。

表6：移动大数据的分类。表6：移动大数据的分类。

  移动大数据包括几个独特的特征，如时空多样性，异质性和个性[32]。
  一些网络级别的数据（例如移动流量）可以被视为全景相机拍摄的照片，这些相机为城市级感知系统提供城市传感。这些图像包含与大量个体运动有关的信息[162]，因此表现出显着的时空多样性。另外，由于现代智能电话可以容纳多个传感器和应用，所以一个设备可以同时产生异构数据。其中一些数据涉及个人的明确身份信息。不恰当的分享和使用可能会引发重大隐私问题。因此，在不损害用户隐私的情况下从多源手机中提取有用的模式仍然是一项具有挑战性的工作。
  与传统的数据分析技术相比，深度学习包含几个独特的功能来解决上述挑战[17]，即：
  
  1）深度学习在结构化数据和非结构化数据的各种数据分析任务中表现出卓越的性能。某些类型的移动数据可以表示为图像类（例如[163]）或顺序数据[164]。
  2）深度学习在从原始数据提取特征方面表现出色。这样可以节省人工特征工程在移动数据上的巨大工作量，从而使员工可以将更多时间花在模型设计上，并且减少对数据本身的排序。
  3）深度学习提供优秀的工具（例如RBM，AE，GAN），用来处理未标记的数据，而这类数据在移动网络日志中很常见。
  4）多模式深度学习允许学习多种形式的特征[165]，这使得它能够对从异构传感器和数据源收集的数据进行建模。
  
  这些优势使得深入学习成为移动数据分析的有力工具。
  

1.网络级移动数据分析：

  网络级移动数据是指由互联网服务提供商记录的日志，包括基础设施元数据，网络性能指标和呼叫详细记录（CDR）（见表VI）。深度学习最近取得的显着成功引发了全球关注，利用该技术（DL）对移动网络级数据进行分析，优化移动网络配置，进而改善终端用户的体验质量。
  这些工作通常可以根据应用分为四个主题，即网络预测，网络流量分类，CDR采集和无线电分析。在接下来的内容中，作者回顾了深入学习在这些学科中取得的成功。在阅读文献细节之前，通过比较表VII中的这些工作以更好的进行说明。
  
表7：网络级移动数据分析工作总结。表7：网络级移动数据分析工作总结。

网络预测：网络预测是指根据历史测量或相关数据推断移动网络流量或性能指标。*Pierucci和Micheli调查了关键客观指标与QoE之间的关系[166]。考虑到平均用户吞吐量，小区中活动用户的数量，每个用户的平均数据量以及信道质量指标，他们使用MLP来预测移动通信中用户的QoE*，从而显示出高预测准确性。网络流量预测是深度学习变得越来越重要的另一领域。通过利用稀疏编码和最大化池，Gwon和Kung开发了一个半监督的深度学习模型来对接收到的帧/数据包模式进行分类，并推断出WiFi网络中流的原始属性[167]。他们的提议显示出优于传统ML技术的性能。Nie等人调查无线网状网络中的流量需求模式[168]。他们与高斯模型一起设计DBN以精确估计交通分布。
  在[170]中，Wang等人建议使用基于AE的架构和LSTM分别对移动通信量分布的空间和时间相关性进行建模。具体而言，它们的AE包括用于空间特征提取，降维和训练并行性的全局堆叠AE多个局部堆叠AE。提取的压缩表示随后由LSTM进行处理以执行最终预测。在真实世界的数据集上进行的实验证明了其优于SVM和自回归整合移动平均模型的性能。[171]中提出的一项重要工作将移动业务预测延伸至长期。作者将ConvLSTM和3D CNN结合起来构建了一个时空神经网络，以捕捉米兰城市的复杂特征。他们进一步引入了微调方案和轻量级方法，将预测和历史均值相结合，这大大延伸了可靠的预测步骤。
  最近，张等人。提出一种原始的移动业务超分辨率（MTSR）技术，通过探测获得的粗粒度对等物推断全网精细粒度的移动通信量消耗，从而减少流量测量开销[163]。受图像超分辨率技术的启发，他们设计了一个深度拉链网络以及生成对抗网络（GAN），以执行精确的MTSR并提高推断的流量快照的保真度。他们在真实世界的数据集上进行的实验表明，其架构可将移动流量快照的粒度提高100倍，同时明显优于其他插值技术。

流量分类：流量分类的任务是识别网络中流量中的特定应用或协议。Wang认识到深度神经网络强大的特征学习能力[172]。他们使用深度AE来识别TCP流数据集上的协议，并实现出色的精确度和召回率。[173]中的工作提出将1D-CNN用于加密流量分类。他们认为1D-CNN可以很好地模拟顺序数据，并且复杂度较低，因此有望解决流量分类问题。同样，Lotfollahi et al。提供基于CNN的加密流量分类的深度数据包[174]。他们的框架减少了手工特征工程的数量，并实现了极高的精度。CNN还被用于识别恶意软件流量，其中[175]中的工作将流量数据视为图像，并将恶意软件流量呈现的不寻常模式通过表示学习进行分类。有关移动恶意软件检测的类似工作将在第VI-E小节中进一步讨论。

CDR数据挖掘：电信设备每天都在记录大量的CDR数据。这描述了电话交易的具体实例，例如电话号码，小区，会话开始/结束时间，流量消耗等。使用深度学习从CDR数据挖掘有用信息可以为应用程序提供各种很有实用功能。例如，梁等人。建议Mercury使用RNN根据流式CDR数据估算城域密度预测[164]。他们将移动电话用户的轨迹视为一系列位置，而基于RNN的模型在处理顺序数据方面效果很好。同样，Felbo等人使用CDR数据来研究人口统计[176]。他们使用CNN来预测移动用户的年龄和性别，这表明其优于其他ML工具的准确性。最近，陈等人。比较不同的ML模型，通过分析CDR数据来预测游客的下一个访问地点[177]。他们的实验表明，基于RNN的预测器显着优于传统ML方法，包括朴素贝叶斯，SVM，RF和MLP。

2.应用级移动数据分析

  受物联网（IoT）日益流行的影响，目前的移动设备安装了越来越多的应用程序和传感器，可以收集大量的应用程序级移动数据[180]。使用人工智能从这些数据中提取有用信息可以扩展设备的功能[64]，[181] [182]，从而使用户自己，移动运营商以及设备制造商都受益匪浅。这成为移动网络领域中一个重要且受欢迎的研究方向。尽管如此，移动设备通常运行在嘈杂，不确定和不稳定的环境中，用户的移动速度很快，而且经常会改变其底层位置和活动环境。因此，采用传统的机器学习工具通常不适用于应用程序级别的移动数据分析。先进的深度学习实践为应用级数据挖掘提供了强大的解决方案，因为它们在物联网应用中表现出更高的精度和更高的健壮性[183]​​。
  存在两种应用级移动数据分析方法，即（i）基于云计算和（ii）基于边缘的计算。我们在图6中说明了这些场景之间的区别。基于云计算的计算将移动设备视为数据收集器，这些数据收集器不断向有限本地数据预处理的服务器发送数据。服务器收集收到的数据以进行模型训练和推理，随后将结果发送回每个设备（或根据应用需求在本地存储分析结果而不传播）。这种情况的缺点是用户必须访问互联网才能发送或接收来自服务器的消息，这会产生额外的数据传输开销并可能导致边缘应用严重延迟。基于边缘的计算方案是指将预先训练的模型从云端卸载到单个移动设备，以便他们可以在本地进行推理。虽然这种情况下与服务器的交互较少，但其适用性受硬件和电池功能的限制。因此，它只能支持需要轻量计算的任务。
  许多研究人员对应用级移动数据分析采用深度学习。作者根据他们的应用领域对这些工作进行分组，即移动医疗保健，移动模式识别和移动自然语言处理（NLP）和自动语音识别（ASR）。表八总结了一些较有有代表性的相关工作。  
  
表8：应用级移动数据分析工作的总结。表8：应用级移动数据分析工作的总结。
  

图6：应用级移动数据分析的两种部署方法示意图，即基于云（左）的方法和基于边缘（右）的方法。基于云的方法在云端推断并将结果发送给边缘设备。相反，基于边缘的方法则是在边缘设备上部署可进行本地推理的模型。图6：应用级移动数据分析的两种部署方法示意图，即基于云（左）的方法和基于边缘（右）的方法。基于云的方法在云端推断并将结果发送给边缘设备。相反，基于边缘的方法则是在边缘设备上部署可进行本地推理的模型。

B.深度学习驱动的移动分析和用户定位

  了解一群人的运动模式对流行病学，城市规划，公共服务提供和移动网络资源管理而言变得至关重要[244]。基于位置的服务和应用（例如移动AR，GPS）需要精确的个人定位技术[245]。因此，对用户定位的研究正在迅速发展，培养出一套新兴的定位技术[246]。在本小节中，作者对表9中的相关工作进行了概述，并对它们进行讨论。

表9：深度学习驱动的移动分析和室内定位的研究工作总结。表9：深度学习驱动的移动分析和室内定位的研究工作总结。

C.深度学习驱动的无线传感器网络

  无线传感器网络（WSNs）由一组分布在不同地理区域的独特或异构传感器组成。这些传感器通过无线通道协同监测物理或环境状态（如温度，压力，运动和污染）并将收集到的数据传输到集中式服务器，参见无线传感器网络（图5中的紫色圆圈以便说明）。无线传感器网络通常涉及三个关键的核心任务，即传感，通信和分析。深度学习在WSN数据分析中越来越受欢迎。接下来，作者回顾了深度学习驱动的WSN（无线传感器网络）的作品。请注意，这与上文在第VI-A节讨论的移动数据分析不同，因为在本小节中只关注WSN应用程序。在开始之前，表X中总结了这些作品。

表10：深度学习驱动的WSNs研究工作总结。表10：深度学习驱动的WSNs研究工作总结。

D.深度学习驱动的网络控制

  在这一部分中，重点转向移动网络控制问题。由于强大的函数逼近机制，深度学习在改进传统强化学习[24]和模仿学习[277]方面取得了显着的突破。这些进步有可能解决以前复杂或难以处理的移动网络控制问题[278,279]。回想一下，在强化学习中，agent不断与环境交互以学习最好的行动。通过不断的探索和开发，agent学习如何在没有反馈的情况下实现预期收益最大化。模仿学习遵循不同的学习范式，即“通过示范学习”。这种学习范式依赖于一个’老师’（通常是一个人），告诉agent在训练过程中在某些观察下应该执行什么行动。经过充分的示范后，agent学习模仿老师行为的策略，并且可以在没有监督的情况下自行运作。
  除了这两种学习场景之外，在移动网络中进行基于分析的控制备受关注。具体而言，该方案使用ML学习模型进行网络数据分析，并随后利用结果来辅助网络控制。与以前的情况不同，基于分析的控制范例不会直接输出操作。相反，它会提取有用的信息并将它们传递给一个额外的代理来执行这些操作。作者对图7中三种控制范式之间的原理进行了说明。并回顾了本小节迄今为止提出的作品，并在表11中对它们进行总结。

图7：应用于移动无线网络管控的三种管控方法的原理，即强化学习（上）、模仿学习（中）和分析管控（下）。图7：应用于移动无线网络管控的三种管控方法的原理，即强化学习（上）、模仿学习（中）和分析管控（下）。

表11：深度学习驱动的网络管控研究工作总结。表11：深度学习驱动的网络管控研究工作总结。
网络优化：网络优化是指针对特定环境网络资源和功能的管控，以提高网络性能。最近的深度学习在这方面取得了一些成功的成果。例如，刘等人。利用DBN发现无线网络中多商品流量需求信息与链路使用之间的相关性[302]。基于预测移除了不可能被调度的链接，以便减少需求约束能量最小化的数据量。他们的方法在不会影响最优性能的条件下减少了高达50％运行时间。Subramanian和Banerjee提出使用深度学习来预测机器间通信的异构设备的健康状况[280]。并将结果用于优化健康意识政策变更决策。他等人。采用深入的强化学习来解决无线网络中的缓存和干扰对齐问题[281]，[282]。具体而言，他们将时变信道视为有限状态马尔可夫信道，并应用深Q网络来学习干扰对齐无线网络中的最佳用户选择策略。与现有方法相比，这种新框架显示出更高的总和率和能源效率。

路由：深度学习还可以提高路由规则的效率。Lee等人给出路由节点的详细信息，利用3层深度神经网络对节点度进行分类[284]。分类结果和临时路线被用于使用维特比算法的以下虚拟路线生成。毛等人。采用DBN来决定下一个路由节点来构建一个软件定义的路由器[140]。通过考虑开放式最短路径优先作为最佳路由策略，他们的方法实现高达95％的准确性，同时显着减少开销和延迟，并在信令间隔为240毫秒的情况下实现更高的吞吐量。类似的结论在[285]中得到，其中作者采用Hopfield神经网络进行路由选择，在移动ad hoc网络应用场景中实现更好的可用性和可生存性。

调度：有几项研究调查与深度学习调度。Zhang等人引入深度Q学习驱动的混合动态电压和频率调节调度机制以减少实时系统（例如Wi-Fi通信，IoT，视频应用）中的能量消耗[287]。在他们提出的模型中，AE被用来近似Q函数，框架执行经验回放[303]来稳定训练过程并加速收敛。仿真表明，与传统的基于Q学习的方法相比，该方法能耗降低4.2％。同样，[288]中的工作在路边通信网络中使用深度Q学习进行调度。特别是车辆环境之间的相互作用，包括行为，观测和奖励信号的顺序被制定为MDP。通过近似Q值函数，代理学习一种调度策略，与传统的调度相比，该策略可实现较少的不完整请求，延迟和繁忙时间以及较长的电池寿命方法。最近，Chinchaliet al。提出基于策略梯度的调度器来优化蜂窝网络流量[289]。具体而言，他们将调度问题作为MDP进行投入，并使用RF来预测网络吞吐量，随后将其用作组件作为奖励函数。通过一个真实的网络模拟器进行的评估表明，他们的提议可以动态适应流量变化，这使得移动网络能够承载14.7％的数据流量，同时超过启发式调度器超过2倍。

资源分配：孙等人。使用深度神经网络来近似在干扰受限的无线网络环境[290]下的加权最小均方误差资源分配算法[304]的输入和输出之间的映射。通过有效的模仿学习，神经网络近似作为其老师实现了接近的性能，而只需要256个较短的运行时间。深度学习也已应用于云无线接入网络，Xu等人根据当前模式和用户需求，采用深度Q学习来确定远程射频头的开/关模式[291]。与单基站协会和完全协调的关联方法的比较表明，所提出的DRL控制器允许系统满足用户需求，同时需要更少的能量。另外，费雷拉等人。采用深刻的国家行动 - 奖励 - 国家行动（SARSA）来解决认知交流中的资源分配管理问题[292]。通过预测无线电参数的影响，它们的框架避免了浪费对坏参数的浪费试验，降低了所需的计算资源。

无线电控制：在[294]中，作者使用深入强化学习来解决多信道无线网络环境中的动态频谱接入问题。在这种情况下，他们将LSTM并入深度Q网络中，以维护和记忆历史观察值，允许架构在部分观测情况下执行精确的状态估计。他们将培训流程分发给每个用户，从而实现有效的培训并行化并为个人用户学习良好的政策。实验表明，与基准测试方法相比，此框架实现了信道吞吐量的两倍。这项工作[295]揭示了无线电控制和信号检测问题。作者特别介绍了Kerlym，一个开放的基于Keras的强化学习代理系列，用于OpenAI的无线电信号搜索环境。他们的代理展示稳定的学习过程，并能够学习无线电信号搜索策略

其他应用：除了之前讨论的应用之外，深度学习在其他网络控制问题应用中也起着重要作用。毛等人。开发Pensieve系统，使用深​​层强化学习生成自适应视频比特率算法[298]。具体而言，Pensieve采用了最先进的深度强化学习算法A3C，该算法将带宽，比特率和缓冲区大小作为输入，并选择导致最佳预期回报的最佳比特率。该模型通过离线设置进行培训，并部署在自适应比特率服务器上，表明该系统在QoE方面优于现有最佳方案12％-25％。这项工作代表了在实际网络系统上实施DRL的第一个重要步骤。Kim将物联网的负载平衡问题与深度学习联系起来[301]。他建议DBN可以有效分析网络负载并处理结构配置，从而实现物联网中的高效负载均衡。

E.深度学习驱动的网络安全

随着无线连接的日益普及，保护用户，网络设备和数据免受恶意攻击，未经授权的访问和信息泄漏变得至关重要。网络安全系统通过防火墙，防病毒软件和入侵检测系统（IDS）[305]来保护移动设备和用户。防火墙是两个网络之间的接入安全网关。它允许或阻止基于预定义规则的上行链路和下行链路网络流量。防病毒软件检测并删除计算机病毒，蠕虫和特洛伊木马以及恶意软件。IDS识别信息系统中的未授权和恶意活动或违规行为。各自执行自己的功能来保护网络通信，中央服务器和边缘设备。
现代网络安全系统越来越多地受益于深度学习[334]，因为它可以使系统（i）自动学习经验中的特征和模式，推广到未来的入侵（监督式学习）;或者（ii）识别与正常行为明显不同的模式（无监督学习）。这大大减少了预先定义的用于区分入侵的规则的工作量。除了保护网络免受攻击之外，深度学习还可以扮演“攻击者”的角色，具有窃取或破解用户密码或信息的巨大潜力。作者在表12中总结了这些工作，并在下文中对其进行讨论。

表12：深度学习驱动的网络安全研究工作总结。表12：深度学习驱动的网络安全研究工作总结。
异常检测：
异常检测，旨在识别不符合预期行为的网络事件（例如攻击，意外访问和使用数据），正在成为IDS中的一项关键技术。许多研究人员投身此领域，致力于开发AEs杰出的无监督能力[306]。例如，Thing调查了IEEE 802.11网络中存在的攻击和威胁的特征[139]。他采用堆叠AE将网络流量分为5类（即合法，洪泛，注入和模拟流量），整体准确率达到98.67％。AE也在[307]中被利用，其中Aminanto和Kim使用MLP和叠加AE来进行特征选择和提取，表现出显着的性能。同样，冯等人。使用AE来检测无线通信中的异常频谱使用情况[308]。实验表明，检测精度可以从AE的深度显着受益。
分布式攻击检测也是移动网络安全中的一个重要问题。汗等人。专注于检测无线网状网络中的泛洪攻击[309]。他们模拟一个有100个节点的无线环境，并人工注入中间和严重的分布式洪泛攻击来生成合成数据集。他们基于深度学习的方法实现了出色的假阳性和假阴性率。分布式攻击也在[310]中进行了研究，作者关注物联网场景。[311]中的另一项工作是使用MLP来检测分布式拒绝服务攻击。通过描述典型的攻击事件模式，他们的模型可以很好地检测已知和未知的分布式拒绝服务入侵。
Martin等人提出有条件的VAE来识别物联网中的入侵事件[312]。为了提高检测性能，他们的VAE推断缺少与不完整测量相关的功能，这在IoT环境中很常见。真正的数据标签嵌入到解码器层中以协助最终分类。众所周知的NSL-KDD数据集[335]的评估表明，他们的模型在识别拒绝服务，探测，远离用户和用户到根攻击方面实现了卓越的准确性，在F1得分方面比传统的ML方法提高了0.18。

恶意软件检测：如今，移动设备正在携带大量私人信息。这些信息可能被窃取，并被安装在智能手机上的恶意应用程序用于恶意目的[336]。正在利用深度学习来分析和检测这些威胁。Yuan et al。使用有标签和无标签的移动应用来训练RBM [313]。通过从300个样本中学习，他们的模型可以非常准确地对Android恶意软件进行分类，性能优于传统ML工具，最高可达19％。他们的追踪研究[314]命名为Droiddetector进一步提高了检测精度2％。同样，苏等人。分析Android应用程序的基本功能，即请求权限，使用权限，敏感应用程序编程接口调用，操作和应用程序组件[315]。他们使用DBN来提取恶意软件的特征和SVM进行分类，实现了高精度，并且每个推理实例只需要6秒。
Hou et al。从不同角度攻击恶意软件检测问题。他们的研究指出，基于特征的检测不足以处理复杂的Android恶意软件[316]。为了解决这个问题，他们提出了可以自动执行代码例程来构造加权有向图的组件遍历。通过使用Stacked AE进行图形分析，他们的框架Deep4MalDroid可以准确检测Android恶意软件，该恶意软件有意重新打包并混淆以绕过签名并阻碍对其内部操作的分析尝试。这项工作之后是Martinelli等人，他利用CNN来发现应用类型之间的关系，并从真实的移动设备中提取系统调用追踪[317]。CNN也被用在[318]中，作者从NLP中吸取灵感，并将应用程序的反汇编字节码作为文本进行分析。他们的实验表明，CNN可以有效地学习检测指示恶意软件的操作码序列。陈等人。将位置信息纳入检测框架并利用RBM进行特征提取和分类[319]。他们的建议提高了其他ML方法的性能。

僵尸网络检测：僵尸网络是由受机器人威胁的机器组成的网络。这些机器通常由一个利用僵尸工具损害公共服务和系统的botmaster控制[337]。检测僵尸网络具有挑战性，现在成为网络安全中的一项紧迫任务。
深度学习在这一领域发挥着重要作用。例如，Oulehla等人建议使用神经网络从移动僵尸网络行为中提取特征[320]。他们设计了一个用于检测客户端服务器和混合僵尸网络的并行检测框架，并展现出令人鼓舞的性能托雷斯等人。使用LSTM [321]研究僵尸网络在其整个生命周期中表现出的常见行为模式。他们同时使用欠采样和过采样来解决僵尸网络和数据集中正常流量之间的类别不平衡问题，这在异常检测问题中很常见。类似的问题也在[322]和[323]中进行研究，其中作者使用标准MLP分别执行移动和对等僵尸网络检测，实现了较高的总体准确性。

隐私：在训练和评估深度神经网络过程中保护用户隐私是另一个重要的研究课题[338]。最初的研究在[324]中进行，作者使参与者能够在不共享输入数据的情况下训练和评估神经网络。这可以保护个人隐私，同时让所有用户在协作改善模型性能时受益。他们的框架在[325]中进行了重新研究和改进，另一组研究人员采用加性同态加密来解决[324]中忽略的信息泄漏问题，而不影响模型精度。这大大加强了系统的安全性。Osia等人使用深度学习专注于保护隐私的移动分析。他们设计了一个基于Siamese体系结构的客户端 - 服务器框架[339]，该框架适用于移动设备中的特征提取器，并相应地包含云中的分类器[326]。通过从云中卸载功能提取，他们的系统提供了强大的隐私保证。[327]中的一项创新工作意味着深度神经网络可以通过差分隐私进行训练。作者介绍了一种有差别的私人SGD，以避免披露培训数据的私人信息。在两个公开的图像识别数据集上的实验表明，他们的算法能够保持用户的隐私，在复杂性，效率和性能方面具有可控的成本。

攻击者：尽管应用程序较少，但深度学习一直用于安全攻击，如损害用户的私人信息以猜测谜团。在[331]中，Hitaj et al。建议协作学习深层模型是不可靠的。通过对GAN进行训练，他们的攻击者能够影响协作式学习过程，并通过注入假培训样本引诱受害者披露隐私信息。他们的GAN甚至成功打破了[327]中的差异式私人协作学习。作者进一步研究了GAN在密码猜测中的使用。在[340]中，他们设计了一个PassGAN来学习一组泄露密码的分布。一旦对数据集进行了培训，PassGAN能够在不同测试集中匹配超过46％的密码，而无需用户干预或密码学知识。这种新技术有潜力彻底改变目前的密码猜测算法。Greydanus使用LSTM网络打破解密规则[332]。他们把解密当作序列到序列的转换任务，并且训练一个带有大对谜对的框架。拟议的LSTM在学习多字母密码算法方面表现出色。Maghrebi等人利用各种深度学习模型（即MLP，AE，CNN，LSTM）构建一个精确的分析系统来执行侧通道密钥恢复攻击[333]。令人惊讶的是，基于深度学习的方法在打破无保护和受保护的高级加密标准实现方面的效率方面比其他模板机器学习攻击表现出压倒性的性能。

F.深度学习驱动的移动网应用

深度学习驱动信号处理
网络数据货币化

物联网网内计算：Kaminski等人没有将IoT节点作为数据的生产者或处理信息的最终消费者，将神经网络嵌入到IoT网络中，允许IoT节点协同处理与数据流同步生成的数据[352]。这使得物联网网络中的低延迟通信成为可能，同时从云端卸载数据存储和处理。具体而言，他们将每个训练过的神经网络的每个隐藏单元映射为物联网网络中的一个节点，并研究导致最小通信开销的最佳投影。他们的框架在无线传感器网络的网络计算中执行类似的功能，这为雾计算开创了一个新的研究方向。

移动群体感测：肖等人。主张存在恶意的移动用户故意向服务器提供虚假传感数据，以节约成本和保护隐私，从而使移动群众感知系统变得脆弱[353]。他们将服务器用户系统制定为Stackelberg游戏，其中服务器通过分析每个感知报告的准确性扮演负责评估个人感知努力的领导者的角色。用户通过对努力的评估付费，因此欺骗用户将受到零奖励的惩罚。为了设计最佳支付策略，服务器采用深度Q网络，从体验感知报告和支付策略中获取知识，而不需要了解特定传感模型的知识。模拟在传感质量，对攻击的抵御能力和服务器效用方面优于传统的Q学习和随机支付策略。

表13：深度学习驱动的新兴移动网络应用总结。表13：深度学习驱动的新兴移动网络应用总结。

7. 模型改进：DL框架对特定移动网络任务的适应

虽然深度学习在许多移动网络领域表现出色，但免费午餐（NFL）定理表明，没有一种模型可以在所有问题中普遍应用[356]。这意味着对于任何特定的移动和无线网络问题，可能需要我们采用不同的深度学习架构以取得更好表现。本节将重点讨论如何从三个角度为移动网络应用定制深度学习，即移动设备和系统，分布式数据中心以及不断变化的移动网络环境。

A. 用于移动设备和系统的深度学习架构改进

  未来5G移动网络的超低延迟要求，以及移动系统运行效率，包括深度学习驱动应用。但是，在移动系统上运行复杂的深度学习可能会违反某些延迟限制。另一方面，大多数目前的移动设备都受到硬件能力的限制。这意味着在没有调整的情况下在这样的设备上实施复杂的深度学习架构可能在计算上是不可行的。为了解决这个问题，许多研究人员致力于改进现有的深度学习架构[357]，这样他们就不会违反任何延迟和能量约束[358]，[359]。在审查之前，表14中概述了这些工作。

表14：移动设备和系统的深度学习研究工作总结。表14：移动设备和系统的深度学习研究工作总结。
  Iandola等人。为嵌入式系统设计紧凑的SqueezeNet，实现了在比AlexNet少50倍的参数下，达到与AlexNet相比具有相似的精度[360]。霍华德等人。扩展这项工作并引入一个高效的精简CNN系列，称为MobileNet，它使用深度分离的卷积运算来大幅度减少所需的计算量和模型大小[361]。这种新设计产生了可以低延迟运行的小型模型，使他们能够满足移动和嵌入式视觉应用的需求。他们进一步引入了两个超参数来控制乘法器的宽度和分辨率，这可以在精度和效率之间进行适当的折衷。ShuffleNet由Zhang等人提出。通过采用逐点组卷积和信道混洗来提高MobileNet的准确性，同时保持相似的模型复杂度[362]。他们发现更多的卷积组可以减少计算需求，因此可以在一定的计算能力约束下增加组数以扩展由模型编码的信息以提高性能。
  Zhang等人专注于减少用于移动多媒体功能学习的完全连接层的参数[363]。通过将Trucker分解应用于模型中的权重副作用，参数的维数显着减少，同时保持良好的重建能力。Trucker分解也已在[368]中使用，其中作者试图用较少的参数来近似模型以节省存储空间。针对RNN模型进一步研究移动优化。在[364]中，Cao等人使用名为RenderScript 16的移动工具箱来并行化特定的数据结构，并使移动GPU执行计算加速。他们的提议大大减少了在Android智能手机上运行RNN模型的延迟。陈等人。揭示了在iOS移动设备上实施CNN [365]。特别是，它们减少了模型执行的延迟，即数据可重用性的空间探索和内核冗余删除。前者缓解了卷积层的高带宽需求，而后者则减少了内存和计算要求，而且性能可以忽略不计。这大大减少了在移动设备上运行CNN的开销和延迟。
  Rallapalli等人调查通过在移动CPU和GPU上使用内存优化将非常深的CNN从云端卸载到边缘设备[366]。他们的框架允许在移动物体检测应用中高速运行具有大存储器要求的深CNN。Lane等人开发一个软件加速器DeepX，通过利用两种推理时间资源控制算法，即运行时间层压缩和深层体系结构分解[367]，协助移动设备上的深度学习实现。具体来说，运行时间层压缩技术通过扩展模型压缩原理来控制推理阶段的内存和计算运行时间。这在移动设备中很重要，因为在当前的硬件平台上卸载对边缘的推断更实用。
  此外，深层架构设计“分解计划”，旨在将数据和模型操作最优地分配给本地和远程处理器，并针对单个神经网络结构进行量身定制。通过对这两者进行梳理，DeepX可以在特定的计算和内存限制条件下实现能量和运行效率的最大化。除了这些工作之外，研究人员还通过其他设计和复杂的优化，如参数量化[369,337]，稀疏化和分离[370]，表示和存储器共享[82]，[375]，卷积操作优化[371]，修剪[372]和云援助[373]。这些技术将深度神经网络嵌入到移动系统和设备中具有重要意义。

B. 深度学习适应分布式数据容器（看不懂。。。）

  移动系统每天都会产生和消耗大量的移动数据，这可能涉及类似的内容，但分布在世界各地。将所有这些数据移动到集中式服务器以执行模型培训和评估，不可避免地会引入通信和存储开销，这是难以扩展的。然而，从不同地点生成的移动数据通常表现出与人类文化，移动性，地理拓扑等相关的不同特征。为了获得用于移动网络应用的健壮的深度学习模型，需要用不同数据来训练模型。而且，将全面的训练/推理过程完全纳入云中将引入不可忽略的计算开销。因此，适当地将模型执行卸载到分布式数据中心或边缘设备可以显着减轻云的负担。一般来说，有两种解决方案来解决这个问题。即，（i）分解模型本身以单独训练（或推断）其组成部分;或者（ii）缩放训练过程以在与数据容器相关联的不同位置执行模型更新。这两种方案都允许人们训练单一模型而不需要集中所有数据。图8中说明了这两个解决方案的原理，并回顾本小节中的相关技术。

图8：模型并行（左）和训练并行（右）的基本原理。图8：模型并行（左）和训练并行（右）的基本原理。
模型并行性：大规模分布式深度学习首先在[95]中进行了研究，其中作者开发了一个名为DistBelief的框架，该框架能够在数千台机器上训练复杂的神经网络。在他们的框架中，整个模型被分割成更小的组件并分布在各种机器上。只有跨越机器之间边界的具有边（例如层之间的连接）的节点需要用于参数更新和推理的通信。该系统进一步涉及参数服务器，其使每个模型副本能够在训练期间获得最新参数。实验证明，所提出的框架在单个GPU上的CPU集群上实现了显着更快的训练速度，同时在ImageNet [144]分类上实现了最佳性能。Teerapittayanon等人。提出了针对分布式系统的分布式深度神经网络，其中包括云服务器，雾层和地理分布式设备[376]。特别是，它们扩展了整个神经网络体系结构，并将其组件从云层分布到终端设备。该模型利用本地聚合器和二进制权重来降低计算存储和通信开销，同时保持不错的准确度。多视图多摄像机数据集上的实验表明他们的提议可以在分布式计算系统上执行高效的基于云的培训和局部推理。重要的是，在不违反延迟限制的情况下，分布式深度神经网络获得与分布式系统相关的重要益处，例如容错和隐私。

训练并行性：训练并行性对于移动系统也很重要，因为移动数据通常来自不同来源的异步数据。有效地训练模型，保持一致性，快速收敛和准确性仍然具有挑战性[379]。
  解决此问题的一种实用方法是执行异步SGD。其基本思想是使维护模型的服务器允许接受来自工人的陈旧延迟信息（例如数据，梯度更新）。在每次更新迭代时，服务器只需要等待较少数量的工作人员。这对于在移动系统中分布式机器上训练深度神经网络至关重要。异步SGD首先在[380]中进行了研究，其中作者提出了一个名为HOGWILD的无锁并行SGD并行算法，该算法表现出比锁定同类产品更快的收敛速度。由于每个模型副本都要求最新版本的参数，[95]中的倾盆降低SGD可改善工作节点故障时训练过程的稳健性。因此，少量失败的机器不会对培训过程产生重大影响。在[381]中采用了类似的想法，其中Goyal等人研究大型微型计算机的一套技术（即学习速率调整，预热，批量标准化）的使用，这些技术为分布式系统上的大规模深度神经网络的培训提供了重要的见解。最终，他们的框架可以在1小时内在ImageNet上训练一个精确的网络，与传统算法相比，这是令人印象深刻的。
  Zhang等人提出大多数异步SGD算法由于随机梯度的固有变化而收敛缓慢[382]。他们提出改善的新元与方差减少来加速收敛。在谷歌云计算平台上训练深度神经网络时，它们的算法在收敛性方面明显优于其他异步SGD。异步方法也被应用于深度强化学习。在[66]中，作者创建了多个环境，允许代理对主结构执行异步更新。新算法A3C打破了顺序依赖性，降低了体验重放的可靠性，并显着加快了传统ActorCritic算法的训练速度。在[383]中，Hardy等人进一步研究在云和边缘设备上以分布式方式学习神经网络。他们特别提出了一种训练算法AdaComp，它允许将工作人员更新压缩到目标模型。这显着降低了云和边缘之间的通信开销，同时在发生工人故障时保持良好的容错能力。
  联合学习（多任务学习？）最近已经成为一种新兴的并行方法，它使移动设备能够共同学习共享模型，同时保留单个设备上的所有训练数据[384]，[385]。除了从中央服务器卸载训练数据之外，它在安全聚合协议（386）下执行模型更新，该协议仅在有足够用户参与的情况下对平均更新进行解码，而忽略单个手机的更新。这允许模型以安全，高效，可伸缩和容错的方式聚合更新聚合。
  
C.深度学习适应动态变化的移动网络环境
  移动网络环境通常会随着时间的推移呈现出不断变化的模式例如，一个地区一天的空间移动数据流量分布随时间推移而显着变化[387]。在动态变化的移动环境中应用深度学习模型需要终身学习能力（lifelong learning ability），以不断学习移动环境中的新特性，同时不忘记过去学到的必要的规则。此外，新的智能手机定位病毒正在通过移动网络迅速传播，对用户的隐私和个人财产造成严重威胁。这些对目前的异常检测系统和反病毒软件构成了前所未有的挑战，因为它们需要这样的框架才能使用有限的信息及时应对新的威胁。为此，该模型应具备迁移学习能力，可以使来自不同作业或数据集的预训练模型的知识快速传输。这将允许模型与之配合良好有限的威胁样本（one-shot learning）或新威胁的有限元数据描述（zero-shot learning）。因此，对于动态变化移动网络环境，终生学习和迁移学习的应用都很有必要。图9中说明了这两种学习范式，并回顾了本小节中的重要研究。

图9：深度终身学习（左）和深度迁移学习（右）的基本原理。终身学习保留已学的知识，而迁移学习利用源领域标记数据改善没有知识保留的目标领域学习。图9：深度终身学习（左）和深度迁移学习（右）的基本原理。终身学习保留已学的知识，而迁移学习利用源领域标记数据改善没有知识保留的目标领域学习。
  深度终身学习：终身学习模仿人类行为，并寻求建立一个能够不断适应新环境的机器[388]。一个理想的终身学习机器能够保留以前学习经验中的知识，通过必要的调整来帮助将来的学习和解决问题，这对于学习移动网络环境中的问题具有重要意义。

  深度迁移学习：与终身学习不同，迁移学习只是寻求使用特定领域的知识来帮助目标领域的模型训练。使用迁移学习可以加速新任务的训练过程，因为新任务不需要从头开始学习。这对于移动网络环境至关重要，因为它们需要敏捷响应新的网络模式和威胁。目前它在计算机网络领域有着重要的应用[51]，如Web挖掘[393]，缓存[394]和基站休眠机制[158]。
  存在两种极端转移学习范式，即one-shot learning and zero-shot learning。one-shot learning指的是一种学习方法，只要从一个样本或少量样本中获得尽可能多的关于某个类别的信息，就可以使用预先训练的模型[395]。另一方面，zero-shot learning不需要任何类别的样本[396]。它旨在通过对新类别的元描述以及与现有训练数据的关联来学习新的分布。尽管深度one-shot learning[80]，[397]和zero-shot learning.[398]，[399]的研究都是新颖的，但两种范例在检测移动网络中的新威胁或模式方面都颇有前途。

8. 未来研究展望

  尽管深度学习在移动网络领域取得的成果日益显著，但仍有若干关键的开放性研究问题存在，值得去关注。接下来，本文将讨论这些挑战并界定这些可通过深度学习解决的重要移动网络问题，进而为未来的移动网络研究提出一些参考方向。

A.用大量高质量数据为深度学习服务

  深度神经网络依靠大量高质量的数据来获得令人满意的性能。在培养庞大而复杂的架构时，数据量和质量非常重要，因为深层模型通常有大量参数需要学习和配置。这个问题在移动网络应用中仍然存在。不幸的是，与一些流行的研究领域（如计算机视觉和NLP）不同，仍然缺乏用于移动网络应用的高质量和大规模标记数据集，因为服务提供者更愿意保留其数据的机密性并且不愿发布其数据集。这在一定程度上制约了移动网络领域深度学习的发展。此外，由于移动传感器和网络设备的局限性，所收集的移动数据通常会遭受丢失，冗余，错误标记和类别失衡，因此不能直接用于培训目的。
  为了建立一个智能的5G移动网络架构，需要高效和成熟的移动数据处理精简和平台，以服务于深度学习应用。这需要大量的数据收集，传输，清理，聚类和转换的研究工作。作者呼吁研究人员和公司发布更多的数据集，这可以大大推进移动网络领域的深度学习应用，并使学术界和工业界的广泛社区受益。

B.时空移动流量数据挖掘中的深度学习

  精确分析地理区域的移动业务数据对于事件本地化，网络资源分配，基于上下文的广告和城市规划越来越重要[387]。但是，由于智能手机用户的流动性，手机的时空分布流量和应用程序流行度非常不规则（请参见图10中的示例）[400]，[401]，这对于捕获它们的复杂关联特别困难。

图10：意大利米兰3D移动流量表面（左）和2D投影（右）的实例。图像[163]通过[402]中的数据绘制而成。图10：意大利米兰3D移动流量表面（左）和2D投影（右）的实例。图像[163]通过[402]中的数据绘制而成。
P.S.:longitude/latitude 经度/纬度
  最近的研究表明，城市上的移动传感器（例如移动交通）收集的数据可以被视为全景相机拍摄的照片，这些相机为城市监视提供城市规模的传感系统[403]。这些交通感知图像包含了与大规模个体移动相关的信息[162]。我们认识到，来自空间和时间维度的移动流量数据与视频，图像或语音序列具有重要的相似性，如[163]所证实的。我们在图11中说明他们的类比。

图11：移动流量数据（左）和其他数据（右）之间的类比。图11：移动流量数据（左）和其他数据（右）之间的类比。
  具体而言，大规模移动流量的演变与视频非常相似，因为它们都由一系列“帧”组成。如果我们专注于单个交通快照，则空间移动通信量分布与图像类比。此外，如果我们放大到一个狭窄的位置来衡量其长期的流量消耗，我们可以观察到单个流量序列看起来与自然语言序列相似。这些意味着，在某种程度上，这是一套完善的计算机视觉（例如CNN）或NLP（例如RNN，LSTM）工具可以成为移动通信业务分析的有希望的候选者[163]。除了相似之外，我们还观察到移动流量快照独有的几个属性，使它们不同于图像或语言序列。即，
  1）细粒度业务快照中的相邻像素的值通常不会显着改变，而这在自然图像的边缘区域中经常发生。
  2）单一移动流量簇通常呈现出周期性（在每日和每周属性中），但是这种属性不适用于视频中的像素。
  3）由于用户的移动性，一个地区的移动流量消费在不久的将来更可能停留或转移到邻近地区，而像素的值可能不会在视频中移动。

  移动业务的这些特性简化了它们的时空相关性，可以将其用作模型设计的先验知识。我们认识到在移动流量挖掘中采用深度学习的几个独特优势：
  1）深度学习在CV和NLP应用中表现出色，移动流量与这些数据具有显着的相似性，但其时空复杂度较低;
  2）LSTM捕捉良好的时间相关性和时间序列数据的依赖性，而不规则和随机的用户移动性可以通过使用变形CNN的转换能力来学习[146]。
  3）先进的GPU计算使得神经网络的快速训练可行，并行技术能够支持低延迟移动流量数据分析。
  我们期望深度学习能够有效利用（移动流量的）时空特性以解决现有工具的局限性，例如指数平滑[404]和自回归整合移动平均模型[405]。这些或将把关于移动流量分析的研究工作提升到更高的水平。

虽然机器学习和人工智能早已应用于网络研究，但大部分这类作品都侧重于监督式学习。近来，使用无监督机器学习使用非结构化原始网络数据来提高网络性能并提供诸如流量工程，异常检测，因特网流量分类和服务质量优化等服务的趋势一直在上升。在网络中应用无监督学习技术的兴趣源于其在计算机视觉，自然语言处理，语音识别和最优控制（例如，用于开发自主式自动驾驶汽车）等其他领域的巨大成功。无监督学习很有趣，因为它可以不受标签数据和手动手工特征工程的需求限制，从而促进机器学习的灵活，一般和自动化。本调查报告的重点是概述无监督学习在网络领域的应用。我们提供了一个全面的调查，突出了无监督学习技术的最新进展，并描述了他们在网络环境下的各种学习任务的应用。我们还提供关于未来方向和开放研究问题的讨论，同时也确定潜在的隐患。虽然以前已经发表了一些关于机器学习在网络中的应用的调查报告，但文献中没有关于类似范围和广度的调查。通过本文，我们通过仔细综合这些调查报告的见解来提高知识水平，同时也提供当代最新进展的报道。

C.深度无监督学习支持移动数据分析

  我们观察到目前在移动领域的深度学习实践网络主要采用有监督的学习和强化学习，而深度无监督的潜力学习还有待探索。但是，作为移动网络每天生成大量的未标记数据，数据标签成本高，需要特定领域的知识。为了便于分析原始移动网络数据，无监督学习对提取洞察力至关重要从未标记的数据[406]，以优化移动网络功能来改善QoE。
  深度学习在无监督方面是足智多谋的学习，因为它提供了优秀的无监督工具，如AE，RBM和GAN。这些模型通常不需要做特征工程，因此很适合用来学习异构和非结构化的移动数据。尤其是，深层AE可以很好地进行无监督的异常检测。一罐只使用正常数据来训练一个AE，并拿出测试数据产生的重建错误明显高于训练错误作为异常值[407]。？虽然不太受欢迎，但RBM可以执行分层无监督的预训练，可以加速整体模型训练过程。GAN擅长模仿数据分布，可用作模拟器模仿真实的移动网络环境。最近的研究显示GAN可以通过制作来保护通信定制他们自己的密码学以避免窃听[408]。所有这些工具都需要进一步的研究才能完成移动网络领域的潜力。

D.深度强化学习支持移动网络控制

  目前，许多移动网络控制问题已通过约束优化，动态规划和博弈论方法得到解决。不幸的是，这些方法要么对目标函数（例如函数凸性）或数据分布（例如高斯分布或泊松分布）做出有力的假设，要么承受时间和空间的高复杂性。但是，随着移动网络变得越来越复杂，这种假设有时变得不切实际。目标函数可能会进一步受到大量变量的影响，这些变量对这些数学方法造成严重的计算和内存挑战。
  另一方面，尽管有马尔可夫属性，深层强化学习并没有对目标系统做出有力的假设。它采用函数逼近，可以很好地解决大型动作空间的问题，从而使强化学习能够扩展到以前难以控制的网络控制问题。受到其在Atari [128]和Go [409]游戏中取得的显着成就的启发，一些研究人员开始将DRL带入解决复杂的网络控制问题，这已在6-D中进行了综述。但是，我们相信这些工作只显示出DRL能力的一小部分，并且其在移动网络控制方面的潜力在很大程度上仍未被探索。例如，它可以被利用来从蜂窝网络中提取丰富的功能，以启用/关闭基站的智能开关，从而减少基础设施的能源浪费[410]。例如，DeepMind培训DRL代理可以将Google数据中心冷却费用减少40％。这些令人激动的应用使我们相信DRL将在未来将移动网络控制的性能提高到更高的水平。

9. 结论

  深度学习在移动和无线网络领域扮演着日益重要的角色。本文给出了一份有关这两个不同领域之间交叉点的最新的全面工作调研，并总结了各种深度学习模型的基本概念和高级原理，然后通过回顾不同应用场景下的工作来关联深度学习和移动网络学科。本文还讨论了如何对深度学习模型做出修改已适应特定移动网络数据挖掘分析任务，这是以前调查完全忽视的一个方面。最后，作者给出了在未来有可能带来有价值的研究结果的若干个开放的问题研究方向，并希望这篇文章能成为研究人员和从业人员将机器智能应用于移动网络环境中复杂问题的有趣而明确的指南。

结论

  深度学习和IoT近年来受到研究人员和商业领域的广泛关注，这两项技术对我们的生活、城市和世界都产生了积极的影响。IoT和深度学习构成了一个数据生产者-消费者链，其中IoT生成由深度学习模型分析的原始数据，深度学习模型产生高层次的分析，反馈给IoT系统，以微调和改进服务。

阅读更多