机器学习与物联网安全的关联
物联网促进了物理世界和计算机通信网络之间的集成，基础设施管理和环境监控等应用程序使隐私和安全技术对未来至关重要。物联网系统由射频识别(RFID)、无线传感器网络(WSNs)和云计算组成。物联网必须保护数据隐私并解决安全问题，如欺骗攻击、入侵、DoS攻击、分布式DoS (DDoS)攻击、干扰、窃听和恶意软件等。例如，收集用户健康数据并将其发送到连接的智能手机的可穿戴设备必须避免隐私信息泄露。
对于计算、内存、无线电带宽和电池资源有限的物联网设备来说，通常不允许执行计算密集型和延迟敏感的安全任务，尤其是在大量数据流下。然而，大多数现有的安全解决方案对物联网设备产生了沉重的计算和通信负载，户外物联网设备(如具有轻量级安全保护的廉价传感器)通常比计算机系统更容易受到攻击。如图1所示，我们进行了关于物联网认证、访问控制、安全卸载和恶意软件检测的调查。
认证可以帮助物联网设备区分欺骗、Sybil等基于身份的源节点和地址攻击
访问控制防止未经授权的用户访问物联网资源
安全卸载技术使物联网设备能够使用服务器和边缘设备的计算和存储资源来完成计算密集型和延迟敏感的任务
恶意软件检测保护物联网设备免受病毒、蠕虫和木马等恶意软件的隐私泄露、功耗损耗和网络性能下降
随着ML攻击和智能攻击的发展，物联网设备必须在异构动态网络中选择防御策略并确定安全协议中的关键参数以进行权衡。由于资源有限的物联网设备通常难以及时准确地估计当前网络和攻击状态，因此这项任务具有挑战性。例如，[L. Xiao, Y. Li, G. Han, G. Liu, and W. Zhuang, “PHY-layer spoofing detection with reinforcement learning in wireless networks,” IEEE Trans. Veh. Technol., vol. 65, no.12, pp. 10037–10047, Dec. 2016.]方案的认证性能对假设测试中的测试阈值很敏感，而假设测试的阈值既依赖于无线电传播模型，也依赖于欺骗模型。这些信息对于大多数室外传感器来说是不可用的，导致在欺骗检测中出现高频率假警报或误检率。
ML技术包括有监督学习(supervised learning)、无监督学习(unsupervised learning)、RL (RL)等，已经广泛应用于提高网络安全性，如表1所示，如认证、访问控制、抗干扰卸载、恶意软件检测等。
监督学习技术，如支持向量机(svm)，朴素贝叶斯，k -近邻
(K-NN)、神经网络(nn)、深度神经网络(DNNs)和随机森林可以用来标记物联网设备的网络流量或应用痕迹，构建分类或回归模型。例如，物联网设备可以利用支持向量机检测网络入侵和欺骗攻击，利用K-NN检测网络入侵和恶意软件，利用NN检测网络入侵和DoS攻击。物联网设备可以使用朴素贝叶斯进行入侵检测，使用随机森林分类器检测恶意软件。具有足够计算和内存资源的物联网设备可以利用DNN检测欺骗攻击。
无监督学习在有监督学习中不需要有标签的数据，并调查无标签数据之间的相似性，将它们聚到不同的组。例如，物联网设备可以使用多元相关分析来检测DoS攻击，并在物理层(PHY)认证中应用无限高斯混合模型(IGMM)进行隐私保护。
RL技术，如Q学习、Dyna-Q、决策后状态(PDS)和深度Q -网络(DQN)，使物联网设备能够通过试错[8]选择安全协议和关键参数来对抗各种攻击。例如，Q-learning作为一种无模型RL技术已经被用于提高认证、抗干扰卸载和恶意软件检测的性能。物联网设备可以使用Dyna-Q进行认证和恶意软件检测，使用PDS检测恶意软件，使用DQN进行抗干扰传输。
物联网攻击模式
物联网系统由物、服务和网络组成，容易受到网络、物理和软件攻击以及隐私泄露。如图1所示，我们将重点关注以下物联网安全威胁：
DOS attackers：攻击者向目标服务器发送大量的请求，阻止物联网设备获取服务。DoS攻击最危险的类型之一是DDoS攻击者使用数千个Internet协议地址请求物联网服务，使服务器难以区分合法的物联网设备和攻击者。分散型轻量级物安全协议尤其容易受到DDoS攻击
Jamming：攻击者发送假信号来中断物联网设备正在进行的无线电传输，并进一步耗尽带宽、能量和中央处理单元(cpu)、物联网设备或传感器的内存资源
Spoofing：欺骗节点通过其身份(如媒介访问控制(MAC)地址和RFID标签)模拟合法的物联网设备，以获得对物联网系统的非法访问，并可以进一步发起诸如DoS和中间人攻击等攻击
MIMA：中间人攻击者发送干扰和欺骗信号，目的是秘密监视、窃听和改变物联网设备之间的私人通信
Software attacks：移动恶意软件如木马、蠕虫和病毒可能导致物联网系统隐私泄露、经济损失、电力消耗和网络性能下降
Privacy leakage：物联网系统必须在数据缓存和交换期间保护用户隐私。一些缓存所有者对存储在他们设备上的数据内容感到好奇，并分析和出售这类物联网隐私信息。可穿戴设备收集用户的位置、健康等个人信息，个人隐私泄露的风险越来越大。
基于机器学习的安全技术
基于认证的学习
传统的认证方案并不总是适用于计算、电池和内存资源有限的物联网设备，无法检测欺骗、Sybil等基于身份的攻击。物理层认证技术，利用无线电信道和发射机的物理层特征的空间去相关，如接收信号强度指示器(RSSIs)、接收信号强度(RSS)、无线电信道的信道脉冲响应(CIRs)、信道状态信息(CSI)、MAC地址可以在不泄露用户隐私信息的情况下为物联网设备提供轻量级的安全保护。
物理层身份验证方法(如[PHY-layer spoofing detection with reinforcement learning in wireless networks])构建假设测试，以将被测消息的物理层特征与声明发送器的记录进行比较。它们的验证精度取决于假设检验中的检验阈值。然而，对于物联网设备来说，由于无线电环境和未知的欺骗模型，物联网设备选择合适的认证的测试阈值是一项挑战。物联网设备在最后一个时隙估计欺骗干扰检测的虚警率和误检率，学习状态由虚警率和误检率组成。如果已知当前状态和测试阈值，那么物联网设备观察到的未来状态独立于以前的状态和动作。因此，在对抗欺骗攻击的重复博弈中，物联网认证的测试阈值选择可以看作是一个具有有限状态的马尔可夫决策过程。
马尔可夫性：所谓马尔可夫性是指系统的下一个状态st+1仅与当前状态st有关，而与以前的状态无关。
定义：状态st是马尔可夫的，当且仅当 p(st+1|st)=p(st+1|st,st−1,⋯,s1)。
从定义中可以看到，当前状态st其实蕴含了所有相关的历史信息s1,⋯,st。 马尔可夫性描述的是每个状态的性质，但真正有用的是如何描述一个状态序列。数学中用来描述随机变量序列的学科叫随机过程。所谓随机过程就是指随机变量序列。
如果随机变量序列中的每个状态都满足马尔可夫性，那么该随机过程称为马尔可夫随机过程。强化学习的目标是给定一个马尔可夫决策过程，寻找最优策略。
分布式FrankWolfe (dFW)和增量聚合梯度(IAG)等监督学习技术也可以应用于物联网系统，以提高抗欺骗能力。
接下来介绍一个模型，参考文献如下。
参考文献：L. Xiao, X. Wan, and Z. Han, “PHY-layer authentication with multiple landmarks with reduced overhead,” IEEE Trans. Wireless Commun., vol. 17, no. 3, pp. 1676–1687, Mar. 2018.
上文中的身份验证方案利用多个地标接收到的RSSIs，并使用逻辑回归来避免被限制到一个已知的无线电信道模型。该认证方案通过采用dFW和IAG算法估计logistic回归模型的参数，节省了通信开销，提高了欺骗检测的准确性。如图2所示，在6个地标，每个地标配备6根天线的仿真中，基于dFW的认证方案和基于IAG的认证方案的平均错误率分别为6%和小于10-4。在这种情况下，基于dFW的认证减少了37.4%的通信开销，而IAG与基于FrankWolfe的方案相比，减少了71.3%的计算开销。
IGMM等无监督学习技术可以应用于基于近距离的认证中，在不泄露设备定位信息的情况下，对靠近的物联网设备进行认证。例如，在[Proximity-based security techniques for mobile users in wireless networks]中提出的认证方案使用IGMM，一种非参数贝叶斯方法，以避免过拟合问题，从而调整模型的复杂性，评估RSSIs和包到达时间间隔的环境无线电信号，以检测接近范围以外的欺骗。该方案在室内欺骗检测实验中，与基于欧氏距离的认证相比，检测错误率降低了20% ~ 5%
如图3所示，该方案请求被测物联网设备发送特定时间段内所接收到的环境信号的RSSIs、MAC地址和包到达时间间隔等环境信号特征。物联网设备提取环境信号特征并发送给合法的接收方。接收端接收到验证消息后，应用IGMM将上报的信号特征与基于邻近度测试中观察到的环境信号特征进行比较。接收端为通过认证的物联网设备提供对物联网资源的访问权。
最后，将DNN等深度学习技术应用于具有足够计算和内存资源的物联网设备，进一步提高认证精度。[Smart user authentication through actuation of daily activities leveraging WiFi-enabled IoT]中介绍的基于DNN的用户认证提取Wi-Fi信号的CSI特征，并应用DNN检测欺骗攻击者。该方案的欺骗检测准确率约为95%，用户识别准确率为92.34%。
基于恶意软件探测的学习
物联网设备可以应用监督学习技术来评估应用程序在恶意软件检测中的运行行为。在[Evaluation of machine learning classifiers for mobile malware detection]中开发的恶意软件检测方案中，物联网设备使用k - nn和随机森林分类器来构建恶意软件检测模型。如图5所示，物联网设备过滤TCP数据包，并在各种网络特征(包括帧号和长度)中选择特征，对它们进行标记，并将这些特征存储在数据库中。基于k - nn的恶意软件检测将网络流量分配给其k - nn中对象数量最多的类。随机森林分类器利用标记的网络流量构建决策树来区分恶意软件。根据[Evaluation of machine learning classifiers for mobile malware detection]中的实验，基于k - nn的恶意软件检测方案和基于MalGenome数据集的随机森林方案的真阳性率分别为99.7%和99.9%。
物联网设备可以将应用程序跟踪转移到云或边缘设备上的安全服务器，以检测具有更大的恶意软件数据库、更快的计算速度、更大的内存和更强大的安全服务的恶意软件。要卸载的应用跟踪的最佳比例取决于每个边缘设备的无线信道状态和生成的应用跟踪的数量。RL技术可以应用于物联网设备，在不知道恶意软件和应用程序生成模型的情况下，实现动态恶意软件检测游戏中的最佳卸载策略。
在[Cloud-based malware detection game for mobile devices with offloading]开发的恶意软件检测方案中，物联网设备可以应用q学习来实现最佳的卸载率，而不需要知道邻近物联网设备的跟踪生成和无线电带宽模型。如图6所示，物联网设备将实时应用跟踪划分为若干部分，并观察用户密度和无线电信道带宽来制定当前状态。物联网设备评估检测精度增益、检测延迟和能耗，以评估在该时间间隔内接收到的效用。在由100台移动设备组成的网络中，与[Cloud-based malware detection game for mobile devices with offloading]中的基准卸载策略相比，该方案提高了40%的检测精度，减少了15%的检测延迟，提高了47%的移动设备利用率。
[Cloud-based malware detection game for mobile devices with offloading]中介绍的基于Dyna- q的恶意软件检测方案利用Dyna架构从假设的经验中学习，并找到最佳的卸载策略。该方案利用Dyna架构生成的真实防御和虚拟体验，提高了学习性能。例如，该方案与Q-learning检测方法相比，检测延迟减少了30%，准确率提高了18%。
为了解决Dyna-Q的虚假虚拟体验，特别是在学习过程的开始，[Cloud-based malware detection game for mobile devices with offloading]中开发的基于pds的恶意软件检测方案利用已知的无线电信道模型来加快学习速度。该方案利用网络模型、攻击模型和信道模型的已知信息来提高探测效率，并利用q学习来研究剩余的未知状态空间。在由200个移动设备组成的网络中，该方案与基于动态q的方案相比，检测精度提高了25%。
基于访问控制的学习
室外传感器等物联网设备通常具有严格的资源和计算约束，这给异常入侵检测技术带来了挑战，降低了物联网系统的入侵检测性能。ML技术有助于构建轻量级的访问控制协议，以节省能源并延长物联网系统的生命周期。例如，在[In-network outlier detection in wireless sensor networks]中开发的离群点检测方案应用k - nn来解决无线传感器网络中的无监督离群点检测问题，并提供了在降低能耗的情况下定义离群点的灵活性。与平均能耗相近的集中式方案相比，该方案可最大节约能源61.4%。
[Neural network based secure media access control protocol for wireless sensor networks]中提出的基于多层感知器(MLP)的访问控制利用隐含层中有两个神经元的NN来训练MLP的连接权值，并计算表明物联网设备是否是DoS攻击的受害者的怀疑因子。该方案利用反向传播(backpropagation, BP)，将正向计算和误差BP结合起来，并将粒子群优化(particle swarm optimization, PSO)作为一种进化计算技术，利用速度可调的粒子更新MLP的连接权值。当MLP的输出超过阈值时，被测试物联网设备会关闭MAC层和物理层功能，以节省能量并延长网络寿命。
有监督学习技术(如支持向量机)用于检测针对互联网流量和智能电网的多种攻击类型。例如，[Traffic flooding attack detection with SNMP MIB using SVM]中提出的轻量级攻击检测机制使用基于SVM的层次结构来检测流量泛滥攻击。在攻击实验中，数据集采集系统通过SNMP查询消息从受害系统收集到SNMP管理信息库数据。实验结果表明，该方案能够达到99.40%以上的攻击检测率和99.53%以上的分类准确率。
物联网安全卸载和学习
物联网卸载必须解决由PHY或MAC层攻击发起的攻击，如干扰、非法边缘设备、非法物联网设备、窃听、中间人攻击和智能攻击。作为未来国家物联网设备独立观察到以前的状态和动作对于一个给定的状态和卸载策略在当前时间段,移动卸载策略选择的物联网设备的重复博弈与干扰器和干扰源与有限的国家可以被视为一个MDP。RL技术可用于优化动态无线电环境下的卸载策略。
q学习是一种无模型的RL技术，其实现方便，计算复杂度低。例如，物联网设备可以利用[A mobile offloading game against smart attacks]中提出的基于q学习的卸载来选择它们的卸载数据速率来对抗干扰和欺骗攻击。如图4所示，物联网设备根据任务重要性、接收干扰功率、信道带宽和信道增益来制定其当前状态，这是根据q函数选择卸载策略的依据。q函数是每个动作状态对的预期贴现长期奖励和表示从之前的抗干扰卸载中获得的知识。根据当前卸载策略、网络状态和物联网设备接收到的抗干扰效用，在每个时隙中通过迭代Bellman方程更新q值。
物联网设备评估接收信号的信噪比(SINR)、保密能力、卸载延迟和卸载过程的能量消耗，并估计该时间段的效用。物联网设备在卸载策略选择中应用了e-greedy算法，该算法以高概率选择q值最大的卸载策略，以小概率选择其他策略。因此，物联网设备在探索(即避免陷入局部最优策略)和利用(即提高长期回报)之间做出权衡。与[A mobile offloading game against smart attacks]中提出的基准策略相比，该方案降低了50%的欺骗干扰率和8%的干扰率。
根据[Competing mobile network game: Embracing anti-jamming and jamming strategies with reinforcement learning]中提出的基于q学习的抗干扰传输，物联网设备可以应用q学习选择无线信道来访问云或边缘设备，而不需要意识到物联网系统中的干扰和干扰模型。如图4所示，物联网设备通过观察各通道的中心频率和无线电带宽来制定状态，并根据当前状态和q函数选择最优的卸载通道。在收到计算报告后，物联网设备评估实用程序并更新Q值。仿真结果表明，与基准随机信道选择策略相比，该方案的平均累积奖励提高了53.8%。
q学习还可以帮助物联网设备从无线电频谱波段获得最佳子带，从而抵御来自其他无线电设备的干扰和干扰。如图4所示，物联网设备通过观察频谱占用情况来制定状态并据此选择频谱频段。在一个扫频干扰器的实验中，在两个带十个子带的宽带自主认知无线电存在的情况下，该方案的干扰成本比[Multi-agent reinforcement learning based cognitive anti-jamming]中的基准子带选择策略提高了44.3%。
在[Two-dimensional anti-jamming communication based on deep reinforcement learning]中开发的基于DQN的抗干扰传输加快了物联网设备的学习速度，具有足够的计算和内存资源来选择射频信道。该方案采用卷积神经网络(convolutional NN, CNN)对包含大量物联网设备的大规模网络和动态物联网系统中的干扰策略进行状态空间压缩，从而提高接收信号的信噪比。更具体地说，CNN由两个卷积层和两个全连接层组成。CNN的权值是根据之前在内存池中的经验，基于随机梯度下降算法更新的。CNN的输出用于估计各个抗干扰传输策略的q函数值。与q学习方案相比，该方案使接收信号的信噪比提高了8.3%，在抗干扰攻击方面节省了66.7%的学习时间。
物联网安全中机器学习的注意事项
部分状态观察:现有基于RLL的安全方案假设每个学习代理都知道准确的状态，并及时评估每个行为的即时奖励。此外，Agent必须容忍糟糕的策略，尤其是在学习过程的开始阶段。然而，物联网设备通常在学习之初就准确估计网络和攻击状态有困难，避免因错误的策略而造成的安全灾难。一个可能的解决方案是迁移学习，通过数据挖掘来探索现有的防御经验，以减少随机探索，加快学习速度，并减少在学习过程的一开始就选择糟糕的防御策略的风险。此外，在学习过程中，从探索阶段就需要提供备份安全机制来保护物联网系统。
计算和通信开销:许多现有的基于ML的安全方案具有密集的计算和通信开销，需要大量的训练数据和复杂的特征提取过程。因此，必须研究具有低计算和通信开销(如dFW)的ML新技术，以增强物联网系统的安全性，特别是在没有云服务器和边缘计算的场景下。
备份安全解决方案:为了实现最优策略，基于RL的安全方法必须在学习之初就探索可能导致物联网系统网络灾难的糟糕安全策略。基于无监督学习技术的入侵检测方案有时具有不可忽略的误检率。有监督学习和无监督学习有时由于采样过多、训练数据不足和特征提取不良而无法检测到攻击。因此，需要设计备份安全解决方案，并与基于ML的安全方案相结合，提供可靠、安全的物联网服务。
3279916262