每周文章分享
2023.01.09-2023.01.15
标题: A Blockchain-Empowered Cluster-Based Federated Learning Model for Blade Icing Estimation on IoT-Enabled Wind Turbine
期刊: IEEE Transactions on Industrial Informatics, vol. 18, no. 12, pp. 9184-9195, December 2022.
作者: Xu Cheng, Weiwei Tian, Fan Shi, Meng Zhao, Shengyong Chen, and Hao Wang.
分享人: 河海大学——程孟祥
壹
背景介绍
由于风力涡轮机的广泛应用和技术成熟度,风能已成为一种有前途、快速增长的可再生能源。然而,叶片结冰导致的性能退化是风力涡轮机最严重的一个缺点,在极端情况下会导致损失高达30%的年发电量。数据驱动的方法为叶片结冰检测提供了解决方案,但需要将大量的物联网数据收集到中央服务器,这可能导致敏感业务数据的泄漏。同时,传统的联邦学习(FL)训练模式也存在服务器故障和泄露用户数据隐私的风险。并且由于结冰是偶发事件,这导致结冰样本和正常样本数据分布的极端不平衡,为训练高精度检测模型提出了很大挑战。为了解决这些问题,本文提出了BLADE,一种区块链授权的非平衡联邦学习(FL)模型,用于叶片结冰检测。引入区块链改进传统FL,避免了服务器直接接触用户数据,提高了隐私保护。此外,在BLADE中集成了一种新的不平衡学习算法,解决了传感器数据中的类不平衡问题。
贰
关键技术
在本文中,提出了一种基于区块链的非平衡联邦学习(BLADE)模型用于风力涡轮机叶片结冰检测。具体而言,本文首先使用融合注意力机制的深度神经网络提取特征,然后通过所提出的基于聚类的不平衡数据学习方法来克服数据分布不平衡的影响。再使用区块链验证机制来去除恶意参与者上传的恶意梯度以及共识机制防止恶意参与者操纵投票结果。最终将经过验证的梯度交由矿工保存在区块链中并广播,所有参与者聚合区块链中梯度来更新本地模型。
该方法的创新和贡献如下:
1)将区块链引入FL中,克服了传统FL网络中集中式服务器带来的问题。与传统的FL相比,BLADE可以增强可信区块链网络中的数据保密性和模型更新能力。
2)集成了一种新的基于聚类的方法来解决数据不平衡问题,BLADE可以很容易地应用于分布不平衡的传感器数据。
3)在两个风电场的10台风力涡轮机上进行了综合评估。证实所提出算法全局模型、不平衡学习能力和抗中毒攻击的优越性能。
叁
算法介绍
1. 系统模型
图1 提出的BLADE系统模型
如图1所示,假设共有N台计算能力相当的风力涡轮机作为客户端,在每轮训练回合中每个客户端都会被随机分配为工作者、矿工、验证者三种角色中的一种。每个工作者使用本文提出的基于聚类的方法在本地数据集执行不平衡学习。一旦完成本地学习,每个工作者将本地模型梯度广播给相关的验证者。验证者与其他验证者共享它们获得的模型梯度,并检查本地模型梯度更新的合法性。然后将经过验证的本地模型梯度发送给矿工,矿工们经过共识机制决定出本轮挖掘新区块的矿工,然后该矿工将本轮收到的梯度更新打包成区块并附加到区块链中并广播。在没有任何中央服务器干预的情况下,每个客户端使用新区块中的所有共享模型梯度执行全局聚合以更新其本地模型,并一直重复以上步骤直至模型收敛。
2. 基于聚类的联邦学习
A.特征提取网络
图2 用于提取特征的神经网络模型
从传感器数据中提取信息特征是构建叶片结冰检测模型的关键任务。风力涡轮机作为训练全局模型的参与客户端,需要在本地数据上训练本地模型并上传。本文使用CNN来设计特征提取器网络。网络模型结构如图2所示,共有三个堆叠的CNN块。每个CNN块由卷积(Conv1D)层、注意力(attention)层、批归一化(BN)层和非线性激活 (RELU)层组成。所使用注意力层原理会在下文中详细介绍。
图3 发射机分类的DNN实现
本文所使用注意力层如图3所示,首先将经过卷积层处理过的传感器数据作为原始特征输入,然后将其分别输入最大池化和全局平均池化层获得特征Xmp和Xap。再将池化后的特征转发到卷积层以获得通道注意力,最后利用通道注意力来对通道特征进行标定。注意力层的整体过程如下所示:
B.基于聚类的不平衡学习
因为原始数据的分布不平衡,导致神经网络提取的特征也是不平衡的。首先为每个类别分配一个聚类,然后用它来建立分类器。计算每个类别中所有样本特征的平均值作为该类别的聚类中心。然后就可以计算出样本属于某个类别的概率。
进而得到交叉熵损失函数来指导客户端的模型训练。
C.模型聚合
每个客户端在本地数据上训练完毕后,所有客户端的模型梯度在经过验证后会被矿工打包成新区块并附件到区块链中并广播。所有客户端通过读取区块链中区块的模型梯度来聚合生成全局模型,并且通过权重(该客户端数据占总数据量的比重)来控制客户端模型在聚合结果中的占比。
3. 区块链机制
本文区块链中采用多数投票的验证机制来去除可能由恶意参与者或者故障节点上传的恶意模型梯度。验证思想如下:验证者从其关联工作者接收本地更新;如果当前训练回合中的本地更新比上一轮下降得非常严重,则意味着本地更新受到了污染;否则,新的本地更新应该比上一轮更好,或者下降很小。也即如果接收到的本地更新导致模型精度下降超过了阈值T则将其视为恶意梯度。并且本文选取PoS和PoW两种共识机制来防止恶意参与者成为矿工操纵投票结果从而侵害全局模型。
肆
实验结果
1. 实验设置
本文实验使用的数据来自位于中国山西省和河南省的两个相距700公里的风力发电场。从每个风电场中选择5台风力涡轮机来评估本文模型。在风力涡轮机中安装数百个传感器,数据采样频率为5 s,分别采集360h和384h时长的数据。从中选取16个与叶片结冰高度相关的参数(如表一所示)。为了评估模型在不同数据分布占比下的性能,分别设置了ρ=20、50、100三种数据分布。
表1 实验选取参数及描述
2. 收敛性分析
图4 三种数据分布下的模型收敛性能
为分析模型在三种数据不平衡比下的收敛性,此实验中没有设置恶意客户端,并且在每个全局通信轮中随机选择工作者、验证者和矿工的数量,验证阈值为1。如图4所示,随着通信轮次的增加,当ρ = 50:1和ρ = 100:1时即使在训练过程中有很多波动,模型最终也可以达到可接受的性能。并且当通信轮次达到一定数量(≥15)时,模型的性能并没有明显改善,所以只需将通信总次数设置为20次。在现实中,由于风力发电场位于偏远地区,通信成本仍然是需要考虑的因素。同时可以看到,准确性和不平衡比例之间有很强的关系。随着不平衡比的增加,全局模型的精度降低。显然,不平衡比越大,模型可用于学习的结冰信息就越少,这使得模型的性能受到限制。当不平衡比为50和100时,全局模型的性能是接近的。
3. 鲁棒性分析
图5 不同恶意客户端数量下模型鲁棒性
使用三个模型与提出的BLADE模型进行性能比较。其中BLADE_IM模型表示从BLADE模型中删除了不平衡模块,FedAvg_IM同理。恶意客户端数量设置为{20%,40%,60%,80%},攻击方式设置为向客户端模型添加方差为2的高斯噪声,并选择最终聚合模型的性能进行比较。结果如图5所示,对比BLADE_IM和FedAvg_IM两种模型,在去除不平衡学习模块后,BLADE_IM在三种情况下也仅略优于FedAvg_IM。对比BLADE和BLADE_IM以及FedAvg和FedAvg_IM,模型性能明显下降,可以得出结论:本文提出的不平衡学习模块有能力处理恶意攻击以及不平衡数据。基于聚类的不平衡学习方法利用学习到的特征的聚类中心进行分类。模拟攻击会影响客户端模型梯度,但对用于构建分类器的聚类中心影响不大,所以最终的结果不会发生太大的变化。
4. 验证机制实验
表2 不同验证阈值下模型性能
此实验分别比较了T = 1和T = 10两个不同验证阈值下的性能。将工作者、验证者和矿工的数量分别设置为{6,2,2}。恶意设备数量设置为50%。其他设置与前面的实验相同。实验结果如表2所示,可以看到较小的T值可以获得更好的识别恶意设备的性能。在三种数据分布情况下,都是当T越小时,模型性能越好。
5. 注意力机制实验
表3 不同注意力模块性能
为了证明所提出的注意力模块的有效性,将其与其他四个注意力模块进行比较,结果如表3所示。在此实验中,只将所提出的注意力模块替换为其他注意力模块,其余设置不变。从表中可以得出,在ρ = 20:1的情况下,本文BLADE性能最好。在ρ = 50:1的情况下,BLADE只在MCC和精度指标下拔得头筹。在ρ = 100:1的情况下,GC注意力机制表现出最好的性能,BLADE性能第二。所以本文提出的注意力模块性能在数据分布不太极端的情况下是能够媲美现有的注意力模块的。
6. 消融实验
图6 消融实验
通过消融实验来进一步分析本文算法各部分的重要性。创建了两个分支:1)No_IM:删除了不平衡学习模块;2)No_Attn:不使用通道注意力模块。结果如图6所示,从结果可以看出,在三种情况下,去除不平衡学习模块的性能下降幅度最大。当不使用注意模块时,这三种情况下的性能只有轻微下降。对比No_IM和No_Attn可以得出结论,本文提出的不平衡学习模块比注意力模块有更好的性能。
图7 窗口尺寸比较实验
通过灵敏度分析确定窗口大小对检测精度的影响。结果如图7所示。从结果中知道,在这三种情况下,当窗口大小为256时,性能最高。背后的原因可能是较大的窗口可以采集更多的信息,从而让训练出来的模型拥有更高的准确性。
伍
总结
风能为人类未来的可持续发展提供了一个很有希望的解决方案,但叶片结冰是限制风力涡轮机性能的主要因素。本文研究了用于风力涡轮机叶片结冰检测的区块链授权的非平衡联邦学习(FL)模型BLADE。不仅解决了传统联邦学习中集中式服务器的局限性,还针对采集数据中经常出现的数据不平衡问题,提出了一种新的基于聚类的不平衡学习模块。并且为了增强防御投毒攻击的能力,还在区块链中引入了验证机制。
-END-
==河海大学网络与安全实验室==
微信搜索:Hohai_Network
联系QQ:1084561742
责任编辑:何宇