转自：看雪学院（ID：ikanxue）

　　图1：在本文，我们研究针对移动设备上 PIN 码和锁屏密码的热攻击。 在触摸屏上输入 PIN 码（a-c）或图案（d-f）之后，热迹线保留在屏幕上，并可通过热成像可视化。

　　? 摘要

　　PIN 码和图案仍然是最广泛使用的基于知识的认证方案。由于热摄像机变得无处不在且价格低廉，我们可以预见针对移动设备上用户隐私数据的新形式威胁。热感相机使得执行热攻击成为可能，因为在认证时产生的热迹线可以用于重建密码。在本文，我们详细研究利用热成像推断移动设备上的 PIN 和锁屏密码的可行性。在研究（N=18）中，我们评估了 PIN 和锁屏密码图案的性质如何影响其热攻击抗性。我们发现热攻击在移动设备上确实可行；重叠图案很明显地将热攻击成功率从100％降低到16.67％，而即使具有重复的数字，PINs 仍然脆弱（>72％ 热攻击成功率）。为了用户和身份验证方案设计师，我们总结并建议以下抵抗热攻击的方法。

　　ACM分类关键词：

　　K.6.5安全和保护：认证

　　作者关键词：

　　热成像；移动认证；触摸屏

　　?引言

　　个人移动设备上可用的敏感数据（例如个人照片，通话记录，银行帐户和电子邮件）数量的增加强化了防止各种恶意攻击的需要。因此，用户使用不同的身份验证机制保护对移动设备的访问，包括图案和 PIN（注：锁屏密码），以及生物识别方法，如 FaceUnlock 或 TouchID。众所周知，隐私问题影响用户的技术使用决策，这表明许多用户可能放弃生物特征识别方法，因为存在相关的隐私问题，如生物识别信息泄露。然而，PIN 和图案仍然是当今最流行的认证机制。

　　可用安全社区最近专注于调查不同的以用户为中心的攻击，例如背后窥视和污痕攻击（注：smudge attack，根据手指在屏幕上留下的污迹划痕判断出锁屏密码）。与此同时，新的威胁出现了，迄今为止，研究界少有关注，它就是对移动设备触摸屏的热攻击。过去几年来，在大众市场上出现了带有便携式热成像仪的个人移动设备，例如 CAT S60（https://www.catphones.com/phones/s60-smartphone），或作为移动设备的可附加配件（如 FLIR One [https://www.flir.de/flirone] 或 Seek thermal[https://www.thermal.com]）。硬件价格下降使得这些设备价格实惠。在本文出版之时，能以约 400 刀的价格买到温度敏感度为0.05℃的便携式热像仪。这自然地使得我们需要了解这种能够进行热攻击的设备所带来的威胁。

　　在热攻击期间，在远红外光谱中工作的热像仪在认证后（注：指在屏幕上输完密码后）捕获移动设备表面上留下的热迹。这些痕迹被恢复并用于重建密码。与污痕攻击不同，热攻击可泄漏有关PIN和图案输入顺序的信息（参见图1）。此外，它们可以在受害者认证之后进行，减轻可能受到手遮挡影响的现场观察攻击（如背后窥视攻击）的需要。

　　虽然已有前人研究利用热传导来识别交互的接触点，但我们研究的是可靠性，针对在认证后从触摸屏上留下的热迹推导出密码。Abdelrahman 等人描绘了针对表面热迹识别的材料空间（注：意思是属于这个集合空间内的材料表面可热迹识别）。然而，他们的研究工作并没有含盖触摸屏材料。我们调查 Gorilla（大猩猩）玻璃的热攻击（https://www.corning.com/gorillaglass/worldwide/en/products-with-gorilla.html），它是被用于大多数触摸屏的标准覆盖玻璃。

　　在这项工作中，我们将探讨当前的认证机制如何易受热攻击的影响。我们引入了一种基于自动计算机视觉的方法，在认证过程之后分析热迹，并提取潜在的 PIN 或图案（注：密码）。我们的实现是开源的，因此允许进一步实验热攻击（https://github.com/Yomna-Abdelrahman/ThermalAttack.git）。我们在用户研究中调查了 PIN 和图案的特性如何影响热攻击的成功，并报告我们的发现。特别是，我们关注于身份验证方式的类型、密码的属性以及身份验证后的攻击实施时刻。我们发现，尽管包含重复数字的PIN的热图像不能被肉眼看到 PIN（图1），但是在认证后的头30秒内予以实施，热攻击可以产生 72％ 至 100％ 的成功率。同时，如果图案包括一个或多个重叠，针对图案的热攻击成功将显着降低（在前 30 秒内从 100％ 降到17％）。

　　?贡献声明

　　本文的贡献如下：

　　1. 针对最先进的智能手机触摸屏的热接触传导率评估，以及商业热感相机如何利用它们进行热攻击。

　　2. 一种从热痕中提取 PIN 和图案来分析热攻抗性的自动计算机视觉方法。

　　3. 关于常用认证方案的属性如何影响热攻击的成功率的深入研究。

　　4. 一组帮助用户和认证方案设计人员克服热攻击的建议。

　　?相关工作

　　我们的研究工作基于两部分前人研究：（1）热成像和（2）移动设备上对用户认证的不同类型的威胁。

　　? 热成像

　　热像仪捕捉实景的热图。它们在波长于 7.5 和 13μm 之间的远红外光谱中工作。热成像的特性与可见光的特性有很多差异。

　　第一个热的特性是热辐射。与可见光相比，热辐射具有不同的反射特性，其取决于表面。以前的工作中利用了热反射，以使身体穿戴和手持设备能够检测空中手势[42]。

　　第二个独特的特性是热成像独立于光和着色前提，这允许热像仪用于面部和表情识别。热像仪可以提供有关于感知到的身体温度信息，可用于以无接触的方式推断用户的生理和认知状态[41]，比如通过评估其应激水平。

　　第三个独特的特性是热成像能够检测过去已经存在的输入。当用户触摸物体表面上的一个点时，热量从使用者转移到物体表面，这产生慢慢消失的热痕迹。可使用热成像检测这些热迹。热痕迹已被用于（注：数据）输入，以及根据用户的热手印来认证用户。

　　在本文中，我们研究使用热成像推断在移动设备上输入的密码，这利用了热痕仅会慢慢消失的事实。我们调查最先进的触摸屏的热特性，并研究密码特性对热迹的影响，从而成功地通过热成像提取出密码。

　　? 对移动设备上身份认证的威胁

　　移动设备（如平板电脑和智能手机）存储并允许访问太多的私人内容。之前有人调查了一些使用户的私人数据面临风险的威胁模型。

　　?背后窥视攻击

　　被讨论最广泛的威胁之一是背后窥视攻击，在该攻击中(注：背后）观察者试图窃听用户以发现私人信息，其中包含登录凭据信息。有些方法可减缓背后窥视攻击的冲击：添加随机线索；通过让攻击者观察多个线索来分割攻击者的注意力[14,29]；以及伪造用户输入。除专注于登录凭据，研究还调查了为保护用户免于被背后窥视短信和图片的方法。大多数反击背后窥视的方案都是攻击者可以清楚地观察一次密码输入的威胁模型。其他威胁模型涵盖多次观察攻击或视频攻击。

　　?污痕攻击

　　另一种前人已描述的攻击类型是污痕攻击，其中攻击者利用交互后触摸屏上留下的油性残留物发现密码[5]。污痕攻击对图案（注：密码）的表现特别好，因为污迹提示了模式的开始位置。但是，他们几乎无法提供有关PIN输入顺序的任何有用的信息。减少污迹攻击的方法包括图形化地转换输入密码的视觉提示；引入随机元素以导致在每次身份验证尝试时出现不同污迹；或者使用多个手指增加图案复杂性。污痕攻击的威胁模型假设攻击者除了清晰可见的污迹以及可清楚看到这些污迹的理想照明条件外，还可访问移动设备。

　　?热成像攻击

　　热成像攻击利用热成像的特性。也就是说，在认证期间，热迹线从用户的手转移到触摸屏。这些慢慢消失的痕迹[32]使得，即使用户已经输过了密码，热像仪也可以察觉显示屏的哪些部分被触摸过。类似于背后窥视，热攻击泄漏关于输入PIN和图案顺序的信息。然而，相比背后窥视，热攻击可以在用户离开设备后执行。这给了攻击者一个优势，因为他们不需要在认证时观察用户，这使攻击更加微妙，并消除了手遮挡。虽然热图像可以通过交互来扭曲，但执行有限交互或在认证后离开设备的用户仍然容易受到热攻击。

　　Mowery 等人研究了对带有塑料键盘 ATM 机进行热攻击的有效性。他们发现即使用户认证过后，热攻击也是可行的。尽管 Mowery 等人调查了对 ATM 机的塑料键盘的热攻击，对移动设备和其他触摸屏设备的热攻击几乎没有任何涉及。在初步研究中，Andriotis 等人[4]能够观察到在输入图案认证 3 秒后所产生的热痕迹。这允许他们提取部分图案（注：密码）。

　　在我们的工作中，我们深入分析在对于移动设备触摸屏上PIN和图案及相应不同密码特性情况下的热攻击的表现有多好。我们考虑了PIN中的重复数字和图案重叠。为此，我们实现了ThermalAnalyzer（注：热分析器），它可自动从热痕迹中提取密码。ThermalAnalyzer显示，即使在认证发生30秒（即10倍时长于先前研究工作[4]），热攻击也可成功。

　　?理解热攻击

　　我们的研究工作依赖于热从一个物体到另一个物体的传递现象。热从用户手上传递到与之接触的物体表面，这留下了可用于分析的痕迹。它取决于物体表面材料的特性，即所谓的热接触电导[12]，是指两个接触物体（表面）之间的热传导率。

　　根据blackbody（注：黑体）模型[27]，任何绝对零点以上的物体（例如我们周围环境中的物体）都会发出热辐射。这种辐射被吸收，反射和传播。然而，对于完全不传导的表面，没有传输部分[20]。这约束有效部分为反射和吸收辐射。因此，热辐射可以表现为Thermal reflectivity + Thermal absorptivity = 1（热反射率+热吸收率=1）。

　　一旦物体接触表面，热辐射被物体表层传播和吸收，导致温度变化。这导致热痕积聚在表面上。为了计算传输的热量并确定热量是否可以被商用热摄像机检测到，我们测量了接触点处的温度（T_contact）。我们使用Ray[40]的一个成熟的模型来计算两个物体接触点的温度。在我们的场景中，两个物体是：人体皮肤（即用户的手指）和移动设备的触摸屏（即Gorilla玻璃片）。

　　(1) T_contact = (b_skin*T_skin + b_gorilla_glass*Tgorilla_glass) / (b_skin + b_gorilla_glass)

　　(2) b = sqrt(K*P*C)

　　T_contact 取决于接触点的温度（T_skin 和 T_gorilla_glass）以及它们的热穿透系数（b）。它是被表层渗透和吸收的热能的总量。此 b 由等式 2 定义。它由热导率（K），热密度（P）和比热容（C）的乘积构成[38]。人类皮肤和 gorilla 玻璃短接触的b分别是1000 pow(JS,-1/2.0)*pow(m,-2)*pow(K,-1)[38]和1385 pow(JS,-1/2.0)*pow(m, -2)*pow(K,-1)[44]（该值由我们大学的应用光学研究所通过实验室测量确定）。

　　另外，接触点温度变化的检测取决于相机的灵敏度。温度的变化必须高于相机的温度敏感度才能被相机区分开来。例如，如果触摸屏玻璃的温度T_gorilla_glass为23℃，用户的手温T_skin为30℃，则按等式1计算T_contact为25.9℃，这导致2.9?C的温差（T_contact - T_gorilla_glass）。因此，热敏感度≤2.9℃的热相机将能够通过利用热痕迹衰减来恢复PIN/图案输入的顺序。在我们的研究中，热像仪的热敏感度为0.04℃，它能够感知手温差异。

　　?威胁模型

　　在我们的威胁模型中，攻击者（即未经许可访问设备的人）等待受害者完成认证过程并离开移动设备。比如用户快速查看其最新消息后，将设备放在他或她的桌子上，然后去咖啡机取饮料。为了确保攻击者在我们的威胁模型中的最佳条件，用户不与设备进行交互，而只是认证（例如，查看来自通知或窗口小部件的更新），然后让设备闲置。攻击者然后使用热像仪（如，集成于智能手机中的热像仪）来拍摄设备触摸屏的热图像。然后攻击者以类似于我们在下一节中给出的分析的方式分析热图像，以识别PIN/图案。与以前讨论的威胁模型[24,36,29,52]类似，攻击者利用了无人在设备附近的机会来登录和访问用户的私人信息。

　　?THERMALANALYZER（热分析器）下面，我们将介绍 ThermalAnalyzer 的设计和实现。此 ThermalAnalyzer 由捕获图像的热像仪和用于提取 PIN 和图案的识别流水线组成。? 识别流水线

　　识别流水线由六个步骤组成，用于从图像中提取PIN或图案（图2）。这些步骤使用OpenCV（https://opencv.org/）实现，包括帧提取、预处理、噪声和背景去除以及阈值处理。最后一步是特征提取，以推导出接触点的位置和温度信息。

　　? 帧提取和相机配置

　　我们使用 Optris 热像仪 API（https://www.optris.com/software）捕获了热像。使用处理器间通信，我们以 16 位颜色格式的帧捕获温度信息的编码。我们使用其API来配置相机以捕获在 19℃ 到 32℃ 之间的温度。这是为了实现表示如图 2 所示的不同温度值的较高的颜色对比度。对于每个被捕获的帧，都会有预处理过程被执行。这包括噪声过滤、背景去除和阈值处理。

　　? 噪声过滤

　　我们吸收了论文[1，32，42]所使用的噪声过滤处理过程，采用 5x5 像素的中值过滤器，将图像转换为灰度图并重新应用过滤器来增强降噪。

　　? 背景去除

　　为去除背景，我们构建了半静态背景模型。就我们来说，静态模型是首选的，因为我们希望检测到的热痕迹持续多个帧，且不被动态背景模型吸收。然而，另一方面，在操作过程中，需要一个动态模型来容忍设备的轻微温差。因此，我们构建了一个半静态背景模型，其中更新由学习速率（α）参数控制，该参数是控制背景模型更新速率的值。为 0.001 的 α 值在初步试验中表现最好。结果，密码输入产生的最新热痕迹仍处于前景，而与环境温度没有太多差异的热痕则与背景相融合。

　　? 阈值处理

　　为了区分与识别热痕迹相关的区域（图2），我们使用了 Otsu 的阈值处理方法[37]。基于 Otsu 算法的动态计算的阈值，帧被分为两个之间有最小重叠的像素组。然后，我们应用了一个额外的形态closing(注：逼近？)操作来突出显示阈值前景的边界并除去背景。

　　?特征提取

　　我们的特征分为（1）用于 PIN 检测的圆形痕迹，以及（2）用于图案检测的线条痕迹。

　　通过从二进制图像中提取轮廓可检测出热迹线，在提取时，要扫描图像来检测轮廓数组。类似于 Sahami 等人的工作，我们使用圆形拟合轮廓检测来识别 PIN 输入。轮廓中心从提取出的轮廓的空间矩计算出。为检测圆形拟合的热迹，我使用相同的方式，采用 Hough Transform（注：霍夫变换）提取线形拟合轮廓检测来识别输入的图案，如图 2 所示。

　　? PIN 和图案顺序检测

　　在处理流水线的这一步，已经从捕获的帧中提取了 PIN 或图案输入，但没有关于输入顺序的信息。为了推断 PIN 的顺序，我使用带虚拟输入键盘的预设帧，采用正方形来识别 PIN 位置。正方形表示整个有效区域（ROI，regions of interest）。Mowery 等人报告说，以平均温度表示 ROI 收获了最佳的恢复输入序列顺序的性能。因此，我们计算每个 ROI 的平均温度，并根据其权重排序。

　　为了识别重复条目，我们计算每个数字的总体平均温度。从而减去背景温度。因此，从未按下的数字将具有几乎为零的温度值。所以，重复输入（即被多次触摸的数字）具有超过总平均值的值。可以从检测到的按压总数的相对温度值推断重复的数量。总之，给定一个四位数的 PIN，将有四种检测结果：

　　1. 四种不同的热痕：这意味着没有重复。因此，以降序的方式根据其温度排列痕迹刚推断出（注：PIN密码）序列。

　　2. 三种不同的热迹：具有 T_contact 温度的热迹是PIN中的最后一个输入，因为它会保持 T_contact 值。这为剩下的序列留下了 3 种可能性，这足以让攻击者尝试而不被锁定。然而，这种方法将与最近捕获的帧一起才起作用，因为热痕，即 T_contact，随着时间推移衰减。

　　3. 两种不同的热迹：根据权重的相对比例确定每个数字的重复次数。然后规范化权重将显示最后触摸的数字。一旦识别出最后一位数字，攻击者可以判断它是重复的数字（即其他副本位于第1、2 或 3 位，而剩余的数字根据其热痕排序），或最后一位数字不是一个重复的数字，因而攻击者有3种不被锁定的尝试可能性。

　　4. 一个热迹：这意味着 PIN 由相同的数字重复4次。

　　由于热痕迹衰减，可能会遇到前三种情况之一。在这种情况下，我们认定丢失的数字为不明数字，并将其设置为 PIN 的开头（例如，如果检测到 3 个痕迹，没有重复的证据，则第一个数字被标记为未知，其余的三个按照他们的温度权重排序）。

　　对于图案，遵循相同的方法，其中提取的线根据其平均温度进行分析和排序。另外，比较所提取线的两端温度可识别此线的方向。我们的算法不考虑特殊图案长度，因此我们将可用的热迹线呈现可再生图案。

　　更保守地分析，ThermalAnalyzer 没有针对特定长度（最大为 9）的图案检测进行优化。这是因为在我们的威胁模型中，而且很可能也是在真实情况下，攻击者不知道图案长度。这意味着在 ThermalAnalyzer 产生长度为n而不是9的猜测的情况下，剩余的 9-n 个热痕迹在攻击时已经消失。

图3：设置用于拍摄手机屏幕的热像仪

　　? 收集热像

　　尽管过去几年引入的各种认证方案，但个人识别码（PIN）是最常用的方案之一。此外，随着 Android 设备在市场上占主导地位，图案越来越多地被采用，这是一种 Android 图形密码方案，用户可在其上的3×3网格中绘制一个可显示的由点的连接构成的线条图案。

　　在这项研究中，我们分析了用户输入密码后智能手机屏幕的热像。我们使用 ThermalAnalyzer 分析这些图像，并特别关注于理解（1）不同的认证方案，（2）密码输入和攻击之间的时间，（3）密码属性影响热攻击可行性。

　　? 设计

　　该研究采用重复的测量设计，所有参与者都接触到所有情形。我们研究了三个独立变量对成功热攻击的影响：（1）密码类型：所使用的方案是PIN还是图案，（2）热痕迹的年龄：我们分析验证后0,15，30,45和60秒的热痕，以调查它们可以被攻击者利用多久，以及（3）PIN 和图案的特性。

　　对PIN码，我们研究的属性是 PIN 中副本数。一方面，副本扭曲了热痕迹，使输入顺序不好区分；另一方面，副本的存在减少了密码空间，这意味着来自热攻击的较少信息将足以揭示密码。

　　我们研究了无重复，1 重复和 2 重复的影响（例如分别为 1236，1223 和 3222）。例子分别显示于图1a，1b和1c。对于图案，我们调查了图案中重叠数的影响。当用户的手指通过已被选中的节点时则发生重叠。我们预计重叠可能使热迹线扭曲，足以使得不可能重建输入的图案。我们研究了在图案中有一个，两个或没有重叠的影响（分别参见图1e，1f 和 1d）。

　　? 仪器

　　我们的设备有两个三星 Galaxy Note Edge 智能手机，一个热相机（Optris PI450 [https://www.optris.com/thermal-imager-pi400]）和一个 GoPro Hero3 RGB 相机，均安装在三脚架上。一个智能手机用于练习密码，另一个用于实际输入。热像仪具有 382×288 像素的光学分辨率和 80Hz 的帧速率。它能测量 -20℃ 和 900℃ 之间的温度，并具有作为噪声当量温差（NETD,是指被解释为对象温差的电子噪声）的 0.04℃ 的热敏感度。相机拍摄的波长在 7.5μm 和 13μm 之间的光谱范围内。镜头提供 80°×58° 的视场。热敏相机使用 USB 作为电源以及传输数据。它提供以 16 位彩色值形式编码的温度信息。

　　为了确保在预期时间记录下热痕迹，我们在相机前面距离 80 厘米的使用位置标记（参见图3），以指示为了借助热像仪记录热痕迹的智能手机的最佳放置位置，同时这样最小化热反射。另外，我们使用 RGB 摄像机记录了整个研究。此RGB视频反馈在之后用于确定用户手指不再接触屏幕的时间。

　　? 参与者和过程

　　我们使用大学邮寄名单招募了 18 名参与者（10 名女性和 8 名男性），平均年龄为28.3岁（SD = 4.7）。所有参加者都是不同专业的学生。两名参与者是左撇子。没有一个参与者曾经接触过过热相机。

　　参加者到达实验室后，我们首先要求他们签署同意书并说明研究的目的。接下来，我们将一组印在卡片上的PIN和图案以及两个智能手机交给参与者。为避免输入错误和暂停，我们要求参加者首先通过在练习机上多次输入密码来预先熟悉密码。我们指示参与者输入密码，然后立即将用于研究那个智能机放在他们前面的桌子上的位置标记上（参见图3）。我们在每个输入之间等待了三分钟，以确保上一个输入的热痕完全衰减。每个参与者输入了每种类型的三个密码（即18个密码）。其顺序使用拉丁方来反平衡。

　　研究花了大约40分钟。我们视频记录了研究过程，以对输入时间的进行事后分析。在整个实验中，除手机温度外，我们还记录了参与者的优势手（即用于输入密码的手）的温度。实验在稳定于24℃的室温下进行。

　　为了分析热攻击，我们考虑了两个方法：（1）目视检查热迹和（2）使用我们的计算机视觉方法 ThermalAnalyzer。分析由作者之一完成，其不知道而且从未看过输入密码列表。另外，反馈来自于热像仪的分析。早期使用 ThermalAnalyzer，此作者报告了存储于 csv 文件中的包含所有可能组合的重新生成的PIN和图案。

　　图4：该图显示当衰减时间为0、30、60秒时输入的PIN（顶部）和图案（底部）导致的热迹。

　　? 结果

　　为了评估针对 PIN 和图案的成功热攻击，我们测量了

　　1. 成功率：热攻击成功显示整个密码的案例百分比。

　　2. Levenshtein距离：产生的猜测与正确密码之间的距离。

　　成功率和 Levenshtein 距离在前人研究中用以反映成功攻击率的高低程度（成功率）以及猜测与真实密码之间距离接近程度（Levenshtein距离）。

　　我们目视检查了数据中的热图像样本（3名参与者）。但是，我们无法通过视觉恢复PIN的整个顺序，也不能恢复图案的方向。这在图1a中是显而易见的，图中识别 3 和 6 的顺序对于肉眼来说是具有挑战性的。另外，图案的起始点不是视觉上可以推导的（见图1e）。因此，我们只考虑了 ThermalAnalyzer 的 PIN 和图案。我们调查了三个独立变量的影响：（1）认证方案，（2）热痕年龄和（3）密码特性。在研究期间执行的任务通常需要 26％ 至 44％ 的 CPU 使用率。

　　?统计分析

　　由于我们有三个独立变量，我们使用三因素重复测量方差分析（如果球形度被破坏，则使用 Greenhouse-Geisser 校正）来分析数据。随后使用 Bonferroni 校正的t检验进行事后成对比较。

　　图 5 和图 7 显示了热痕迹和密码特性的每个年龄的成功率。另外，图 6 和图 8 示出了热痕迹和密码特性的每年龄的 Levenshtein 距离。结果表明，热攻击针对 PIN 比针对图案更成功。

图 5：当热图像在前 30 秒内拍摄时，针对PIN的热攻击成功率明显较高。尽管通过多次触摸相同的数位引入了噪声，但是热攻击对具有重复数字的 PIN 表现良好。

　　图 7：在认证后前30秒内拍摄分析用的热图像时，对图案的成功热攻击率明显较高。此外，对于具有重叠的图案，热成功攻击率明显较低。

　　图 6：猜测 PIN 和正确 PIN 之间的平均 Levenshtein 距离和标准偏差。

　　图 8：猜测图案与正确图案的平均 Levenshtein 距离和标准偏差。

　　?验证方案：PIN 码 vs 图案

　　总体而言，对 PIN（M=0.62，SD=0.31）的热攻击比对图案（M=0.32，SD=0.16）的更成功。类似地，对 PIN（M=0.856，SD=0.127）的 Levenshtein 比对图案（M=3.14，SD=0.28）的更短。我们发现密码类型对猜测和实际输入密码F1,17=91.923，p<0.001之间的 levenshtein 距离具有重要主影响。事后分析显示，与图案型密码（m=3.14，sd=0.28）相比，pin 型密码（m=0.856，sd=0.127）之间存在显著差异（p<0.001）。这意味着，与图案及其猜测相比，pin 及其猜测通常更接近原始真实密码。

　　?热痕年龄

　　PIN 码

　　从热痕年龄来看，结果显示热攻击越早，成功率越高， Levenshtein 距离越小（参见表1）。方差分析的结果显示，热痕迹年龄对正确密码与猜测的密码的 Levenshtein 距离的有显著主导影响(F_1.79,30.45 = 41.7，p<0.001)。使用 bonferroni 校正t检验的事后分析显示60秒与所有其他持续时间（p<0.001）以及45秒与所有其他持续时间之间具有统计学显著性差异（p<0.001）。这表明在身份验证后的最初 30 秒内对 pin 进行热攻击会产生出与 30 秒后对 pin 进行热攻击相比更接近真实密码的猜测密码。这也反映在了如图 5 所示的成功率中。总的来说，这表明对 pin 的热攻击在身份验证后 30 秒内执行时非常有效。

　　?图案

　　类似于 PIN 的结果，图案的结果表明，迹线越老，热攻击成功的可能性越小，Levenshtein 距离越高（参见表1）。我们发现热痕迹年龄对正确图案和猜测图案之间的 Levenshtein 距离具有明显主导影响 F_2.228,38.876 = 13.295，p<0.001。使用 bonferroni 校正t检验的事后分析显示 60 秒和所有其他持续时间之间的具有显著差异（p<0.05）。

　　这表明，在认证后 60 秒发生的图案热攻击，与前 45 秒内完成的相比，产生的猜测密码比正确密码相关甚远。这也反映在了图7所示的成功率上。总而言之，这表明对图案的热攻击在认证后 45 秒内执行时非常有效。

表1：对于热迹不同年龄的成功率和 Levenshtein 距离

　　?手和屏幕温度

　　我们发现手和屏幕之间的温度差（D_t）影响热攻击成功。D_t 越高，热攻击越成功，因为更多的热能传递到屏幕上（参见等式1）。使用 Pearson 的乘积矩相关性，我们发现 D_t 和热攻击成功率之间的相关性从 0.55（0秒）增加到 0.85（在60秒）。这意味着 D_t 与攻击成功之间存在很强的相关性，而 D_t 对于认证后过一段时间内发生的攻击特别重要。

　　?密码特性1. PIN 码重复

　　我们发现重复数字数量对抗热攻击的重要主导影响 F_2,34 = 13.23，p<0.01。事后分析显示无重复（M=1.23，SD=0.25）和2重复（M = 0.47，SD = 0.08）之间，以及1重复（M=0.87，SD＝0.15）与2重复（M=0.47，SD=0.08）之间存在显著的统计差异（p<0.05）。这意味着pin的重复次数越多，猜测越接近正确的pin码。

　　这表明尽管重复数字的存在使得难以确定检测到的触摸的顺序，但该方法能够确定数字是否重复两到三次。因此，在重复的 PIN 的情况下，通过覆盖的热痕迹所加上的安全性被大大减少的密码空间所抵消。

　　2. 图案重叠

　　我们发现重叠次数对正确图案与猜测图案间的距离具有主导影响 F_1.441,24.503 = 28.563，p<0.001。事后分析显示两对之间存在显著差异（p <0.001）：无重叠图案（m=0.48，sd=0.08）对比一次重叠图案（m=3.67，sd=0.68）；无重叠（m=0.478，sd=0.08）对比两重叠（m=5.29，sd=0.43）。第三对之间没有显着差异（p>0.05）。

　　这表明尽管通过身份验证后长达 30 秒的热攻击可以成功（100％的成功率）地发现图案，但重叠的存在显著增加了其对热攻击的抵抗力。

　　?讨论

　　我们的研究结果和前人研究综述显示具有特定性质的表面可以用于使用热成像检测表面交互。在此基础上，我们在前面的部分介绍了收集和分析认证过程中的热痕迹的结果，我们总结和讨论此结果，形成以下主要观察。

　　我们特别关注 PIN 和图案，因为它们是目前最常见的基于知识的认证方案。然而，其他认证方案也可能容易受到热攻击。我们预计，依赖于提示回忆的图形密码的攻击类似于我们调查的图案密码。

　　PIN 通常很容易被观察攻击破解（De Luca 等人报告 95％ 的对 PIN 攻击成功率）。我们的研究结果表明，PINs 在防御热攻击方面也很差，当认证后的前 30 秒内进行攻击时，整体成功率从 78％到 100％ 不等（图5）。虽然针对PIN的污痕攻击可以揭示哪些数字被输入，从而大大减少密码空间，但热攻击可以进一步发现数字输入的顺序。

　　在没有重叠的情况下，在认证后 30 秒内执行热攻击的情况下，可100％成功地发现最大长度的图案（图7）。然而，只要添加一个重叠就会显著增加对热攻击的抵抗力，因为它会影响方向检测和输入图案的顺序。重叠图案不具有与重复 PIN 相同的效果，因为它们还影响检测到的方向和所输入图案的顺序。因此，我们建议在图案中加入重叠移动，以增加对热攻击的抵抗力。

　　与重叠相反，骑士移动不会扭曲图案点的热迹，而只能扭曲交叉点。因此，骑士移动在使热攻击更加困难的上也是无效的，因为它们是防止污痕攻击的。

　　此外，与污痕攻击不同，热攻击不需要找到痕迹可见的最佳角度。Mighty 等人报告[34]，热攻击显示出能对容忍不同的视角/距离。Mowery 等人评估不同的距离（30-70厘米），并没有观察到检测的变化。在我们设置中，相机被放置在手机上方 80 厘米处，因此我们期望距离对结果的影响最小甚至没有影响。

　　与观察攻击相反，热图像是在认证后拍摄的，因此攻击对受害者来说不易察觉，且不受认证速度的影响。此外，热成像的操作允许无缝攻击，因为它以光不变的方式操作，其中照明条件不影响热信息的捕获。

　　使用具有高温敏感性的热像仪和自动计算机视觉方法来检测痕迹，优于前人相关工作报告的结果。我们的方法在30秒钟之后发现 PIN/图案具有高成功率，而前人工作中的成功攻击只能在认证后3秒钟。虽然更高灵敏度的相机可能在手动分析中导致更好结果，但我们认为主要性能增强来自于自动化计算机视觉方法，即使在人工目视检查不可用的前提下，它也可以检测出热痕迹。

　　?抗热攻击建议

　　存在抵御热攻击的方法。我们提出三个类别：（1）根据我们的研究结果，我们能够引导用户选择耐热攻击的PIN或图案，（2）基于文献综述，我们建议使用理论上不受热攻击影响的方案，以及（3）我们提出了扭曲热痕迹的新方法，这减少了成功的热攻击的机会。

　　?PIN 和图案的选择

　　我们的研究结果表明，在认证图案中添加单个重叠显著增加了对热攻击的抵抗力。当涉及到PIN时，尽管重复会扭曲热攻击依赖的热迹，其他因素也有助于揭示重复的PIN的容易度或难度。

　　我们建议通过在 PIN 中增加位数来增加 PIN 对热攻击的抵抗力。PIN 越长，用户输入的时间越长，这又会在用户认证时降低第一位数字的热迹的强度。

　　?反热攻击方案已经提出了许多认证方案来抵抗不同类型的攻击。我们不知道哪些系统构建时就主要以抵抗触摸屏热攻击为目的。然而，一些现有的以知识为基础的方案在设计上的确可抵制它们。

　　反热攻击的一组认证方案依赖于触摸输入以外的一种或多种模式。例如，生物识别方案依赖于诸如加速计之类的传感器收集的数据来识别用户。由于不使用触摸屏进行专用输入，因此不易受到热攻击。

　　类似地，将触摸输入与另一个模式组合的认证方案增加了对热攻击的抵抗性。PhoneLock，SpinLock，TimeLock 和 ColorLock 通过使用用户在认证时需要响应的听觉和触觉提示来增强PIN输入。这些随机的提示用于反背后窥视攻击。其他例子利用眼睛运动。例如Liu等人和 Bulling 等人使用注视输入进行身份验证。同样地，Khamis 等人介绍了组合凝视手势和触摸输入的 GazeTouchPass。根据认证方案，使用热像仪仍然可以帮助攻击者揭示触摸屏上输入的部分内容。对于触摸屏来说，对这些方案的热攻击将无法发现PIN。

　　图 9：除了基于我们的结果和前人工作的解决方案之外，我们还提出了以下方法在输入密码后抵抗热攻击：（a）使用白色闪光灯 3 秒，（b）用户用手随机擦拭屏幕以扭曲密码的热迹，（c）强制 CPU 最大速运转 3 秒。

　　此外，旨在抵抗污痕攻击的新颖认证方案也增加了对热攻击的抗性，因为污痕攻击利用了与基于触摸输入类似的弱点。例如，SmudgeSafe 通过随机变换底层图像，使图形密码的污痕攻击复杂化，从而在每次登录尝试时造成不同的污痕。Von Zezschwitz 等提出了三种基于令牌的图形密码方案，其中两种方法与图案相比在防止污痕攻击上，明显更加安全。这些方案依赖于随机定位的可拖动对象。因此，热攻击预计不会比污痕攻击表现更好。

　　?实物保护措施

　　虽然新颖的认证方案增加了对热攻击的阻力，但是增加当前 PIN 和图案输入对热攻击的安全性仍然是一个重要方面。将手放在显示屏上可能会删除屏幕上的所有热痕迹，如图 9b 所示。然而，存在不同的程序可降低热攻击的成功率而不涉及用户。例如，如图 9a 所示，将显示器的亮度增加到最大数秒将加热显示屏温度，从而减少热痕迹可见的时间。类似地，在手机上运行计算繁重的进程快速加热手机，会导致类似的效果，如图 9c 所示。

　　?不足

　　在这项工作中，我们探讨并了解 PIN 或图案特性对其易受热攻击的影响。因此，我们的威胁模型假定攻击者拥有理想环境。在这种情况下，用户解锁电话（例如，检查在主屏幕上的通知或日历条目），而无需进一步的交互。我们承认，在现实世界的情况下，用户在解锁手机后可能会进行互动，从而创造更多的痕迹。未来的更复杂的方法（例如，使用深度学习）可以通过例如利用痕迹年龄来仅考虑最旧的痕迹来分离认证和交互图案。

　　虽然 CPU 使用率可能会影响热攻击的成功，但我们在测量过程中并没有测量 CPU 使用率。在未来的工作中可以考虑调查 CPU 使用率对热攻击成功率的影响。

　　我们用固定距离的带有热像仪固定设置。初步研究显出出热攻击对观察距离的鲁棒性。然而，从 0 到 180 度不同的视角且不同距离地探索手机，可能会增强热攻击的理解和实用性。

　　?未来的工作

　　在将来的工作中，我们的结果可以用来推广对带有触摸屏的设备的热攻击。我们可以考虑更广泛的场景，包括平板电脑和共享的公共触摸屏设备（例如，IKEA自助退房，用户在触摸屏上输入 PIN 码，而没有任何进一步的屏幕交互，使其PIN易受热攻击）。此外，扩展我们的 ThermalAnalyzer，去加入神经网络和学习机制以更好地检测 PIN 和图案将是有趣的。我们及时分析了一个图像中的每个点。我们预计拥有更加复杂的图像或视频的热记录流以及痕迹历史的使用可以进一步提高攻击的成功率。

　　我们的发现是基于热敏相机灵敏度。使用具有较高热敏感度的热像仪将甚至允许在 60 秒后检测到热痕迹。我们考虑了长度为 4 的 PIN。然而，可以根据需要重用此方法来推断更长的 PIN。

　　我们分析了热接触电导，以确定我们提出的攻击的适用性。另外，计算和分析触摸屏的传热系数将提供关于痕迹的衰减速率和年龄的更详细的信息。如果用户知道这两个热性质，他们将能够识别其设备发生热攻击的可能性。

　　另一个方向可能是分析不同的屏幕保护。我们测试了一些材料，但视觉分析显示，与gorilla玻璃相比，许多其他材料表现更差，因为热痕迹表现得更密。对不同屏幕保护膜的详细调查可以进一步了解。

　　?结论

　　我们调查了对最先进的触摸屏和移动设备的认证方案的热攻击的可行性。为了分析热图像，我们实现了 ThermalAnalyzer，该分析仪能够在头 30 秒内 72％-100％ 地发现PIN，以及 100％ 地发现没有重叠的图案。我们还发现，图案重叠显著增加了对热攻击的抵抗力。我们的工作验证了热攻击确实对移动设备构成威胁，应被用户和身份验证方案设计人员相关所考虑。我们还提供几种解决方案，根据我们实验结果、前人工作以及扭曲热迹的方法，来防止热攻击。

　　?致谢

　　这项工作部分在 Amplify 项目中进行，该项目由欧盟研究委员会（ERC）根据欧盟2020年研究和创新计划（授权协议号：683008）获得资助，并获得了德国研究基金会在SimTech卓越集群（EXC 310/2）内的资助。

　　本文由 看雪翻译小组hanbingxzy编译，来源 HIC Group@vis.uni-stuttgart.de