基于预训练模型的日志异常检测研究
计算机学院（国家示范性软件学院）
随着软件系统向大规模、复杂的分布式系统发展，这些系统经常会出现错误和漏洞。此外，这些大型系统通常提供大量的在线服务和应用程序接口，这需要高鲁棒性和稳定性。但当系统发生故障（如服务故障和中断）时，多个服务可能会受到故障的影响，这可能会导致系统的重大损失。系统异常检测技术旨在定位这些系统故障。这种技术在系统维护中起着至关重要的作用，准确的异常检测有助于工程师及时查明系统的故障原因。
系统中有许多类型的数据可以用于异常检测和故障排除，其中系统日志在大多数大型系统中普遍可用，具有丰富的信息，并包含关键系统状态、事件和运行时消息的记录。因此，系统日志是人们使用最频繁的异常检测数据。
目前，预训练语言模型（如BERT，GPT等）在许多自然语言处理任务中实现了强大的性能，因此考虑将预训练模型应用到系统日志异常检测中。预训练模型可以使用日志数据进行进一步的领域训练或任务训练，配合相关机器学习算法，从而对日志数据中的异常序列进行识别。
