数据湖技术赋能智慧消防，实现数据治理

　　物联网、大数据、云计算、人工智能等新兴技术与消防的深度融合，正在引发消防治理方式的深刻变革，科技创新已成为推动消防行业发展的主要驱动力。

　　伴随着城市化进程的加快，消防安全形势也越来越复杂，“以数据为中心，驱动消防治理数字化转型”已成为当前经济建设和社会发展的必然要求。对于来自早期的消防信息化系统的关系型数据，数据仓库可以满足数据治理和存储的要求，但是随着智慧消防建设的不断推进，来自物联网设备、移动应用程序的非关系型数据越来越多，很难存储在数据仓库中，数据存储分散、横向的数据共享和分析的短板问题凸显，难以对全局数据开展大数据挖掘。数据湖技术能同时满足关系型数据和非关系型数据的存储，为大数据时代的数据治理、数据存储提供了新途径。

　　一.数据湖的概念

　　数据湖(Data Lake)最早是由 Pentaho公司的创始人兼首席技术官詹姆斯・狄克逊( James Dixon)在2011年提出来的，是一种新的数据存储理念，即在系统或存储库中以自然格式存储数据的方法。

　　最初数据湖是作为对数据仓库的补充，是为了解决数据仓库漫长的开发周期，高昂的开发、维护成本，细节数据丢失等问题出现的。而从2011年前后，很多数据仓库逐渐迁移到Hadoop为基础的技术栈上，而且除了结构化数据，半结构化、非结构数据也逐渐地存储到数据仓库中，并提供此类服务。这样的数据仓库，已经具有了数据湖的部分功能。由此，催生了数据湖的概念。

　　数据湖是一个集中式存储库，允许用户以任意规模存储所有结构化和非结构化数据。用户可以按原样存储数据(无需先对数据进行结构化处理)，并运行不同类型的分析—从控制面板和可视化，到大数据处理、实时分析和机器学习，以辅助管理者做出更好的决策。

　　

　　图：数据湖处理架构

　　二.数据湖的价值

　　数据湖作为一种新型的数据存储库，具有轻松收集数据，易于发掘数据价值，消除数据孤岛，具有更好的扩展性与敏捷性等优势。

　　在数据存储方面，数据湖按照系统的原生模型存储数据，不仅简化了数据的处理过程，保证数据真实可靠，同时能对具有时效性要求的实时应用提供更好的支撑。

　　在分析应用方面，数据湖能够在更短的时间内从更多来源利用更多数据，并使用户能够以不同方式协同处理和分析数据，从而做出更好、更快的决策。

　　在数据治理方面，数据湖提供统一的目录管理、权限控制、编排调度、追踪溯源等功能，能够有效识别和管控各项数据及其处理过程，促进数据质量的持续提升。

　　

　　图：数据湖具备的能力

　　三.数据湖赋能智慧消防

　　在智慧消防的应用中，引入数据湖技术，统一汇集区域基本数据、单位消防数据、建筑数据、物联网数据、监督执法数据、其他行业数据、部门共享数据等各类信息，构建数据管理机制和数据处理机制，提高其数据集成能力、数据治理能力、数据安全管控能力，为数据分析和开发人员提供统一的数据存储和访问服务，充分发挥数据价值。

　　利用机器学习和深度学习算法对这些消防数据进行建模、训练和验证，得出数据之间的关联性或者因果推断关系来建立各种模型进行分析和预测，为消防管理和决策提供数据支持。通过模型的建立，智慧消防大数据平台可以对区域、单位火灾风险进行分析研判，科学制定监督执法任务，指导社会面消防工作的开展，并结合灭火救援相关数据，开展联勤联动、辅助应急救援、决策指挥等工作，实现数据深度运用，筑牢消防安全屏障，推动消防治理数字化转型。

　　

　　图：消防数据湖

　　消防与社会经济发展紧密关联，是保障民生的重要内容。数据湖技术为消防监督管理工作提供准确可靠的数据支撑，满足消防工作多样化和层次化需求，使消防信息化系统发挥更大的作用，提高了消防监督执法水平。