来源 | 《江苏船舶》 2020 年 第 6 期

作者 | 徐宏伟 葛沛

“大数据”是数据的集合，其特点是数据的体量大、速度快、类别多、潜在的价值含量高，且数据量不断增长。目前，越来越多的应用涉及大数据，通过对大数据的分析可以获取更具价值的信息。随着互联网、云计算、物联网等信息技术的快速发展，有些大型航运公司逐步建立了覆盖全球的船舶营运数据中心，监控管理船舶的位置、航行状态及设备状况。

近年来，一批国际知名船企和相关研究机构已经启动了大数据应用项目的研究。2014 年日本船舶技术研究协会开展大数据应用项目，采集船舶的航行数据形成大数据，并应用于船舶的节能航行和船型开发［1］。我国首艘智能示范船“i-DOLPHIN”号是一艘 38 800 载重吨散货船，该船以大数据为基础，运用实时数据的传输汇集结合数字建模、远程控制等信息化技术，实现船舶感知、分析和决策的智能化，从而提升船舶运行效率［2］。但大数据技术应用于智能化船舶仍然是一个高度复杂、计算量大、可靠性要求极高的过程，很多相关理论和技术仍需进一步研究和应用，数据作用的发挥还需进一步验证。

本文基于大数据分析的理论和方法，深度挖掘船舶运营数据的应用价值，并以开发的船舶能源监控系统为例，研究大数据分析处理的过程。

1 大数据分析理论和方法

大数据分析的理论和方法，从人机相互协作的角度，可以分为以下 2 类。 ( 1) 第 1 类是从机器的角度出发，重视机器的计算能力、人工智能，如各类面向大数据的机器学习和数据挖掘方法等，主要研究各种挖掘算法、智能搜索及高性能处理算法等。这类方法目前是大数据分析领域的研究主流。 ( 2) 第 2 类认为人是分析和需求的主体，重视基于机器与人之间相互协作的、人类更加易于认识理解的分析方法，此分析方法则在分析过程中融入人类特有的且机器无法替代的认知能力，如大数据可视化分析［3］。

传统数据分析方法为了节约计算资源和时间，摒弃对所有原始数据的全面分析，通过复杂精确的算法，从部分样本空间中获取能够反映全局的信息。随着计算机技术的发展，对大量数据进行计算分析已成为可能，因此大数据分析方法不追求算法的复杂性，而追求高效地对所有数据集进行分析［4］。目 前，船舶数据分析中应用的大数据分析方法主要有以下 3 种。

( 1) 深度学习法。该方法能够发掘多维数据中错综复杂的关系，具体方法有人工神经网络法、模糊系统、演化计算和群体智能算法。人工神经网络法采用多层次架构来分析表达数据，借助于庞大的数据量，模拟数据时可以用更精确复杂的模型来表达。目前人工神经网络法在船舶的碰撞预警、风险分析领域中得到广泛的应用。以遗传算法为代表的演化计算和以粒子群优化、蚁群优化等为代表的群体智能算法主要用于解决数据量太大而不易解决的复杂优化问题。

( 2) 知识计算法。该方法从大数据库中抽取有价值的知识，并将其构建为可查询分析和计算的知识库。其中多源知识融合的方法考虑了知识的共享和复用，并且通过数据的不断更新有效提高了数据分析的实时性和有效性，因此该技术被广泛应用在船舶能耗决策中。

( 3) 可视化法。该方法将大规模、多维度的数据分析结果直观、动态化地实时展示给用户，辅助用户进行实时决策。其流程是通过物联网获取数据源，对原始数据进行必要的筛选和修复，然后对数据进行深度处理，找出数据间的关联性，预测数据的发展趋势，最后通过直观图形的展示让用户更直接地观察和分析数据，从而为决策提供数据支持。

2 大数据应用

大数据的重要来源就是物联网。船舶物联网( 船联网) 是通过在船舶上安装定位、通信、监控等设备来组建的。随着全球定位系统 GPS、船舶自动识别系统 AIS、电子海图显示与信息系统 ECDIS、 ARPA 雷达、射频识别 RFID、综合船桥系统等信息化技术的发展，船联网已应用于船舶管理体系中。它以企业、船员、船舶、货物为对象，以数据为中心，实现航运管理的精细化，未来将实现更为重要的船船互联、船岸互联。船舶管理公司从已建立的数据库获取船舶的静态数据，然后依靠卫星通讯设备获取船舶自身的实时动态数据( 如航速、航向、机器油耗等) ，并且依靠岸基航道局、气象及测绘部门等机构和航道助航设施的功能，获取气象、航道、海况等外界环境数据［5］。

2. 1 大数据在船舶智能管理中的应用

船舶的大数据分析对船舶的运营管理可产生许多价值。以常用的能效管理为例，其价值如下:

( 1) 通过基于大数据技术开发出的船舶能源监控系统，能够监控船舶的方位、主机油耗和转速，以便实时远程监测燃油消耗状况。然后对测量的数据进行统计分析，并消除外界干扰力( 如风、波浪、水流等) 的影响，得到船舶排水量、船速与主机油耗量之间的关系，优选出船舶的经济油耗，给出船舶的最佳航速建议，从而实现降低船舶油耗的目标。

( 2) 通过分析航速要求、航线上实时的气象状况和水文条件等，以靠泊港口的日程时间要求为限制条件，计算出油耗最低的航线。

( 3) 航运商通过能源监控系统提供的船舶运营数据，构建船舶实时监控数据管理平台，并将数据管理平台与运输生产调度系统相结合，整合航运产业流程，从而优化船舶在航线上的配置和减少航运业的燃油消耗量。

2. 2 大数据在船舶设计中的应用

船舶大数据还可以应用于船舶的水动力性能设计及节能装置的效果验证。

( 1) 通过对船舶航行数据分析处理，将不同等级波浪下的数据进行分类统计，了解波浪对船舶航速的影响，获知船舶在波浪中消耗功率的相关数据信息后，就能验证与评价不同船型的气象因子。

( 2) 为验证船舶节能装置的效果，分别收集并统计安装节能装置前后的航行数据。通过大数据分析得到相关数据之间的关系，在消除自身因素( 吃 水、浮态) 和外界干扰因素( 如风、波浪、水流等) 的影响后，就能评估节能装置的效果。

3 案例分析

本文以开发的船舶能源监控系统为例，依托可视化、知识计算、深度学习 3 种方法，利用大数据分析技术从庞大的数据中快速抽出关键的信息，挖掘出对决策有潜在价值的模式和趋势，为船舶的运营提供数据支撑。能源监控系统构架见图 1。

图1 能源监控系统构架

3. 1 数据收集

系统通过数据记录仪采集航速、航向、位置、风 速、风向、舵角、吃水等航行数据和主机、发电机等机器的油耗、功率数据，同时系统还能接收第三方机构提供的气象水文数据。利用大数据分析技术，将油耗、功率、航速等信息以折线的形式进行可视化，实时监控主机油耗信息，挖掘有价值的信息，提供船舶优化转速建议，以达到节能减排的效果。

3. 2 数据处理

由于环境因素影响或采集器故障可能导致数据偏差过大，因此，为保证数据的质量和最终挖掘模型的质量，需要对所采集的数据进行探索、审核和必要的加工处理。数据处理前需要设定异常数据的识别规则，将数据进行阈值比对，若数据偏离阈值范围则被作为异常值删除。

本文将大数据技术应用于智能船舶领域中，主要采用了索引、数据规约、数据分割等技术。在管理数据库的技术方面，索引技术不仅能减少磁盘读写开销，还可以提高增删改查的速度。在大数据集上直接进行复杂的数据分析和挖掘需要很长的时间，数据规约能产生更小的但保持原始数据完整性的新数据集。在规约后的数据集上进行分析和挖掘将更高效。数据规范可以降低无效、错误数据对建模的影响，提高建模的准确性，缩减数据挖掘所需要的时间，降低存储数据的成本。以采集频率 15 s 为例，单船每年采集的数据记录多达 200 多万条，如果直接对大批量的数据进行操作，会使数据库的执行时间长、压力大。一般将大批量数据分割成多块较小的数据，再对数据进行操作。本文实际采用的方法是首先创建临时的数据表，将 3 d 的数据放入，对每天的数据进行取平均值等运算，再将运算完的 1 d的数据存放入到新创建的数据表，降低了存储数据的规模。

3. 3 数据分析及可视化

应用 C#语言编写程序对采集的数据进行处理分析，并将数据保存在 SQL 数据库中。在大数据应用中，繁杂的数据本身是难以辅助决策的，需要运用可视化的分析方法，将分析后的结果以图形、图像处理、计算机视觉及用户界面等形式展现，更容易被船员接受并加以利用。从 SQL 数据库中提取相关联的数据，并用折线图实时表示出来，以便船员能够直观地了解到船舶性能参数变化。分析后的数据依靠卫星通迅网络和互联网传输至岸基系统，实现船舶与岸基的数据共享。岸基人员可以对船舶的状态进行远程监控及故障诊断。

3. 4 大数据挖掘

大数据挖掘是从大量的、不完全的数据中，通过一定的算法揭示隐藏于其中的、未知的并有潜在价值的信息的过程。数据挖掘是一种决策支持过程，主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析大量数据，作出归纳性的推理，从中挖掘出潜在的模式［6］。

本文以船舶能源监控系统采集的船舶航行数据为例，进行了深层次数据挖掘。依据船舶航行数据，结合航次计划( 出港、靠泊港口时间) 、航线特点、船舶效率，评估船舶燃料消耗及航行成本，给出最经济的航速方案，以降低燃油消耗。航速优化系统界面见图 2。

图 2 船舶航速优化系统

在航速优化系统内输入预定的航行线路、艏艉吃水、燃油价格、出港及到港的预定时间，系统根据航线的形状特点，将预定的航线分成许多航段。每个航段自动生成各自的初始航速，根据第三方机构通过 VAST 卫星网络提供的气象预报信息，得到每个航段内考虑环境影响的速度功率关系，再根据功率与油耗率的关系得到每个航段内的油耗。以总航程的油耗最低为目标条件，采用遗传算法进行优化，从而获得每个航段内的最优航速。

4 结论

本文阐述了大数据的概念及其分析理论和方法，探讨了大数据技术在船舶智能化中的应用，深度挖掘了船舶运营数据信息的内在价值。得出以下 3点结论: 

( 1) 大数据处理中具体采用的索引、数据规约、数据分割等技术，对采集的数据进行必要的加工处理，有效保证了数据和挖掘模型的质量。 ( 2) 运用可视化的分析方法，将分析后的数据结果以多媒体形式在船上展现。依靠卫星通讯系统和互联网实现船舶与岸基之间大数据的共享，开展岸端远程监控、故障诊断等，以辅助船员决策。 ( 3) 从采集的大量航行及设备数据中，通过一定的算法，深入挖掘出有价值的信息，实现船舶的智能化管理。

参考文献

［1］任磊，杜一，马帅，等. 大数据可视分析综述［J］.软件学报， 2014，25( 9) : 1909-1936.

［2］ 张引，陈敏，廖小飞. 大数据应用的现状与展望［J］. 计算机研究与发展，2013，27( 2) : 142-144.

［3］ 李光正，宋新刚，徐瑜. 基于“工业 4. 0”的智能船舶系统探讨［J］. 船舶工程，2015，37( 11) : 58-60.

［4］ 严新平. 智能船舶的研究现状与发展趋势［J］. 交通与港航， 2016( 1) : 25-28.

［5］ 朱运利，厉彦峰. 船舶智能监控系统的研究与实现［J］. 计算机测量与控制，2009，17( 5) : 893-896.

［6］ 张良均，樊哲，赵云龙，等. Hadoop 大数据分析与挖掘实战［M］. 北京: 机械工业出版社，2016.