基于集成GCN-Transformer网络的ENSO预测模型

杜先君; 李河

doi:10.12284/hyxb2023155

基于集成GCN-Transformer网络的ENSO预测模型

doi: 10.12284/hyxb2023155

杜先君^1,,
李河¹

兰州理工大学电气工程与信息工程学院，甘肃兰州 730050

基金项目: 国家自然科学基金项目（62241307）；甘肃省科技计划项目(22YF7FA166)；兰州市科技计划项目(2022-RC-60)；甘肃省教育厅高等学校创新基金项目(2021A-027)。

详细信息

作者简介:
杜先君（1979—），男，浙江省杭州市人，副教授，博士，主要从事复杂系统建模与控制研究。E-mail：xdu@lut.edu.cn

中图分类号: P732.4
计量
- 文章访问数: 255
- HTML全文浏览量: 96
- PDF下载量: 37
- 被引次数: 0
出版历程
- 收稿日期: 2023-04-07
- 修回日期: 2023-07-02
- 网络出版日期: 2023-11-13
- 刊出日期: 2023-12-01

ENSO prediction model based on integrated GCN-Transformer network

Du Xianjun^1
,,
Li He¹

College of Electrical and Information Engineering, Lanzhou University of Technology, Lanzhou 730050, China

摘要

摘要: 厄尔尼诺−南方涛动（El Niño-Southern Oscillation, ENSO）是热带太平洋海表面温度发生异常的现象，会导致冰雹、洪水、台风等极端天气的出现，因此对ENSO的准确预测意义重大。本文设计了集成GCN-Transformer（GCNTR）模型，首先运用Transformer网络的全局特征聚焦能力对数据特征进行编码，然后结合GCN提取图数据特征的能力，最后引入特征融合门控机制将经过编码的特征和GCN提取的特征进行融合，实现ENSO的精确预测。结果表明，GCNTR模型实现了对ENSO提前20个月的预测，比ENSOTR多了3个月，比Transformer多了5个月，并且模型绝大部分的预测精度优于其他模型。与现有的方法相比，GCNTR模型能够实现对ENSO更好的预测。
- 厄尔尼诺−南方涛动 /
- 图卷积神经网络 /
- Transformer /
- GCNTR
Abstract: El Niño-Southern Oscillation (ENSO) is an anomaly in the Tropical Pacific Ocean sea surface that can lead to extreme weather such as hail, floods, and typhoons, therefore, accurate prediction of ENSO is of great significance. An integrated graph convolutional network-transformer (GCNTR) model is presented in this paper. Firstly, transformer network is used to encode data features based on its strong focus ability of the global feature. Secondly, GCN is employed to extract features from graph data, and finally introduces a gated feature fusion mechanism to fuse the encoded features with the features extracted by GCN to achieve the accurate prediction ENSO. The results indicate that the GCNTR model achieves the prediction of ENSO 20 months in advance, which is 3 months longer than ENSOTR and 5 months longer than Transformer, and most of the prediction accuracy of the model is better than other models. Compared to the existing methods, the GCNTR model enables better prediction of ENSO.
- El Niño-Southern Oscillation (ENSO) /
- graph convolutional network (GCN) /
- Transformer /
- graph convolutional network-transformer (GCNTR)

HTML全文

图 1 太平洋赤道附近的不同ENSO指数海区展示

Fig. 1 Different ENSO index sea areas near the equator in the Pacific Ocean

下载: 全尺寸图片幻灯片

图 2 GCN结构

Fig. 2 GCN structure

下载: 全尺寸图片幻灯片

图 3 Transformer网络基本结构及注意力机制

Fig. 3 The basic structure and attention mechanism of the Transformer network

下载: 全尺寸图片幻灯片

图 4 GCNTR模型框架

Fig. 4 Framework of the proposed GCNTR model

下载: 全尺寸图片幻灯片

图 5 GCNTR模型预测与观测对比

Fig. 5 GCNTR model prediction and observation

下载: 全尺寸图片幻灯片

图 6 各种模型预测相关系数

Fig. 6 Various model prediction correlation coefficient

下载: 全尺寸图片幻灯片

图 7 各种模型的其他评价指标

Fig. 7 Additional evaluation metrics for various models

下载: 全尺寸图片幻灯片

表 1 用于训练的CMIP5模式列表

Tab. 1 List of CMIP5 patterns used for training

模式	机构	时间范围	集合成员数目
BCC-CSM1.1-m	中国气象局北京气候中心	1850年1月1日至2012年12月1日	1
CanESM2	加拿大气候建模和分析中心	1850年1月1日至2005年12月1日	5
CCSM4	美国国家大气研究中心	1850年1月1日至2005年12月1日	1
CESM1-CAM5	美国国家大气研究中心（NCAR）社区地球系统模型（CESM）贡献者	1850年1月1日至2005年12月1日	1
CMCC-CM	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CMCC-CMS	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CNRM-CM5	法国国家气象研究中心/欧洲高级科学计算研究与培训中心	1850年1月1日至2005年12月1日	5
CSIRO-Mk3-6-0	英联邦科学与工业研究组织与昆士兰气候变化卓越中心合作	1850年1月1日至2005年12月1日	5
FIO-ESM	中国自然资源部第一海洋研究所	1850年1月1日至2005年12月1日	1
GFDL-ESM2G	美国国家海洋和大气管理局地球物理流体动力学实验室	1861年1月1日至2005年12月1日	1
GISS-E2-H	美国宇航局戈达德太空研究所	1850年1月1日至2005年12月1日	5
HadGEM2-AO	韩国气象厅气象研究所	1860年1月1日至2005年12月1日	1
HadCM3	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年12月1日	1
HadGEM2-CC	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	1
HadGEM2-ES	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	4
IPSL-CM5A-MR	皮埃尔·西蒙·拉普拉斯研究所	1850年1月1日至2005年12月1日	1
MIROC5	大气与海洋研究所（东京大学）、国家环境研究所和日本海洋与地球科学技术机构	1850年1月1日至2012年12月1日	1
MPI-ESM-LR	马克斯·普朗克气象研究所	1850年1月1日至2005年12月1日	3
MRI-CGCM3	气象研究所	1850年1月1日至2005年12月1日	1
NorESM1-M	挪威气候中心	1850年1月1日至2005年12月1日	1
NorESM1-ME	挪威气候中心	1850年1月1日至2005年12月1日	1

下载: 导出CSV

表 2 模型相关系数比较

Tab. 2 Model correlation coefficient comparison

提前期/月	GCNTR	ENSOTR	CNN	Transformer	SINTEX-F
1	0.96	0.98	0.93	0.97	0.90
2	0.94	0.94	0.92	0.91	0.89
3	0.89	0.89	0.88	0.86	0.84
4	0.85	0.85	0.83	0.80	0.81
5	0.83	0.81	0.80	0.76	0.78
6	0.81	0.77	0.76	0.69	0.74
7	0.78	0.75	0.74	0.68	0.69
8	0.74	0.74	0.73	0.64	0.65
9	0.70	0.72	0.71	0.64	0.62
10	0.66	0.7	0.69	0.65	0.58
11	0.65	0.68	0.67	0.61	0.54
12	0.63	0.66	0.65	0.61	0.51
13	0.61	0.65	0.63	0.59	0.48
14	0.59	0.62	0.60	0.52	0.47
15	0.58	0.59	0.57	0.51	0.44
16	0.59	0.55	0.53	0.45	0.41
17	0.58	0.53	0.51	0.45	0.38
18	0.57	0.49	0.46	0.41	0.35
19	0.56	0.44	0.42	0.39	0.33
20	0.52	0.41	0.38	0.35	0.32
21	0.48	0.38	0.34	0.31	0.31
22	0.42	0.36	0.31	0.28	0.31
23	0.35	0.32	0.29	0.25	0.31
平均相关系数	0.6648	0.6448	0.6239	0.5796	0.5483
注：表中加粗数据表示模型相关系数高于其他模型。

下载: 导出CSV

参考文献(21)

[1]	Luo Jinglia, Masson S, Behera S K, et al. Extended ENSO predictions using a fully coupled ocean–atmosphere model[J]. Journal of Climate, 2008, 21(1): 84−93. doi: 10.1175/2007JCLI1412.1
[2]	Mu Bin, Li Jing, Yuan Shijin, et al. The NAO variability prediction and forecasting with multiple time scales driven by ENSO using machine learning approaches[J]. Computational Intelligence and Neuroscience, 2022, 2022: 6141966.
[3]	Wang Gaige, Cheng Honglei, Zhang Yiming, et al. ENSO analysis and prediction using deep learning: a review[J]. Neurocomputing, 2023, 520: 216−229. doi: 10.1016/j.neucom.2022.11.078
[4]	Tian Zhiqiang, Li Xiaojian, Zheng Yaoyue, et al. Graph-convolutional-network-based interactive prostate segmentation in MR images[J]. Medical Physics, 2020, 47(9): 4164−4176. doi: 10.1002/mp.14327
[5]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc., 2017: 6000−6010.
[6]	Zhang Ronghua, Tian Feng, Wang Xiujun. A new hybrid coupled model of atmosphere, ocean physics, and ocean biogeochemistry to represent biogeophysical feedback effects in the Tropical Pacific[J]. Journal of Advances in Modeling Earth Systems, 2018, 10(8): 1901−1923. doi: 10.1029/2017MS001250
[7]	Shin J, Park S, Shin S I, et al. Enhancing ENSO prediction skill by combining model-analog and linear inverse models (MA-LIM)[J]. Geophysical Research Letters, 2020, 47(1): e2019GL085914. doi: 10.1029/2019GL085914
[8]	Petersik P J, Dijkstra H A. Probabilistic forecasting of El Niño using neural network models[J]. Geophysical Research Letters, 2020, 47(6): e2019GL086423. doi: 10.1029/2019GL086423
[9]	Mahesh A, Evans M, Jain G, et al. Forecasting El Niño with convolutional and recurrent neural networks[C]//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2019: 8−14.
[10]	林琪凡, 耿旭朴, 谢婷, 等. 基于长短期记忆神经网络的西太平洋暖池变化预测[J]. 厦门大学学报(自然科学版), 2021, 60(5): 927−936. Lin Qifan, Geng Xupu, Xie Ting, et al. Trend prediction of Western Pacific warm pool based on long short-term memory neural networks[J]. Journal of Xiamen University (Natural Science), 2021, 60(5): 927−936.
[11]	Ham Y G, Kim J H, Luo Jingjia. Deep learning for multi-year ENSO forecasts[J]. Nature, 2019, 573(7775): 568−572. doi: 10.1038/s41586-019-1559-7
[12]	Gupta M, Kodamana H, Sandeep S. Prediction of ENSO beyond spring predictability barrier using deep convolutional LSTM networks[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1501205.
[13]	Fang Wei, Sha Yu, Sheng V S. Survey on the application of artificial intelligence in ENSO forecasting[J]. Mathematics, 2022, 10(20): 22.
[14]	Geng Huantong, Wang Tianlei. Spatiotemporal model based on deep learning for ENSO forecasts[J]. Atmosphere, 2021, 12(7): 810. doi: 10.3390/atmos12070810
[15]	Hu Jie, Weng Bin, Huang Tianqiang, et al. Deep residual convolutional neural network combining dropout and transfer learning for ENSO forecasting[J]. Geophysical Research Letters, 2021, 48(24): e2021GL093531. doi: 10.1029/2021GL093531
[16]	Ham Y G, Kim J H, Kim E S, et al. Unified deep learning model for El Niño/Southern Oscillation forecasts by incorporating seasonality in climate data[J]. Science Bulletin, 2021, 66(13): 1358−1366. doi: 10.1016/j.scib.2021.03.009
[17]	Zhao Jiakun, Luo Hailun, Sang Weiguang, et al. Spatiotemporal semantic network for ENSO forecasting over long time horizon[J]. Applied Intelligence, 2023, 53(6): 6464−6480. doi: 10.1007/s10489-022-03861-1
[18]	Ye Feng, Hu Jie, Huang Tianqiang, et al. Transformer for EI Niño-Southern Oscillation prediction[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1003305.
[19]	Bellenger H, Guilyardi E, Leloup J, et al. ENSO representation in climate models: from CMIP3 to CMIP5[J]. Climate Dynamics, 2014, 42(7): 1999−2018.
[20]	Giese B S, Ray S. El Niño variability in simple ocean data assimilation (SODA), 1871–2008[J]. Journal of Geophysical Research: Oceans, 2011, 116(C2): C02024.
[21]	Behringer D, Xue Yan. Evaluation of the global ocean data assimilation system at NCEP: The Pacific Ocean[C]//Proceedings of the Eighth Symposium on Integrated Observing and Assimilation Systems for Atmosphere, Oceans, and Land Surface. Seattle: AMS, 2004.