针对单一传感器数据在复杂工程系统的故障诊断中难以全面获取机械设备的状态信息、且易受工况变化干扰的问题，提出了一种基于卷积神经网络（convolutional neural network，简称CNN）的多模态数据融合轴承故障诊断方法。首先，构建小波滤波器组，对振动信号和声发射信号自适应选择时频变换尺度区间，进行连续小波变换生成时频图样本；其次，搭建深度学习诊断模型，设计多尺度模块、密集耦合模块以及融合与决策模块，提取不同模态数据的故障特征，并引入相似性约束学习联合特征信息；最后，利用Softmax分类函数实现滚动轴承不同故障位置和程度的精确分类。实验室多模态数据集的验证结果表明，当测试集中加入未训练过的转速数据时，所提出的多尺度特征密集耦合卷积神经网络（multi-scale feature dense coupled convolutional neural network，简称MFDCCNN）的平均识别准确率达到99.21%，且在分类准确性、诊断稳定性和泛化能力这3个方面均优于经典深度学习模型、消融实验模型和单一源数据诊断方法。