现代机械设备传动系统中轴承和齿轮容易发生局部疲劳故障，单一部件典型故障引起的载荷波动极易造成其他部件继发性疲劳故障，使机械传动系统呈现多部件复合故障状态。针对齿轮箱传动系统中轴承和齿轮复合故障诊断问题，提出了基于多尺度卷积核匹配复合正则化的卷积稀疏编码（multiscale compound regularized convolutional sparse coding，简称MCRCSC）分离诊断算法。首先，根据齿轮箱轴承和齿轮典型复合故障所呈现出的稀疏性与尺度特性进行了模型假设；其次，依据不同故障的信号尺度特性与分布特点提出了多尺度卷积核与复合正则化约束的概念，并建立了多成分卷积分离模型；最后，通过交替方向乘子（alternating direction method of multipliers，简称ADMM）优化架构将频域转化后的优化方程分解为子问题进行交替求解，对分离卷积重构后的故障信号进行谱分析得到对应典型故障频率分布。实际齿轮箱故障模拟实验表明，所提算法在随机噪声和谐波干扰下仍具有优良故障分离诊断能力。