针对螺杆转子铣削加工过程中的颤振问题，提出了一种基于RelifF算法优化最小二乘支持向量机（RelifF-least square support vector machine， 简称RF-LSSVM）的颤振监测方法。首先，使用变分模态分解（variational modal decomposition， 简称VMD）和RelifF算法对螺杆转子铣削过程中的振动信号进行分解、特征提取与选择；其次，利用增强鲸鱼算法（enhanced whale optimization algorithm， 简称E-WOA）对LSSVM的惩罚因子、核参数、RelifF算法近邻样本数和降维特征长度进行迭代寻优；最后，将降维后的颤振特征向量矩阵作为输入，以颤振发生状态为输出，建立颤振识别模型。实验结果表明，提出的VMD-RF-LSSVM模型与未优化的变分模态分解-支持向量机算法（variational modal decomposition-support vector machine， 简称VMD-SVM）模型相比，识别准确率更高，可以达到99.5%。提出的方法能够有效监测螺杆铣削过程中的颤振问题，为螺杆铣削加工过程的优化提供了一种思路。