针对矿井提升机这类变长度柔性提升系统在外界激励和运动冲击作用下的异常振动问题，基于Hamilton原理建立提升系统纵向-横向-侧向非线性动力学模型对耦合振动开展研究。首先，在建模过程中将提升机摩擦轮纵向-横向-侧向变幅值波动视为钢丝绳上端的边界激励；其次，通过Galerkin法将边界激励作用下的偏微分方程离散为常微分方程组进行数值求解；最后，分析了加速度、加加速度和运动轨迹对系统动力学特性的影响，并基于标准逻辑函数对运动轨迹进行优化，以抑制系统运行过程中的冲击与振动。仿真与现场测试结果表明：耦合振动以纵向振动为主，且钢丝绳长度增加时系统对运动状态突变冲击更加敏感，更易激发剧烈的纵向振动；相较于传统4阶多项式轨迹，系统在提升工况下的纵向振动减小了10.85%，最大动张力减小了9.06%。