１９３６年、ミルトはキャブ・キャロウェイのバンドに参加し、１５年間優れたサイドマンとしての使命を果たした。後に、そのバンドからダニー・ベイカー、チュー・ベリー、ドク・チーサム、コージー・コール、ディジー・ガレスピー、クゥエンティング・ジャクソン、イリノイ・ジャケット、ジョナ・ジョーンズ、アイク・キューベック、ベン・ウェブスター等の数々の有名人を排出した。その他、ベニー・カーター、ベニー・グッドマン、ライオネル・ハンプトン、コールマン・ホーキンス、ビリー・ホリディ、イーセル・ウォータース、そしてテディ・ウィルソンなど数えきれないほどのレコーディングセッションに参加し、ジャズのクラシックと呼ばれる名作品集を残した。
１９５０年代、キャブ・キャラウェイ・バンドを後にしたミルトは,ニューヨークにおいてフリーランスのスタジオミュージシャンとして２０年間に渡り活躍した。デューク・エリントン、ジョン・コルトレーンやマルサリス兄弟等とのジャズセッションからバーバラ・ストライサンド、ベッド・ミドラーやポール・マッカート二等のポピュラーミュージックに至る千を超えるレコーディングに参加した。
また、TVコマーシャルや映画音楽、有名なラジオ、テレビ番組の音楽制作にも携わった。その他、ルイ・アームストロング、ピィエール・バリー、ビィング・クロスビー等と広範囲にわたる大規模なワールドツアーを行った。
