Palírnu Miltonduff založili v roce 1824 Pearey a Barn, v místech kde byla varna piva starého kláštera blízko převorství Pluscarden. Na tomto místě pálili Pearey a Barn whisky již dříve ilegálně. Traduje se, že zde mniši už v roce 1263 vařili pivo a pálili pálenku. Ilegální pálení se na tomto místě datuje od roku 1640.
Dříve zde vyráběná whisky byla pálena 3x, např. Old Milton Duff Whisky a zajímavostí také bylo, že rašelina byla dovážena až z Orkneyských ostrovů.Majitelem palírny je od roku 1936 Hiram Walker a držitelem licence je George Ballantines & Son. Palírna bere vodu z Black Burn.
Podle některých znalců je ovšem Miltonduff daleko lepší jako součást míchaných, např. Ballantine´s a Black Bottle, než jako single malt. Ostatně lze se setkat s cedulí, kde je Miltonduff Distillery označena jako "The home of Ballantine´s".