Palírnu Miltonduff založili v roce 1824 Pearey a Barn, v místech kde byla varna piva starého kláštera blízko převorství Pluscarden. Na tomto místě pálili Pearey a Barn whisky již dříve ilegálně. Traduje se, že zde mniši už v roce 1263 vařili pivo a pálili pálenku. Ilegální pálení se natomto místě datuje od roku 1640. Dříve zde vyráběná whisky byla pálena 3x, např. Old Milton Duff Whisky a zajímavostí také bylo, že rašelina byla dovážena až z Orkneyských ostrovů. Majitelem palírny je od roku 1936 Hiram Walker a držitelem licence je George Ballantines & Son. Palírna bere vodu z Black Burn. Podle některých znalců je ovšem Miltonduff daleko lepší jako součást míchaných, např. Ballantine´s a Black Bottle, než jako single malt. Ostatně lze se setkat s cedulí, kde je Miltonduff Distillery označena jako ""The home of Ballantine´s"".