Runt år 1900 blommade cafékulturen i Leksand, i synnerhet på Norsgatan. Det talas om att det som mest fanns 17 caféer i centrala Noret. 1913 startade Amanda Nilsson Leksands Hembageri, beläget just på Norsgatan. Tre år senare tog systern Duf Stina Larsson över verksamheten och utökade rörelsen med cafélokaler där det även serverades maträtter och utrymme för läsning och schackspel. 1919 flyttades verksamheten till ett stort och vackert hus vid den gamla postbacken på Udden, i närheten av Leksandsbron.
Tillsammans med sin man Stormats Axel Olsson startade Duf Stina kaffeservering, brödförsäljning och ett pensionat som fick namnet Trädgårdsvillan. På denna klassiska plats med utsikt över älven frodades kreativiteten, där ägarna under många år framgångsrikt lyckades kombinera cafékulturen med musik, konst och pensionatverksamhet. Verksamheten pågick ända fram till 1964. Trädgårdsvillans vackra uteservering och brödbutik levde vidare genom flytten av verksamheten till Brömsgårdarna och hörnet Norsgatan/Sparbanksgatan. Rörelsen drevs här i väntan på att familjeföretaget hade möjlighet att uppföra en helt ny byggnad längre upp på Sparbanksgatan, i det nordvästra hörnet av nuvarande Torget.
Nuvarande Siljans Konditori byggdes år 1964–67 där bageridelen om 150 kvadratmeter togs i bruk 1965. Den 9 juni 1967 kunde serveringsdelen och Duf-salen på bottenvåningen invigas med pompa och ståt och har sedan dess varit en naturlig träffpunkt för leksingar och tillresta. Siljans Konditori som idag är drygt 100 år är ett av Leksands största besöksmål och en viktig samlingspunkt året runt.