Die der hl. Barbara geweihte Kapelle auf dem Eixlberg bei Pfreimd erbaute Landgraf Ulrich II. von Leuchtenberg. Als sie am 24.12.1621 von den Truppen Mansfeld zerstört war, erstand sie 1625 größer und prächtiger. Die Lorettokapelle wurde 1670 von dem Baumeister Zacharias Amode von Pfreimd im Auftrag des Herzogs Maximilian Philipp um 1665 erbaut.

In alter Zeit fanden Holzhauer auf einem Baumstock ein aus Holz geschnitztes Bildnis der hl. Barbara. Sie erzählten diese Begebenheit weiter. Mehrere verfügten sich zu dem Bildnis, verehrten die hl. Barbara und erhielten durch ihre Fürbitte bei Gott Hilfe in ihren Nöten. Sie waren die Triebfeder, dass man das Bild in die Stadtpfarrkirche nach Pfreimd brachte. Allein schon am anderen Tag fand man dasselbe wieder auf dem Eixlberg am alten Platze. Man vermutete, es sei vielleicht Gottes Wink, dass dieses Bildnis in einer feierlichen Prozession nach der Pfarrkirche gebracht werden wolle, um seine hl. Blutzeugin desto mehr zu verherrlichen. Es wurde also das Bild mit großer Feierlichkeit nach Pfreimd gebracht. Um allem menschlichen Betrug vorzubeugen, wurde es genau überwacht. Dessen ungeachtet stand es kurz darauf wieder auf dem alten Platz. Man zog den Schluss, dass die hl. Barbara an eben dem Orte besonders verehrt sein wollte.

Deshalb ließ Landgraf Ulrich II. (1342), der damals in Pfreimd residierte, auf dem Eixlberg eine Kapelle erbauen und das Bild feierlich darein versetzen. Es entstand ein berühmter Wallfahrtsort, sodass in der Folgezeit sich die Kapelle zu klein erwies, weshalb 1700 die jetzige Kirche gebaut wurde.

Nördlich von Pfreimd liegt an den Ufern der Naab das Dörflein Iffelsdorf, wo vor einigen Jahrzehnten folgende Sage erzählt wurde:

Peter war mit Anna Maria, der schönsten der Dirnen des Dorfes Iffelsdorf verlobt und beide freuten sich auf den morgigen Hochzeitstag. Doch die Schönheit der Braut ließ Peter an ihrer Treue zweifeln. Abends noch geht er am Wasser entlang, bis dahin, wo der Wald bis an den Fluss heranrückt. Er schaut in die Wellen und spricht in banger Sorge:" Ob wohl Maria mir immer treu bleibt! Oh könnte ich in die Zukunft sehn!" Da rauscht es im Wasser und es ertönt Harfenklang. Eine Nixe erscheint, ruft, indem sie ihm eine glänzende Schuppe zuwirft, "Da kannst du in die Zukunft sehn!" und verschwindet wieder. Der helle Mond bricht zwischen dem Geäst des Waldes hervor und voll Begierde schaut Peter in den Schuppenspiegel. Da sieht er Maria in den Armen seines heuchelnden Freundes. Voll zorniger Wut wirft er den Spiegel in die schäumenden Wellen zurück. Da rauscht das Wasser von neuem auf , eine reizende Nixe erscheint, bestrickt ihn mit bezaubernden Gesang und zieht ihn schmatzend hinunter zum tiefen Grund.

Am anderen Morgen schmückte sich Maria bräutlich. Aber der Bräutigam kam nicht. Nach längerem Warten nahm sich traurig das Kränzlein aus dem Haar und weinte darob noch manches Jahr. Doch die Zeit heilt alle Wunden und sie schenkte ihr Herz einem anderen Jüngling, der sie in die Ehe führte.

Wohl 25 Jahre sind vergangen, da schreitet aus dem Dorf ein Hochzeitszug. Die schöne Tochter von Anne Maria ist die geschmückte Braut. Das plötzlich erfüllt mit Grauen sich die ganze Hochzeitsschar. Ein Mann mit bleichem Antlitz greift räuberisch nach der schönen Braut. Der Bräutigam schleudert voll Wut ihn zur Seite. Da durchzittert die Luft ein Schmerzensschrei: "Er ist entronnen dem Totenreich!" Alle starren Anne Maria an, die marmorbleich vor ihnen steht. Peter hat Anne Maria erkannt und frag sie: "Ist's deine Tochter, welche man traut? Ich hielt sie für dich." Schluchzend wendet er sich ab und eilte an die Naab zurück. Doch o Graus! Sieben Leichen liegen hier am Ufer, die Kinder, die ihm die Nixe gebar. Die erzürnte Wasserfrau warf sie dem Flüchtling nach. Da stürzte der Unglückliche sich in die Fluten und nimmermehr war Peter je gesehen worden.

Iffelsdorf ist eine sehr frühe Ansiedlung, wenn es auch erst 1329 namhaft wird.

Durch viele vorgeschichtliche Gräberfunde, die teilweise bis auf die mittlere Steinzeit (12000 bis 4000 v.Chr) zurückgehen, wurde Iffelsdorf für die Wissenschaft  interessant. Erbrachte es doch den ältesten Besiedelungsnachweis für diesen Raum.

Das erstmals 1342 erbaute Kirchlein auf dem Eixlberg, an dessen Fuß Iffelsdorf liegt, wurde nach der Zerstörung im 30jährigen Krieg als barocker Prunkbau ausgeführt und ist heute eine Wallfahrtskirche.

Bis 1972 war Iffelsdorf eine eigenständige Gemeinde, der die Ortschaften Iffelsdorf, Untersteinbach, Ziegelhäuser, Döllnitz, Nessating und Schloßhof angehörten. Im Zuge der Gebietsreform wurde sie in die Stadt Pfreimd eingemeindet.