Německý název obce Wust Seibersdorf vznikl z původního názvu Seyfersdorf (Seifertova ves). Pro český název bylo použito staročeské podoby jména Siegfried, která zněla Žibřid. Přívlastek Pusté (Wust) se objevuje na konci 15. století, kdy byla obec zřejmě po uherských válkách pustá. Součástí Pustých Žibřidovic byly osady Potůčník (německy Lauterbach, od roku 1953 část Hanušovic) a Sklená (Glasdorf), v letech 1938 až 1945 také Pekařov (viz Bukovice). Společný katastr měl rozlohu 1203 hektary. Od roku 1949 jsou Pusté Žibřidovice částí obce Jindřichov, která byla původně jen sídlištěm kolem papírny. Koncem 18. století byla pečetním znamením Pustých Žibřidovic budova kostela.

Katastr Pustých Žibřidovic (815 hektarů) se zvedá z údolí od řeky Branné na východ k úpatí hory Ucháč (1009 m). Vesnice leží v nadmořské výšce 557 m a táhne se dlouhou horskou úžlabinou od řeky Branné a podél silnice od Hanušovic do Velkých Losin, z níž v obci odbočuje spojnice do Jindřichova. Osada a katastrální obec Potůčník (276 hektarů) nemá s Pustými Žibřidovicemi, od nichž je značně vzdálena, přímé silniční spojení a logickým důsledkem bylo její odloučení k Hanušovicím v roce 1953. Katastrální území Sklená (112 hektarů) navazuje na východní hranici žibřidovického katastru. V roce 1862 vznikla v údolí Branné papírna a kolem ní vyrostlo malé sídliště nazvané Jindřichov.

Počet obyvatel se až do první světové války zvyšoval, především zásluhou pracovních příležitostí poskytovaných jindřichovskou papírnou. Roku 1900 žilo v Pustých Žibřidovicích ve 112 domech 901 lidí, v Potůčníku ve 41 domech 333, ve Sklené v devíti domech 51 osob a v Jindřichově ve dvou domech 96 lidí. Obyvatelé byli německé národnosti, pouze za první republiky zde žilo v roce 1930 25 Čechů. Po druhé světové válce došlo k téměř úplné výměně obyvatelstva a v roce 1950 bylo v Pustých Žibřidovicích (včetně Sklené) zjištěno ve 118 domech 455 obyvatel, v Potůčníku ve 40 domech jen 47 obyvatel. V roce 1991 měly Pusté Žibřidovice pouhých 15 domů a 103 obyvatel, Potůčník 16 domů a 111 obyvatel. Tato čísla je však nutno dát do souvislosti s demografickým vývojem v Jindřichově.

Nejstarší zpráva o Pustých Žibřidovicích pochází z roku 1382. V 15. století byla obec pustá, zřejmě byla zničena za uherských válek. Jako pustinu ji prodal král Vladislav II. roku 1497 Janu Rájeckému z Mírova. V 16. století byla nově osazena a byla tu luterská fara, která po Bílé Hoře zanikla a byla obnovena jako lokálie roku 1742. Koncem 16. století patřily Pusté Žibřidovice k losinskému panství a zůstaly u něj až do roku 1 848. Podle lánového rejstříku měly v roce 1677 48 usedlíků; roku 1834 zde v 94 domech žilo 600 lidí.

Potůčník byl založen před rokem 1567. Tehdy se objevuje v seznamu vesnic losinského panství. Německé jméno Lauterbach pochází ze starohornoněmeckého Luterbach, což znamená jasný, čistý potok. Z německého názvu byl až v 19. století vytvořen český ekvivalent. Podle lánového rejstříku z roku 1677 zde žilo 22 usedlíků, roku 1834 251 obyvatel ve 40 domech. Rychta v osadě Sklené je poprvé zmíněna v listině olomouckého biskupa Stanislava Thurza z roku 1501. Podle lánového rejstříku měla jen sedm usedlíků; roku 1834 zde bylo osm domů a 55 obyvatel.

Obecnou školu měly Pusté Žibřidovice zřejmě již na konci 18. století , v roce 1900 byla dvojtřídní. Jednotřídní školy byly v Potůčníku od roku 1788 a ve Sklené od roku 1870.
Po roce 1848 se Pusté Žibřidovice staly součástí soudního okresu Vízmberk v šumperském hejtmanství. Vedle jindřichovské papírny poskytoval další pracovní příležitosti lesní revír velkostatku Velké Losiny. V Potůčníku s železniční zastávkou, cihelnou a mlýnem byla v roce 1938 vybudována hanušovickým lnářským družstvem tírna lnu znárodněná po druhé světové válce. Zásluhou dělníků jindřichovské papírny měla v politickém životě obce rozhodující pozice německá sociální demokracie a udržela si je i ve třicátých letech.

Připojením k Jindřichovu roku 1949 ztrácela obec stále více na významu, osada Potůčník byla připojena k Hanušovicím a Sklená ve skutečnosti zanikla. V roce 1990 byl v obci nižší stupeň základní školy, prodejna smíšeného zboží a prodejna potravin.

Jedinou památkou v Pustých Žibřidovicích je barokní kostel sv. Maří Magdalény z roku 1735 s obrazy Ignáce Raaba a Jana Kryštofa Handkeho z roku 1762.