La Free Software Foundation a lanzado un website llamado playogg.org donde se exponen las virtudes de este formato en comparacion a otros formatos como el mp3 cuyas patentes y licencias limitan su uso, no importa que sistema operativo estes usando, ya sea GNU/Linux, Windows o MacOS, existen reporductores y plugins para cada sistema que soportan este formato a la perfección, por ejemplo:
Para GNU/Linux: Existen una gran cantidad de reproductores para GNU/Linux y todos soportan el uso del formato ogg, si no te reprodduce este formato, puedes bajarte los plugins para tu reproductor desde aqui.
Para Windows: En la pagina vorbis.com encontraras los plugins para varios de los reproductores mas poulares en esta plataforma, tambien puedes bajarte algunos de los reproductores que ya vienen con soporte para este formato como VLC o MPlayer.
Para MacOS: puedes descargarte tambien la versión de VLC para MacOS desde aqui.
Ahora bien, si tienes todas tus canciones en formato mp3 los puedes pasar facilmente a ogg de la siguiente manera:
Para GNU/Linux: Tan sencillo como
ffmpeg -i archivo.mp3 archivo.ogg
para los demas la verdad me da flojera buscar, si tienes otro sistema operativo te recomiendo que busques en sourceforge que seguro encontraras un programa que sirva para esto.

