Home Balonmano Viaje, bajas y un rival incómodo