Вас легко понять, вы скормили тысячу на карту, которой не пользовались, а сейчас с вас ещё хотят пять тысяч. Звучит бредово согласен. Но есть ещё один момент, который важно учитывать. Получая карту вы подписали договор в котором прописаны все комиссии и штрафы. Уверен что в этом договоре к сожалению нет фразы "если не пользовались картой то нет никаких комиссий".
С человеческой точки зрения ситуация дурацкая и платить вроде как не за что.
С точки зрения договора вы должны денег.
Так что лучше заплатить всё что требуют (скорее всего оно посчитано верно) и больше не открывать ненужные карты никогда. Объясните в банке ситуацию, возможно вам снизят штрафы.