Devolución de fianza en alquiler sin contrato legal

Hola, me gustaría explicar mi caso. Resulta que alquilé un piso pensando que el contrato era legal, hasta que al salir lo de las ayudas se lo comentamos al dueño del piso. Él nos explicó que no podía ser, que si queríamos podíamos irnos, pero que el piso era de protección oficial y él no podía alquilarlo, así que el último año ni siquiera firmamos el contrato, claro, pensando que total para la validez que tendría, aún así siempre hemos sido rigurosos con el pago sin problema. Además ahora en Abril, supuestamente, se renovaría, lo que pasa que a principios de Marzo avisamos al dueño para decirle que en Abril no estaríamos en el piso, él dijo que vale, que no pasaba nada.

El 31-3-2008 quedamos para la entrega de llaves y la devolución de la fianza, según el dueño no nos quiere devolver la fianza porque hay dos puertas con un par de rayajos, dos agujeritos de haber puesto una cortina, el agujero es de grande, en fin, el tamaño de una alcayata para colgar una cortina, y una mesa que se le mueven las patas. Me gustaría saber mis derechos como inquilino y los derechos del propietario, puesto que llegué a decirle que eso eran desperfectos por el uso y que lo iba a denunciar, contestación de él que no había contrato puesto que no lo firmé y que él podía alegar que vivía conmigo en el piso. Ahora encima me siento mal, porque no sé quien tiene la razón, en fin, me gustaría que me dijeran qué derechos tenemos cada uno puesto que en una ocasión le pedí que cambiara el somier porque estaba muy estropeado y me dijo que sé que lo cambiaba y lo pagábamos entre los dos y así fue, la mitad él y yo la otra mitad.

Gracias.