Ciao!
Se ad esempio il vettore è a=[0 1 2 3 4 5 6 7] e vuoi trovare il massimo numero minore di 5, puoi fare:
ind=find(a<5)
massimo=max(a(ind))
ind ti da' le posizioni degli elementi di a che sono minori di 5
a quel punto restringi il tuo vettore a quei soli indici calcolando a(ind) e ne trovi il massimo con max()