Non è un malfunzionamento della JOptionPane, è un "malfunzionamento" piuttosto vecchio del Look And Feel standard (il Metal).
Il tasto ENTER serve ad eseguire il codice associato al "default button". Quando tu sposti il focus da un pulsante all'altro, dovrebbe cambiare di conseguenza anche il default button, ma il Metal L&F pare non farlo correttamente.
(Il problema c'è da parecchio tempo: https://forums.oracle.com/ords/apexds/post/joptionpane-and-the-enter-key-4212)
Nella discussione che ho linkato (che risale nientemeno che al 2005) vengono sostanzialmente proposte due "soluzioni":
1) Creare la propria JDialog di chiusura
2) Utilizzare una classe, che altro non fa che impostare un L&F differente (Windows L&F) appena prima di aprire il JOptionPane.
Riporto la classe qui sotto (che non ho testato; lascio a te le prove: sono curioso di vedere come si comporta l'applicazione se si risponde "NO").
class Quit
{
public Quit()
{
try{UIManager.setLookAndFeel("com.sun.java.swing.plaf.windows.WindowsLookAndFeel");}
catch(Exception e){e.printStackTrace();}
int a = JOptionPane.showConfirmDialog(null,
"Are you sure?",
"Confirm close",
JOptionPane.YES_NO_OPTION,
JOptionPane.QUESTION_MESSAGE);
if (a == JOptionPane.YES_OPTION)
System.exit(0);
}
}
Nel punto in cui previeni la chiusura per mostrare il messaggio, sostituisci la chiamata a JOptionPane.showConfirmDialog con questo:
new Quit();
E il gioco dovrebbe essere fatto.