Devi crearti il JLabel e poi usare la l'oggetto Desktop per aprire il tuo link, al click dello stesso.
Io ho un esempio che ho applicato ad un JMenuItem, si può facilmente applicare la stessa cosa ad un JLabel.
public void createHyperlink(JMenuItem jMenuItem) {
jMenuItem.setForeground(java.awt.Color.BLUE);
final String link = "http://www.google.it";
jMenuItem.setCursor(Cursor.getPredefinedCursor(Cursor.HAND_CURSOR));
jMenuItem.addActionListener(new ActionListener() {
public void actionPerformed(ActionEvent e) {
if (Desktop.isDesktopSupported()) {
Desktop desktop = Desktop.getDesktop();
try {
desktop.browse(new java.net.URI(link));
} catch (IOException exio) {
exio.printStackTrace();
} catch (java.net.URISyntaxException exuri) {
exuri.printStackTrace();
} catch (InterruptedException inex) {
inex.printStackTrace();
}
} else
System.out.println("Not Supported");
}
});
}
Ciao.