Se non hai capito com'è fatto un training set (che al contrario del test set, deve contenere sia gli input che gli output attesi per ogni input) è meglio che invece di andare avanti alla cieca ti studi le basi. Così capirai anche che più che la grammatica, l'agente che vuoi realizzare deve essere in grado di capire la semantica di una frase. Ad esempio, quando scrivi la 1, l'agente deve capire che stai dicendo che l'entità John ha cambiato posizione nel passato da una posizione ignota alla hallway, e che poi è rimasto nella hallway. Una volta inserita questa conoscenza in un'opportuna struttura dati, è in grado di rispondere alla 3.
Le cose poi si compicano ulteriormente se hai azioni del tipo "John è andato al ristorante" e domande come "John ha mangiato?".
Riepilogando: lascia stare tensorflow e via dicendo e studiati le basi, o su un libro come Artificial Intelligence a modern approach o perlomeno sulle slide di qualche corso universitario (ad esempio
http://areeweb.polito.it/didattica/gcia/lista_materiale_didattico.htm, che è un corso introduttivo ma ti da almeno l'idea dei problemi da risolvere in un'applicazione come la tua).