WEB SCRAPING CON PHP E MYSQL

di il
5 risposte

WEB SCRAPING CON PHP E MYSQL

Buonasera a tutti,
ringrazio anticipatamente tutti quelli che vorranno aiutarmi a risolvere il seguente problema:

Ho un sito web con diverse pagine dal quale devo estrarre tutti i dati presenti nelle tabelle in esso contenuto e "mandare" le tabelle estratte in un DB.
scusate il mio linguaggio da profano ma spero di essermi spiegato.
Ho visto un video dove viene fatta un'applicazione (o uno script?) con php e nell'output riesce a vedere i dati estratti.

vi chiedo: è giusto usare php come linguaggio per questa mia necessità?
come posso "collegare" questi dati ottenuti ad un db mysql o access?

grazie ancora

5 Risposte

  • Re: WEB SCRAPING CON PHP E MYSQL

    Se il sito è tuo (" ho un sito") non puoi andare a leggere il db con cui crei le tabelle invece di ricavare i dati dopo che li hai stampati a video? nel caso il sito non fosse tuo credo che dovresti informare il possessore del sito prima di procedere , a livello di codice il tuo problema è relativamente semplice ma vorrei capire di chi sono questi dati prima di eventualmente fornirti la soluzione
  • Re: WEB SCRAPING CON PHP E MYSQL

    1) si puo' fare a lo si fa
    2) non e' per niente facile farlo: ci sono un'infinita' di rogne rognose da risolvere
    3) mysql va bene
    4) php NON VA BENE, si usa java o python o tool dedicati
    5) serve essere programmatori piuttosto esperti

    Php e' il MOTORE di un sito web, e sta' SOTTO il cofano, tu sei all'esterno, SOPRA il cofano, quindi non puoi usare php
  • Re: WEB SCRAPING CON PHP E MYSQL

    gian82 ha scritto:


    Se il sito è tuo (" ho un sito") non puoi andare a leggere il db con cui crei le tabelle invece di ricavare i dati dopo che li hai stampati a video? nel caso il sito non fosse tuo credo che dovresti informare il possessore del sito prima di procedere , a livello di codice il tuo problema è relativamente semplice ma vorrei capire di chi sono questi dati prima di eventualmente fornirti la soluzione


    ciao gian, il sito non è mio, ad ogni modo ho informatoil possessore del sito e mi ha dato il via libera per lo scraping,
    Puoi aiutarmi?

    Grazie
  • Re: WEB SCRAPING CON PHP E MYSQL

    migliorabile ha scritto:


    1) si puo' fare a lo si fa
    2) non e' per niente facile farlo: ci sono un'infinita' di rogne rognose da risolvere
    3) mysql va bene
    4) php NON VA BENE, si usa java o python o tool dedicati
    5) serve essere programmatori piuttosto esperti

    Php e' il MOTORE di un sito web, e sta' SOTTO il cofano, tu sei all'esterno, SOPRA il cofano, quindi non puoi usare php
    Ciao a tutti!
    Concordo con quello che dici, ed il php non è il linguaggio migliore per questa esigenza, tuttavia se uno sa programmare in php e non conosce gli altri linguaggi può cercare di risolvere il problema.
    Io per un lavoro simile ho scritto una classe che legge la pagina web utilizzando le funzioni curl, ho eseguito il parsing della response con la classe DOM ed in questo modo puoi estrarre quello che vuoi. Nel tuo caso dovresti cercare nel document tutti gli elements di tipo table e poi ciclare sulle righe (tr) per estrarre i contenuti.
  • Re: WEB SCRAPING CON PHP E MYSQL

    migliorabile ha scritto:


    Php e' il MOTORE di un sito web, e sta' SOTTO il cofano, tu sei all'esterno, SOPRA il cofano, quindi non puoi usare php
    puoi, eccome.
    per quanto riguarda l'estrazione, personalmente, preferisco elaborare la singola stringa di testo che contiene la pagina.
    poichè spesso si dimentica che la pagina HTML non è altro che una "stringona".
    Chiaramente ci vuole un minimo di kung-fu-stringhe
Devi accedere o registrarti per scrivere nel forum
5 risposte