Creazione CSV da scansione sito locale

di il
16 risposte

Creazione CSV da scansione sito locale

Buongiorno a tutti,
volevo chiedere un consiglio. Ho il sito e-commerce di un mio cliente con circa 6000 articoli che però è diventato molto lento e lo dobbiamo passare su una nuova piattaforma.
Il problema è che non abbiamo accesso al database attuale perché il sito è gestito da un'altra agenzia che non ci permette l'accesso.
Tramite un software ho fatto una copia in locale dell'intero sito per cercare di ricreare l'archivio articoli in un file CSV consono all'importazione dei prodotti nella nuova piattaforma.
Come posso fare per poter creare questo file CSV? Ovvero, esiste un tool che scansionando un sito web in locale consente di catturare le informazioni necessarie (titolo, link immagine, descrizione, ecc.)?
Oppure, qualcuno ha mai provato un componente di un qualche linguaggio che sia in grado di poter effettuare una scansione del genere sugli html generati al momento dell'apertura della pagina web?
Non so se sono riuscito a spiegarmi bene, grazie per gli eventuali consigli!

16 Risposte

  • Re: Creazione CSV da scansione sito locale

    Un pomeriggio / una giornata di delphi, ad esempio.
    normale elaborazione stringhe non serve nulla di particolare
  • Re: Creazione CSV da scansione sito locale

    Non esiste qualcosa in php/javascript? Perché in Delphi non sono tanto ferrato
  • Re: Creazione CSV da scansione sito locale

    Esiste sicuramente, ma non è più semplice chiedere all'azienda che gestisce il db di esportare gli articoli? Così non devono concedervi l'accesso (che poi, non ci vuole molto a creare un account che possa accedere solo ad alcune tabelle ed eseguire solo alcune operazioni, ma vabbè).
  • Re: Creazione CSV da scansione sito locale

    Ritengo probabile che non siano più in buoni rapporti, capita abbastanza frequentemente.
    Puoi usare qualsiasi linguaggio con una buona manipolazione delle stringhe, perfino php
  • Re: Creazione CSV da scansione sito locale

    @dvaosta e @+m2+ per curiosità secondo voi un tool del genere ovvero che con poca configurazione iniziale estragga dati e scriva file quanto potrebbe valere?,sarebbe lecito il software in sè?
  • Re: Creazione CSV da scansione sito locale

    gian82 ha scritto:


    @dvaosta e @+m2+ per curiosità secondo voi un tool del genere ovvero che con poca configurazione iniziale estragga dati e scriva file quanto potrebbe valere?,sarebbe lecito il software in sè?
    non vale niente, perchè è estremamente dipendente dal sito originale.
    sono decenni che scrivo programmi siffatti, e basta cambiare una , nella pagina che il parser va aggiornato.
    tempo fa andava di moda clonare pagine gialle per prendere i dati per le campagne marketing.

    sulla liceità dipende dal sito da cui vuoi attingere i dati (al tempo si usavano meravigliosi proxy proprio per questi "lavoretti")
  • Re: Creazione CSV da scansione sito locale

    "sulla liceità dipende dal sito da cui vuoi attingere i dati (al tempo si usavano meravigliosi proxy proprio per questi "lavoretti") " deve esserci un divieto esplicito di questo "lettura" tramite software oppure di base si considera quest'uso non concesso?,grazie
  • Re: Creazione CSV da scansione sito locale

    Ok grazie a tutti!
  • Re: Creazione CSV da scansione sito locale

    Mi sa che si chiama COPYRIGHT ,
  • Re: Creazione CSV da scansione sito locale

    In realtà il problema è proprio questo, il mio cliente non è più in buoni rapporti con la vecchia agenzia.
    Però non è un problema di copyright questo perchè in realtà quello che ci serve è il codice del prodotto (che corrisponde al codice a barre) e la descrizione dettagliata che è quella che in realtà sta nella confezione del prodotto venduto. Quindi questo è solo un lavoro per evitare di fare una copia a mano di tutte le descrizioni di tutti gli articoli che dobbiamo rimettere in vendita.
    Comunque una cosa, che componente di Delphi devo utilizzare per poter fare questa scansione completa di tutte le pagine del vecchio sito?
    Cerco di spiegare meglio, io ho praticamente una lista completa di tutti i codici a barre dei prodotti da rimettere in vendita. Devo fare un "programma" che in automatico scansioni tutte le pagine del vecchio sito finchè non trovo quella con il codice preso in esame, estrapoli dalla pagina travata le informazioni che mi servono scrivendole in un csv, e poi passi al secondo codice della lista e rifaccia la scansione. E così via finchè non ho completato tutto il file csv con le info necessarie.
  • Re: Creazione CSV da scansione sito locale

    Eddy16391 ha scritto:


    Comunque una cosa, che componente di Delphi devo utilizzare per poter fare questa scansione completa di tutte le pagine del vecchio sito? (...)
    Cerco di spiegare meglio, io ho praticamente una lista completa di tutti i codici a barre dei prodotti da rimettere in vendita. Devo fare un "programma" che in automatico scansioni tutte le pagine del vecchio sito finchè non trovo quella con il codice preso in esame, estrapoli dalla pagina travata le informazioni che mi servono scrivendole in un csv, e poi passi al secondo codice della lista e rifaccia la scansione. E così via finchè non ho completato tutto il file csv con le info necessarie.
    Il punto è come scansionare tutte le pagine del vecchio sito.
    Sono statiche?
    Vengono generate da una qualche genere di programma PHP cui viene passato come parametro il codice?
    Normalmente si segue la logica del programma: nei casi più semplici direttamente con un GET, POST o quello che è.
    Si prende poi la pagina HTML generata (che è solo testo), la si parsa, e si estrae il contenuto.

    Nei casi più complessi si riempiono i campi di ricerca del sito, si fa eseguire la ricerca, si prende il risultato eccetera.

    Come già accennato dipende fortissimamente dal sito da esaminare.
  • Re: Creazione CSV da scansione sito locale

    +m2+ ha scritto:


    Eddy16391 ha scritto:


    Comunque una cosa, che componente di Delphi devo utilizzare per poter fare questa scansione completa di tutte le pagine del vecchio sito? (...)
    Cerco di spiegare meglio, io ho praticamente una lista completa di tutti i codici a barre dei prodotti da rimettere in vendita. Devo fare un "programma" che in automatico scansioni tutte le pagine del vecchio sito finchè non trovo quella con il codice preso in esame, estrapoli dalla pagina travata le informazioni che mi servono scrivendole in un csv, e poi passi al secondo codice della lista e rifaccia la scansione. E così via finchè non ho completato tutto il file csv con le info necessarie.
    Il punto è come scansionare tutte le pagine del vecchio sito.
    Sono statiche?
    Vengono generate da una qualche genere di programma PHP cui viene passato come parametro il codice?
    Normalmente si segue la logica del programma: nei casi più semplici direttamente con un GET, POST o quello che è.
    Si prende poi la pagina HTML generata (che è solo testo), la si parsa, e si estrae il contenuto.

    Nei casi più complessi si riempiono i campi di ricerca del sito, si fa eseguire la ricerca, si prende il risultato eccetera.

    Come già accennato dipende fortissimamente dal sito da esaminare.
    Infatti il problema è proprio questo, gli html che ho scaricato in locale sono inutili perchè non sono statici, ma contengono funzioni php.
    Per far eseguire la ricerca allo script intercetto il posto che fa il form e poi parso il risultato direttamente?
  • Re: Creazione CSV da scansione sito locale

    Meglio ancora, supponendo che il programmatore sia di media capacità, intercetta il traffico (ci sono millemila estensioni dei browser) e controlla come viene svolta la interrogazione (99% get o post) poi nel tuo programma la rifarai (la interrogazione) ottenendo html che parserai.
    talvolta è ancora più facile poiché spesso le immagini sono tutte in determinate cartelle con nomi parlanti.

    Insomma dipende dal singolo caso
  • Re: Creazione CSV da scansione sito locale

    Https://www1.agenziaentrate.gov.it/servizi/vies/transazione.htm?s=IT&p=0123777666

    Questo è un esempio della agenzia entrate dove vedi che il parametro di ricerca è proprio nella stringa.
    nel tuo caso farai qualcosa di concettualmente analogo
Devi accedere o registrarti per scrivere nel forum
16 risposte