OnCrawl, segmenti custom o spunti da condividere

[MaxxG]

OnCrawl, segmenti custom o spunti da condividere

Buongiorno a tutti, qualcuno di voi usa OnCrawl (un crawler online a cui dare in pasto dai file di log ad altri dataset, oltre a connettersi agli account GA e GSC)?
Io ho avuto modo di usarlo su un sito per analizzare i link interni e trovare nuove opportunità o sistemare cose che non andavano.
Considerato che è molto costoso (per me almeno) sono indeciso se acquistarlo almeno per qualche mese.
Nei giorni scorsi ho iniziato a testare varie segmentazioni custom (una delle funzioni più potenti del tool). @merlinox tu che, se non capisco male, lo usi, hai per caso qualche idee di segmentazione o qualche segmento esportato in json che ti andrebbe di condividere? Vale anche per gli altri di voi che lo usassero.
Grazie

Ps per quelli che bastano Screamingfrog ed Excel, be' no, o perlomeno non con la velocità che permette Oncrawl

[merlinox]

@maxxg ciao dici bene, da qualche mese sono entrato come ambassador del tool. Assieme a @Cristina-Supeltlamp lo stiamo testando in modo approfondito su vari clienti.
Diciamo che la sua vera potenza è il merge di varie fonti di dato e la possibilità di schedulare una scansione periodica.

Personalmente non lo vedo come un'alternativa a SF ma lo trovo un tool molto utile.
A giorni (penso prox settimana) dovrebbe uscire un nostro post in merito.

Comunque il join tra:

• scansione
• log
• ga / gsc

Permette di crearsi segmentazioni molto interessanti come ad esempio:

• pagine zombie
• pagine orfane
  ...

Avevo tweetato qualcosa settimane fa

[sermatica]

@maxxg ha detto in OnCrawl, segmenti custom o spunti da condividere:

are varie segmentazioni custom (una delle funzioni più potenti del tool). @merlinox tu che, se non capisco male, lo usi, hai per caso qualche idee di segmentazione o qualche segmento esportato in json che ti andrebbe di condividere? Vale anche per gli altri di voi che lo usassero.
Grazie

Ciao
non conosco il Tool ma Screaming Frog + Python + Pandas sono senza rivali, ovviamente in questo modo puoi agganciare qualunque cosa direttamente da Python comprese le varie API di Google.

[MaxxG]

@sermatica E mettiamoci pure BigQuery
Comunque in generale un crawler desktop non è il massimo se parliamo di centinaia di migliaia di url

[sermatica]

@maxxg ha detto in OnCrawl, segmenti custom o spunti da condividere:

centinaia di migliaia di url

Ciao
se configurato bene si analizza senza problemi e in poche ore siti anche con più di 100.000 Url. L'elaborazione poi si fa in pochi minuti, avendo tutto il codice pronto ovviamente.

In realtà BigQuery mette a disposizione una piattaforma per usare le librerie che ho suggerito. Sicuramente è più performante ma i 10 GB sono un pochini. Penso che BigQuery vada valutato solo se si hanno mole di dati veramente enormi ma per il nostro scopo una Workstation basta e avanza.

[MaxxG]

@sermatica vedranno se un'anima pia in futuro condividerà un colab

[merlinox]

@sermatica ha detto in OnCrawl, segmenti custom o spunti da condividere:

Screaming Frog + Python + Pandas

Interessante, puoi dare più indicazioni sulla loro operatività congiunta?

[sermatica]

@merlinox

Ciao
do qualche spunto a grandi linee.

Con "Screaming Frog" scansioni il sito e crei il Csv, poi con Jupyter Notebook crei un notebook e inizia a scrivere codice Python agganciando con Pandas il Csv, poi da li inizi a elaborare il tutto agganciando API di Google ecc. ecc.

[merlinox]

@sermatica eh?!