Csütörtök este, mta.hu állásait nézegetve észleltem, hogy az oldalon egyrészt van 61 állásajánlat, amiből én 12-t jelenítek meg. Illetve beletúrva a logba látom, hogy 29 állást töltött le a robot, és ebből maradt 12 a felületre.

Utánanyomoztam, és kiderült, hogy az ismétlődő oldalak letörlésére szolgáló kód hibás. Ezt még én alakítottam át annak idején azzal a céllal, hogy az azonos snippet-et generáló oldalakat tekintse dupikátumnak, és azok közül csak egyet tartson meg. 

Elég undorítóan néz ki a találati lista, amikor egymás alatt sorakoznak a különböző url-t mutató, de azonos snippet-el rendelkező állások linkjei. Tehát ehez jó lenne később visszatérni, egyelőre viszont az van, hogy a snippet generáló kód nem áll a helyzet magaslatán, sokszor nagyon rövid és nem a jellemző fontos tartalmat mutatja meg.

Ugyenebből fakadóan a snippet nagyon eltérő tartalmú oldalakon is ugyanaz lesz, pl a cég megnevezése vagy egy általános, minden állásajánlatba berakott szófordulat, és ezeket aztán duplikátumnak tekintve a robot eldobálta.

A javítást követően 2550ről kb 3200-ra ugrott a találatok száma, és a főoldalon nézve ezek nem is rossz linkek, tehát tényleg értékes tartalom került be, vagy inkább vissza.