Július második felében, illetve augusztus elején nyaralni voltunk a feleségemmel, ezért újabb fejlesztések nem történtek, sajnos a vége felé kicsit bizonytalanná vált a robot működése. Ez is egy jó teszt arra, hogy vajon meddig működik mindenféle emberi beavatkozás nélkül.

Mióta visszatértem, tehát kb ezen a héten a következő dolgokkal foglalkoztam:

• sitemap.xml generálása, felesleges önkorlátozások nélkül. Most (újra) kb 10 ezer mélylink generálódik. Sajnos ez nem teljesen állandó, az aktuális találati listától függ. Ezek a mélylinkek kombinálva tartalmazzák a foglalkozást és a helyet, ugyanezeket használja az előző posztban leírt navigáció is - ahol lehet. Remélem javít a SEO-n.
• most fog kikerülni, hogy a találatok melletti faviconokat még a robot megnézi hogy létezik-e, és ha nem, akkor egy saját kör alakú ikon jelenik meg a helyén. Eddig spekulatívan, ha nem talált a robot favicont, akkor beírta a http://domainnév/favicon.ico címet, de sokszor itt sincs favicon, a böngésző meg szenved, próbálja betölteni a lehetetlent.
• A snippet generálásból kitöröltetek kicsit több spam jellegű szöveget.
• Állásnevek felismerésén, különösen a "vezető" című foglalkozást próbáltam javítani
• szétbontottam a "hely" navigációt település / megye / ország szintekre