SeznamBot a renderování stránek - 30.3.2019 COE2019
- 1. SeznamBot: renderování stránek Martin Kirschner Product Manager Senior
- 10. Renderovaná stránka Náhodná stránka Pokrytí elementů 90 % F1 0.87 Přesnost 85 % Zpravodajský článek Pokrytí elementů 84 % F1 0.90 Přesnost 97 % Plain stránka Náhodná stránka Pokrytí elementů 57 % F1 0.66 Přesnost 80 % Zpravodajský článek Pokrytí elementů 64 % F1 0.77 Přesnost 96 %
- 11. Na renderované stránce udělá detekce hlavního textu chybu asi ve třetině případů oproti plain stránce.
- 12. ձԾá
- 14. • k8s • 73.x (latest stable) • Virtual time budget • Request interception • 3 tabs per instance • Prefetch
- 15. Dopady na crawl budget • Aktuální objem renderu: asi 100 tis. URL denně • Jeden render vyžaduje průměrně desítky requestů • Všechny requesty shapujeme Bezpečnost a správný render je těžký. Crawl budget bude těžší.
- 16. Budoucí plány
- 17. Robot začíná víc robotovat • Chytřejší výběr • Volnější shaping • Identifikace problematických webů WEB DB
- 19. Obrázky 50 MB Web stránky 6 MB PDF 50 MB
- 21. E-mail: martin.kirschner@firma.seznam.cz Twitter: @martin_kirschne, @SeznamBot Martin Kirschner Product Manager Senior