Googles Parser für robots.txt nun als Open Source verfügbar
Suchmaschinen-Gigant will REP zum offiziellen Standard machenGoogle will, dass die Internet Engineering Task Force (IETF) das Robots Exclusion Protocol (REP) zum offiziellen Internet-Standard macht. Dafür wurde nun ein Antrag bei der Organisation eingebracht, die für die technische Weiterentwicklung des World Wide Webs zuständig ist. Das REP gibt die Regeln vor, wie sich Webcrawler verhalten sollen. Das ist ein Computerprogramm, welches das Web automatisch durchsucht und die Inhalte analysiert. Kurzum: Ein unverzichtbarer Dienst für Suchmaschinenanbieter.
Und Google als Marktführer nahm hier eine Vorreiterrolle ein. Sein REP galt mehr oder weniger als inoffizieller Standard, auf dessen Regeln sich die Giganten Google, Microsoft und Yahoo geeinigt haben. Damit REP nun auch offiziell Standard wird, hat Google den Parser für robots.txt offengelegt. Der Parser übersetzt die Erkenntnisse des REP, um sie weiterverarbeiten zu können. Er ist unter GitHub künftig als Open-Source-Software verfügbar. Dabei gibt’s auch eine Funktion, mit der andere Webmaster ihre Regeln prüfen können.
Mehr dazu findest Du auf derstandard.at
Kurze URL:
Das könnte Dich auch interessieren:
Ein deutliches Upgrade bringt das Gerät sehr nahe an die Topgeräte heran. Der Preis steigt in Europa allerdings bereits zum zweiten Mal in Folge
Nach ersten Gerüchten hat ein Leaker das komplette technische Datenblatt des Pixel 8a veröffentlicht – das sich dem Pixel 8 tatsächlich sehr zu ähneln scheint.
Ähnliche News:
Googles VPN-App sabotiert DNS-Einstellungen unter Windows
Vor 20 Jahren startete Googles Gmail
Apple will Googles KI in iPhones integrieren
Googles Telefon-App erhält nützliche Funktion
Pixel 7 bekommt Googles KI-Suche
In ein paar Wochen soll Googles KI wieder Bilder von Menschen erstellen
Gemini Business: Googles KI gibt es jetzt auch für den Unternehmenseinsatz
Gemini: Googles KI-Assistent für Android lässt sich bereits in Europa nutzen
US-Jury erklärt Googles Play Store zum illegalen Monopol
Alphacode 2: Googles neues KI-Programmiertool schlägt häufig Entwickler
Vor 20 Jahren startete Googles Gmail
Apple will Googles KI in iPhones integrieren
Googles Telefon-App erhält nützliche Funktion
Pixel 7 bekommt Googles KI-Suche
In ein paar Wochen soll Googles KI wieder Bilder von Menschen erstellen
Gemini Business: Googles KI gibt es jetzt auch für den Unternehmenseinsatz
Gemini: Googles KI-Assistent für Android lässt sich bereits in Europa nutzen
US-Jury erklärt Googles Play Store zum illegalen Monopol
Alphacode 2: Googles neues KI-Programmiertool schlägt häufig Entwickler
Weitere News:
aleX fotografiert: Schnecken und einen Hasen
HVO100: Klimaschonender Diesel geht in Deutschland an den Start
Gaming-Router Archer C5400X von TP-Link anfällig für Schadcodeausführung
Die RTX 5090 soll zum Titan-Ersatz werden
Update entfernt Cortana-App und WordPad App, die seit 30 Jahren Teil von Windows war
EU-Pläne: Bestellen auf Temu und Shein soll ab 2025 teurer werden
Neues Material ist lichtdurchlässiger als Glas, aber nicht durchsichtig
Copilot-Plus-PC: Microsoft Recall läuft auch ohne NPU
Cyberangriff kostet Kyivstar bisher rund 83 Millionen Euro
MSI zeigt Desktop-Mainboard mit CAMM2
HVO100: Klimaschonender Diesel geht in Deutschland an den Start
Gaming-Router Archer C5400X von TP-Link anfällig für Schadcodeausführung
Die RTX 5090 soll zum Titan-Ersatz werden
Update entfernt Cortana-App und WordPad App, die seit 30 Jahren Teil von Windows war
EU-Pläne: Bestellen auf Temu und Shein soll ab 2025 teurer werden
Neues Material ist lichtdurchlässiger als Glas, aber nicht durchsichtig
Copilot-Plus-PC: Microsoft Recall läuft auch ohne NPU
Cyberangriff kostet Kyivstar bisher rund 83 Millionen Euro
MSI zeigt Desktop-Mainboard mit CAMM2
Einen Kommentar schreiben
Kommentare
Bitte bleibe sachlich und fair in deinen Äußerungen. Sollte dein Kommentar nicht sofort erscheinen, ist er in der Warteschlange gelandet und wird meist zeitnah freigeschaltet.
(0)
Bitte bleibe sachlich und fair in deinen Äußerungen. Sollte dein Kommentar nicht sofort erscheinen, ist er in der Warteschlange gelandet und wird meist zeitnah freigeschaltet.
Kommentare:
Du hast bereits für diesen
Kommentar angestimmt...
;-)
© by Ress Design Group, 2001 - 2024