c79c1259ad
Bumps [idna](https://github.com/kjd/idna) from 3.6 to 3.7. - [Release notes](https://github.com/kjd/idna/releases) - [Changelog](https://github.com/kjd/idna/blob/master/HISTORY.rst) - [Commits](https://github.com/kjd/idna/compare/v3.6...v3.7) --- updated-dependencies: - dependency-name: idna dependency-type: direct:production ... Signed-off-by: dependabot[bot] <support@github.com> |
||
---|---|---|
.github | ||
checks | ||
config | ||
devops | ||
export | ||
kubernetes | ||
manager | ||
rating | ||
spider | ||
.dockerignore | ||
.gitignore | ||
.travis.yml | ||
cli.py | ||
docker-compose.yaml | ||
Dockerfile | ||
index.yaml | ||
job.py | ||
k8s-job-manager.py | ||
KRITERIEN.md | ||
LICENSE | ||
Makefile | ||
README.md | ||
requirements.txt |
Green Spider
Green Spider prüft Websites von Bündnis 90/Die Grünen Gliederungen auf Einhaltung ausgewählter Standards. Die Ergebnisse sind unter green-spider.netzbegruenung.de einsehbar.
Dieses Repository beinhaltet Code für den Spider, der Websites besucht und prüft.
Green Spider ist ein Projekt von netzbegrünung e. V..
Übersicht aller Green Spider Repositories
- Spider: Dieses Repository
- Webapp: Darstellung der Spider-Ergebnisse. Siehe netzbegruenung/green-spider-webapp. Dazu gehören
- API: netzbegruenung/green-spider-api
- Elasticsearch
- Indexer: Lädt Ergebnisdaten in Elasticsearch. Siehe netzbegruenung/green-spider-indexer
- Auswertung: R Projekt zur Auswertung der Ergebnisse. Siehe netzbegruenung/green-spider-analysis
Green Spider verbessern
Du kannst über den Chatbegrünung-Kanal #green-spider Probleme melden, Fragen stellen und Verbesserungsvorschläge machen. Wenn Du möchtest, kannst Du auch die Issues hier in diesem Repository einsehen ud kommentieren oder selbst ein Issue anlegen.
Betrieb
Alle Informationen zum Betrieb befinden sich im Verzeichnis devops.
Entwicklung
Green Spider ist in Python geschrieben. Der Code ist darauf ausgelegt, in einem Docker Container ausführbar zu sein. Darüber hinaus kann er möglicherweise in einer lokalen Python-Umgebung funktionieren. Für reproduzierbare Bedingungen beim Ausführen des headless Browsers (chromium, chromedriver) empfielt es sich jedoch, in einer Container-Umgebung zu testen.
Das aktuellste Container Image steht unter ghcr.io/netzbegruenung/green-spider:latest
zur Verfügung. Alternative Versionen und Tags sind unter Packages auffindbar.
Lokal kann das Image mit diesem Befehl gebaut werden:
make dockerimage
Unittests ausführen
Nach dem Bauen des Container Image (siehe oben) werden die Unit Tests im Container über make test
ausgeführt.
Spider testweise ausführen (Debugging)
Der Spider kann einzelne URLs verarbeiten, ohne die Ergebnisse in eine Datenbank zu schreiben.
Am einfachsten geht das über den make dryrun
Befehl, so:
make dryrun ARGS="http://www.example.com/"
Warteschlange und Worker
Für einen kompletten Durchlauf wird die Warteschlange gefüllt und dann abgearbeitet. Das passiert im Betrieb über das Script devops/run-job.sh.
Lokal kann das über die folgenden Befehle getestet werden:
make jobs
make spider