NB-Public/green-spider
14
0
Fork 1
mirror of https://github.com/netzbegruenung/green-spider.git synced 2024-05-05 18:33:40 +02:00
Code Issues 2 Projects Releases Wiki Activity
Hilft Dir dabei, Deine BÜNDNIS 90/DIE GRÜNEN Website zu optimieren https://green-spider.netzbegruenung.de/
304 commits 11 branches 7 tags 4.1 MiB
Python 88.9%
Shell 8.9%
Makefile 1.3%
Dockerfile 0.9%
Go to file
Marian Steinbach ba06c34f2c Merge branch 'main' into font-detection
2024-03-04 17:22:09 +01:00
.github Workflow zum Erzeugen und Veröffentlichen eines Container Image auf ghcr.io (#327) 2024-02-22 09:16:44 +01:00
checks Make and use a versioned docker image (#279) 2022-10-24 21:35:15 +02:00
config Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
devops Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
export Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
kubernetes Change quay.io to ghcr.io (#328) 2024-02-22 09:32:49 +01:00
manager Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
rating Detect GrueneType instead of Arvo 2024-03-04 13:53:20 +01:00
spider Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
.dockerignore Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
.gitignore Make and use a versioned docker image (#279) 2022-10-24 21:35:15 +02:00
.travis.yml Fehlerbehebung im url_reachability check (#108) 2019-04-19 00:35:28 +02:00
cli.py Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
docker-compose.yaml Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
Dockerfile Update auf Chromium v122; Verbesserung am container image build (#339) 2024-03-01 17:51:56 +01:00
index.yaml Add webapp deployment (#87) 2018-11-20 19:54:23 +01:00
job.py Change quay.io to ghcr.io (#328) 2024-02-22 09:32:49 +01:00
k8s-job-manager.py Automatisierung für Job-Erzeugung und -Ausführung in Kubernetes (#232) 2022-10-18 09:00:31 +02:00
KRITERIEN.md Detect GrueneType instead of Arvo 2024-03-04 13:53:20 +01:00
LICENSE Create LICENSE 2018-08-28 21:04:20 +02:00
Makefile Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
README.md Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00
requirements.txt Reparatur und Aufräumen an der job execution (#340) 2024-03-04 17:18:37 +01:00

README.md

Green Spider

Green Spider prüft Websites von Bündnis 90/Die Grünen Gliederungen auf Einhaltung ausgewählter Standards. Die Ergebnisse sind unter green-spider.netzbegruenung.de einsehbar.

Dieses Repository beinhaltet Code für den Spider, der Websites besucht und prüft.

Green Spider ist ein Projekt von netzbegrünung e. V..

Übersicht aller Green Spider Repositories

Green Spider verbessern

Du kannst über den Chatbegrünung-Kanal #green-spider Probleme melden, Fragen stellen und Verbesserungsvorschläge machen. Wenn Du möchtest, kannst Du auch die Issues hier in diesem Repository einsehen ud kommentieren oder selbst ein Issue anlegen.

Betrieb

Alle Informationen zum Betrieb befinden sich im Verzeichnis devops.

Entwicklung

Green Spider ist in Python geschrieben. Der Code ist darauf ausgelegt, in einem Docker Container ausführbar zu sein. Darüber hinaus kann er möglicherweise in einer lokalen Python-Umgebung funktionieren. Für reproduzierbare Bedingungen beim Ausführen des headless Browsers (chromium, chromedriver) empfielt es sich jedoch, in einer Container-Umgebung zu testen.

Das aktuellste Container Image steht unter ghcr.io/netzbegruenung/green-spider:latest zur Verfügung. Alternative Versionen und Tags sind unter Packages auffindbar.

Lokal kann das Image mit diesem Befehl gebaut werden:

make dockerimage

Unittests ausführen

Nach dem Bauen des Container Image (siehe oben) werden die Unit Tests im Container über make test ausgeführt.

Spider testweise ausführen (Debugging)

Der Spider kann einzelne URLs verarbeiten, ohne die Ergebnisse in eine Datenbank zu schreiben. Am einfachsten geht das über den make dryrun Befehl, so:

make dryrun ARGS="http://www.example.com/"

Warteschlange und Worker

Für einen kompletten Durchlauf wird die Warteschlange gefüllt und dann abgearbeitet. Das passiert im Betrieb über das Script devops/run-job.sh.

Lokal kann das über die folgenden Befehle getestet werden:

make jobs
make spider