nk20/README.md

304 lines
11 KiB
Markdown
Raw Normal View History

2019-07-07 21:31:20 +00:00
# NoteKfet 2020
2019-07-08 10:59:27 +00:00
[![License: GPL v3](https://img.shields.io/badge/License-GPL%20v3-blue.svg)](https://www.gnu.org/licenses/gpl-3.0.txt)
[![pipeline status](https://gitlab.crans.org/bde/nk20/badges/main/pipeline.svg)](https://gitlab.crans.org/bde/nk20/commits/main)
[![coverage report](https://gitlab.crans.org/bde/nk20/badges/main/coverage.svg)](https://gitlab.crans.org/bde/nk20/commits/main)
2019-07-08 10:59:27 +00:00
2020-09-02 13:30:03 +00:00
## Table des matières
2019-07-07 21:31:20 +00:00
2020-09-02 13:31:57 +00:00
- [Installation d'une instance de développement](#installation-dune-instance-de-développement)
- [Installation d'une instance de production](#installation-dune-instance-de-production)
2019-07-07 21:31:20 +00:00
2020-09-02 13:30:03 +00:00
## Installation d'une instance de développement
L'instance de développement installe la majorité des dépendances dans un environnement Python isolé.
Bien que cela permette de créer une instance sur toutes les distributions,
**cela veut dire que vos dépendances ne seront pas mises à jour automatiquement.**
1. **Installation des dépendances de la distribution.**
Il y a quelques dépendances qui ne sont pas trouvable dans PyPI.
On donne ci-dessous l'exemple pour une distribution basée sur Debian, mais vous pouvez facilement adapter pour ArchLinux ou autre.
```bash
$ sudo apt update
$ sudo apt install --no-install-recommends -y \
ipython3 python3-setuptools python3-venv python3-dev \
2020-09-06 13:30:12 +00:00
texlive-xetex gettext libjs-bootstrap4 fonts-font-awesome git
2020-09-02 13:30:03 +00:00
```
2. **Clonage du dépot** là où vous voulez :
```bash
2020-09-06 11:16:47 +00:00
$ git clone git@gitlab.crans.org:bde/nk20.git --recursive && cd nk20
2020-09-02 13:30:03 +00:00
```
3. **Création d'un environment de travail Python décorrélé du système.**
On n'utilise pas `--system-site-packages` ici pour ne pas avoir des clashs de versions de modules avec le système.
```bash
$ python3 -m venv env
$ source env/bin/activate # entrer dans l'environnement
(env)$ pip3 install -r requirements.txt
(env)$ deactivate # sortir de l'environnement
```
4. **Variable d'environnement.**
Copier le fichier `.env_example` vers `.env` à la racine du projet et mettre à jour
ce qu'il faut.
5. **Migrations et chargement des données initiales.**
Pour initialiser la base de données avec de quoi travailler.
```bash
(env)$ ./manage.py collectstatic --noinput
(env)$ ./manage.py compilemessages
(env)$ ./manage.py makemigrations
(env)$ ./manage.py migrate
(env)$ ./manage.py loaddata initial
(env)$ ./manage.py createsuperuser # Création d'un⋅e utilisateur⋅rice initial
2020-09-02 13:30:03 +00:00
```
6. Enjoy :
```bash
(env)$ ./manage.py runserver 0.0.0.0:8000
```
En mettant `0.0.0.0:8000` après `runserver`, vous rendez votre instance Django
accessible depuis l'ensemble de votre réseau, pratique pour tester le rendu
de la note sur un téléphone !
## Installation d'une instance de production
2020-10-30 15:58:49 +00:00
Pour déployer facilement la note il est possible d'utiliser le playbook Ansible (sinon vous pouvez toujours le faire a la main, voir plus bas).
### Avec ansible
Il vous faudra un serveur sous debian ou ubuntu connecté à internet et que vous souhaiterez accéder à cette instance de la note sur `note.nomdedomaine.tld`.
0. Installer Ansible sur votre machine personnelle.
0. (bis) cloner le dépot sur votre machine personelle.
1. Copier le fichier `ansible/host_example`
``` bash
$ cp ansible/hosts_example ansible/hosts
```
et ajouter sous [dev] et/ou [prod] les serveurs sur lesquels vous souhaitez installer la note.
2. Créer un fichier `ansible/host_vars/<note.nomdedomaine.tld.yaml>` sur le modèle des fichiers existants dans `ansible/hosts` et compléter les variables nécessaires.
3. lancer `ansible/base.yaml -l <nomdedomaine.tld.yaml>`
4. Aller vous faire un café, ca peux durer un moment.
### Installation manuelle
2019-07-07 21:31:20 +00:00
2020-09-02 13:30:03 +00:00
**En production on souhaite absolument utiliser les modules Python packagées dans le gestionnaire de paquet.**
Cela permet de mettre à jour facilement les dépendances critiques telles que Django.
2019-07-07 21:31:20 +00:00
2020-09-02 13:30:03 +00:00
L'installation d'une instance de production néccessite **une installation de Debian Buster ou d'Ubuntu 20.04**.
Sinon vous pouvez suivre les étapes décrites ci-dessous.
0. Sous Debian Buster, **activer Debian Backports.** En effet Django 2.2 LTS n'est que disponible dans les backports.
2020-09-01 14:35:43 +00:00
2020-09-01 14:54:34 +00:00
```bash
$ echo "deb http://deb.debian.org/debian buster-backports main" | sudo tee /etc/apt/sources.list.d/deb_debian_org_debian.list
```
2020-08-10 16:26:45 +00:00
1. **Installation des dépendances APT.**
2020-09-01 12:39:03 +00:00
On tire les dépendances le plus possible à partir des dépôts de Debian.
On a besoin d'un environnement LaTeX pour générer les factures.
2020-08-10 16:26:45 +00:00
```bash
2020-09-01 12:39:03 +00:00
$ sudo apt update
2020-09-02 10:57:46 +00:00
$ sudo apt install --no-install-recommends -t buster-backports -y \
python3-django python3-django-crispy-forms \
2020-09-01 12:39:03 +00:00
python3-django-extensions python3-django-filters python3-django-polymorphic \
python3-djangorestframework python3-django-oauth-toolkit python3-psycopg2 python3-pil \
2020-09-21 13:13:43 +00:00
python3-babel python3-lockfile python3-pip python3-phonenumbers python3-memcache ipython3 \
2020-10-05 14:25:06 +00:00
python3-bs4 python3-setuptools python3-docutils \
2020-09-21 13:13:43 +00:00
memcached uwsgi uwsgi-plugin-python3 \
2020-09-06 13:30:12 +00:00
texlive-xetex gettext libjs-bootstrap4 fonts-font-awesome \
2020-09-01 12:39:03 +00:00
nginx python3-venv git acl
2020-08-10 16:26:45 +00:00
```
2019-07-07 21:31:20 +00:00
2020-08-10 16:26:45 +00:00
2. **Clonage du dépot** dans `/var/www/note_kfet`,
2019-08-15 15:59:56 +00:00
2020-08-10 16:26:45 +00:00
```bash
2020-09-01 12:39:03 +00:00
$ sudo mkdir -p /var/www/note_kfet && cd /var/www/note_kfet
2020-08-10 16:26:45 +00:00
$ sudo chown www-data:www-data .
2020-09-01 14:54:34 +00:00
$ sudo chmod g+rwx .
2020-09-06 11:16:47 +00:00
$ sudo -u www-data git clone https://gitlab.crans.org/bde/nk20.git --recursive
2020-08-10 16:26:45 +00:00
```
2019-07-07 21:31:20 +00:00
2020-08-10 16:26:45 +00:00
3. **Création d'un environment de travail Python décorrélé du système.**
2019-07-07 21:31:20 +00:00
2020-08-10 16:26:45 +00:00
```bash
2020-09-01 14:32:13 +00:00
$ python3 -m venv env --system-site-packages
2020-09-01 14:54:34 +00:00
$ source env/bin/activate # entrer dans l'environnement
2020-09-01 12:39:03 +00:00
(env)$ pip3 install -r requirements.txt
2020-08-10 16:26:45 +00:00
(env)$ deactivate # sortir de l'environnement
```
2019-07-07 21:31:20 +00:00
2020-08-10 16:26:45 +00:00
4. **Pour configurer UWSGI et NGINX**, des exemples de conf sont disponibles.
**_Modifier le fichier pour être en accord avec le reste de votre config_**
2020-02-02 12:41:43 +00:00
2020-08-10 16:26:45 +00:00
```bash
$ cp nginx_note.conf_example nginx_note.conf
$ sudo ln -sf /var/www/note_kfet/nginx_note.conf /etc/nginx/sites-enabled/
```
2020-02-02 12:41:43 +00:00
2020-08-10 16:26:45 +00:00
Si l'on a un emperor (plusieurs instance uwsgi):
2020-02-02 12:41:43 +00:00
2020-08-10 16:26:45 +00:00
```bash
$ sudo ln -sf /var/www/note_kfet/uwsgi_note.ini /etc/uwsgi/sites/
```
2019-07-07 21:31:20 +00:00
2020-08-10 16:26:45 +00:00
Sinon si on est dans le cas habituel :
2019-08-15 15:59:56 +00:00
2020-08-10 16:26:45 +00:00
```bash
$ sudo ln -sf /var/www/note_kfet/uwsgi_note.ini /etc/uwsgi/apps-enabled/
```
2020-02-02 12:41:43 +00:00
Le touch-reload est activé par défault, pour redémarrer la note il suffit donc de faire `touch uwsgi_note.ini`.
2020-08-10 16:26:45 +00:00
5. **Base de données.** En production on utilise PostgreSQL.
2019-07-07 21:31:20 +00:00
2020-09-01 14:54:34 +00:00
$ sudo apt-get install postgresql postgresql-contrib
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
La config de la base de donnée se fait comme suit:
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
a. On se connecte au shell de psql
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
$ sudo su - postgres
$ psql
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
b. On sécurise l'utilisateur postgres
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
postgres=# \password
Enter new password:
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
Conservez ce mot de passe de la meme manière que tous les autres.
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
c. On créer la basse de donnée, et l'utilisateur associé
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
postgres=# CREATE USER note WITH PASSWORD 'un_mot_de_passe_sur';
CREATE ROLE
postgres=# CREATE DATABASE note_db OWNER note;
CREATE DATABASE
2020-03-11 14:54:12 +00:00
Si tout va bien :
2020-08-10 16:26:45 +00:00
2020-01-27 21:36:59 +00:00
postgres=#\list
List of databases
Name | Owner | Encoding | Collate | Ctype | Access privileges
-----------+----------+----------+-------------+-------------+-----------------------
note_db | note | UTF8 | fr_FR.UTF-8 | fr_FR.UTF-8 |
postgres | postgres | UTF8 | fr_FR.UTF-8 | fr_FR.UTF-8 |
template0 | postgres | UTF8 | fr_FR.UTF-8 | fr_FR.UTF-8 | =c/postgres+postgres=CTc/postgres
template1 | postgres | UTF8 | fr_FR.UTF-8 | fr_FR.UTF-8 | =c/postgres +postgres=CTc/postgres
(4 rows)
2020-08-10 16:26:45 +00:00
6. Variable d'environnement et Migrations
2020-03-11 14:54:12 +00:00
On copie le fichier `.env_example` vers le fichier `.env` à la racine du projet
et on renseigne des secrets et des paramètres :
2020-08-10 16:26:45 +00:00
DJANGO_APP_STAGE=dev # ou "prod"
DJANGO_DEV_STORE_METHOD=sqlite # ou "postgres"
DJANGO_DB_HOST=localhost
DJANGO_DB_NAME=note_db
DJANGO_DB_USER=note
DJANGO_DB_PASSWORD=CHANGE_ME
DJANGO_DB_PORT=
DJANGO_SECRET_KEY=CHANGE_ME
DJANGO_SETTINGS_MODULE="note_kfet.settings
2020-08-09 16:39:06 +00:00
NOTE_URL=localhost # URL où accéder à la note
CONTACT_EMAIL=tresorerie.bde@localhost
# Le reste n'est utile qu'en production, pour configurer l'envoi des mails
NOTE_MAIL=notekfet@localhost
EMAIL_HOST=smtp.localhost
EMAIL_PORT=25
EMAIL_USER=notekfet@localhost
EMAIL_PASSWORD=CHANGE_ME
WIKI_USER=NoteKfet2020
WIKI_PASSWORD=CHANGE_ME
2020-03-11 14:54:12 +00:00
Ensuite on (re)bascule dans l'environement virtuel et on lance les migrations
2020-02-20 21:10:37 +00:00
2020-01-27 21:36:59 +00:00
$ source /env/bin/activate
2020-03-11 14:54:12 +00:00
(env)$ ./manage.py check # pas de bêtise qui traine
2020-01-27 21:36:59 +00:00
(env)$ ./manage.py migrate
2020-08-10 16:26:45 +00:00
7. *Enjoy \o/*
2020-01-27 21:36:59 +00:00
2020-08-10 16:26:45 +00:00
### Installation avec Docker
2020-02-03 10:50:42 +00:00
Il est possible de travailler sur une instance Docker.
Pour construire l'image Docker `nk20`,
2020-08-10 16:26:45 +00:00
```
2020-09-06 11:16:47 +00:00
git clone https://gitlab.crans.org/bde/nk20/ --recursive && cd nk20
docker build . -t nk20
```
2020-02-03 10:50:42 +00:00
Ensuite pour lancer la note Kfet en tant que vous (option `-u`),
l'exposer sur son port 80 (option `-p`) et monter le code en écriture (option `-v`),
2020-03-11 14:54:12 +00:00
```
docker run -it --rm -u $(id -u):$(id -g) -v "$(pwd):/var/www/note_kfet/" -p 80:8080 nk20
```
2020-02-03 10:50:42 +00:00
Si vous souhaitez lancer une commande spéciale, vous pouvez l'ajouter à la fin, par exemple,
2020-02-03 10:50:42 +00:00
```
docker run -it --rm -u $(id -u):$(id -g) -v "$(pwd):/var/www/note_kfet/" -p 80:8080 nk20 python3 ./manage.py createsuperuser
```
2020-02-03 10:50:42 +00:00
#### Avec Docker Compose
On vous conseilles de faire un fichier d'environnement `.env` en prenant exemple sur `.env_example`.
Pour par exemple utiliser le Docker de la note Kfet avec Traefik pour réaliser le HTTPS,
```YAML
nk20:
build: /chemin/vers/le/code/nk20
volumes:
- /chemin/vers/le/code/nk20:/var/www/note_kfet/
env_file: /chemin/vers/le/code/nk20/.env
restart: always
labels:
2020-09-01 14:49:55 +00:00
- "traefik.http.routers.nk20.rule=Host(`ndd.example.com`)"
- "traefik.http.services.nk20.loadbalancer.server.port=8080"
```
2019-08-15 15:59:56 +00:00
2019-07-07 21:31:20 +00:00
## Documentation
2020-08-10 16:12:50 +00:00
Le cahier des charges initial est disponible [sur le Wiki Crans](https://wiki.crans.org/NoteKfet/NoteKfet2018/CdC).
La documentation des classes et fonctions est directement dans le code et est explorable à partir de la partie documentation de l'interface d'administration de Django.
2020-03-11 14:54:12 +00:00
**Commentez votre code !**
2020-08-10 16:12:50 +00:00
La documentation plus haut niveau sur le développement et sur l'utilisation
est disponible sur <https://note.crans.org/doc> et également dans le dossier `docs`.
2020-08-10 16:12:50 +00:00
## FAQ
### Regénérer les fichiers de traduction
Pour regénérer les traductions vous pouvez vous placer à la racine du projet et lancer le script `makemessages`.
Il faut penser à ignorer les dossiers ne contenant pas notre code, dont le virtualenv.
De plus, il faut aussi extraire les variables des fichiers JavaScript.
2020-08-10 16:12:50 +00:00
```bash
python3 manage.py makemessages -i env
python3 manage.py makemessages -i env -e js -d djangojs
2020-08-10 16:12:50 +00:00
```
Une fois les fichiers édités, vous pouvez compiler les nouvelles traductions avec
```bash
python3 manage.py compilemessages
python3 manage.py compilejsmessages
2020-08-10 16:12:50 +00:00
```