Bash pour Data Engineers

# Affiche le chemin du dossier courant (Print Working Directory)
pwd

# Liste les fichiers du dossier courant
ls

# Liste avec détails (permissions, taille, date)
ls -lh

# Liste incluant les fichiers cachés
ls -la

# Affiche l'arborescence (si installé)
# tree

# Change de dossier
cd /tmp
pwd

# Revenir au dossier précédent
cd -

# Aller au dossier home
cd ~

# Créer un dossier
mkdir data

# Créer un dossier avec ses parents (pas d'erreur si existe)
mkdir -p data/raw/2024

# Créer un fichier vide
touch data/fichier.csv

# Créer plusieurs fichiers
touch data/file1.csv data/file2.csv data/file3.csv

# Copier un fichier
cp data/fichier.csv data/fichier_backup.csv

# Copier un dossier entier (récursif)
cp -r data/ data_backup/

# Déplacer / Renommer un fichier
mv data/fichier.csv data/nouveau_nom.csv

# Supprimer un fichier
rm data/file1.csv

# Supprimer un dossier vide
rmdir data/raw/2024

# Supprimer un dossier et son contenu (⚠️ DANGEREUX)
rm -r data_backup/

# Créons d'abord un fichier exemple
cat << 'EOF' > ventes.csv
date,produit,quantite,prix
2024-01-01,Laptop,5,999.99
2024-01-02,Souris,20,29.99
2024-01-03,Clavier,15,79.99
2024-01-04,Écran,8,299.99
2024-01-05,Laptop,3,999.99
2024-01-06,Souris,25,29.99
2024-01-07,Casque,12,149.99
EOF

echo "✅ Fichier ventes.csv créé"

# Affiche le contenu entier
echo "=== cat ==="
cat ventes.csv

echo ""
echo "=== head (3 premières lignes) ==="
head -n 3 ventes.csv

echo ""
echo "=== tail (2 dernières lignes) ==="
tail -n 2 ventes.csv

echo ""
echo "=== wc (comptage) ==="
wc -l ventes.csv    # Nombre de lignes
wc -w ventes.csv    # Nombre de mots
wc -c ventes.csv    # Nombre de caractères

echo "=== grep : recherche de motifs ==="

# Rechercher les lignes contenant "Laptop"
echo "Lignes avec 'Laptop':"
grep "Laptop" ventes.csv

echo ""
# Recherche insensible à la casse
echo "Recherche insensible à la casse (-i):"
grep -i "laptop" ventes.csv

echo ""
# Compter le nombre de correspondances
echo "Nombre de lignes avec 'Souris':"
grep -c "Souris" ventes.csv

echo ""
# Afficher les numéros de ligne
echo "Avec numéros de ligne (-n):"
grep -n "99.99" ventes.csv

echo ""
# Inverser la recherche (lignes qui NE contiennent PAS)
echo "Lignes SANS 'Laptop' (-v):"
grep -v "Laptop" ventes.csv

echo "=== find : trouver des fichiers ==="

# Créer quelques fichiers pour l'exemple
mkdir -p projet/data projet/scripts
touch projet/data/users.csv projet/data/sales.csv projet/data/old.json
touch projet/scripts/etl.py projet/scripts/utils.py

# Trouver tous les fichiers .csv
echo "Fichiers .csv:"
find projet/ -name "*.csv"

echo ""
# Trouver tous les fichiers .py
echo "Fichiers .py:"
find projet/ -name "*.py"

echo ""
# Trouver les fichiers modifiés dans les dernières 24h
echo "Fichiers modifiés récemment:"
find projet/ -mtime -1 -type f

# Nettoyage
rm -r projet/

echo "=== cut : extraire des colonnes ==="

# Extraire la 2ème colonne (produit)
echo "Colonne 'produit':"
cut -d',' -f2 ventes.csv

echo ""
echo "=== sort : trier ==="
# Trier par produit (2ème colonne)
echo "Trié par produit:"
tail -n +2 ventes.csv | sort -t',' -k2

echo ""
echo "=== uniq : valeurs uniques ==="
# Liste des produits uniques
echo "Produits uniques:"
cut -d',' -f2 ventes.csv | tail -n +2 | sort | uniq

echo ""
# Compter les occurrences
echo "Comptage par produit:"
cut -d',' -f2 ventes.csv | tail -n +2 | sort | uniq -c

echo "=== Exemples de pipes ==="

# Trouver les ventes de Laptop et compter
echo "Nombre de ventes Laptop:"
cat ventes.csv | grep "Laptop" | wc -l

echo ""
# Top 3 des produits les plus vendus
echo "Top 3 produits (par nombre de lignes):"
cut -d',' -f2 ventes.csv | tail -n +2 | sort | uniq -c | sort -rn | head -3

echo ""
# Pipeline complexe : produits avec prix > 100
echo "Produits avec prix > 100:"
tail -n +2 ventes.csv | awk -F',' '$4 > 100 {print $2, $4}' | sort -u

echo "=== Redirections ==="

# Rediriger vers un fichier (écrase)
grep "Laptop" ventes.csv > laptops.txt
echo "Contenu de laptops.txt:"
cat laptops.txt

echo ""
# Ajouter à un fichier (append)
grep "Écran" ventes.csv >> laptops.txt
echo "Après ajout:"
cat laptops.txt

echo ""
# Rediriger les erreurs
ls fichier_inexistant 2> erreurs.log
echo "Erreur capturée:"
cat erreurs.log

# Nettoyage
rm -f laptops.txt erreurs.log

echo "=== Variables ==="

# Déclarer une variable (PAS d'espace autour du =)
nom="Data Engineer"
annee=2024
dossier_data="/home/user/data"

# Utiliser une variable avec $
echo "Bienvenue $nom !"
echo "Nous sommes en $annee"

# Utiliser ${} pour éviter l'ambiguïté
echo "Fichier: ${dossier_data}/ventes.csv"

echo ""
echo "=== Variables d'environnement ==="
echo "Home: $HOME"
echo "User: $USER"
echo "Shell: $SHELL"
echo "Path: $PATH" | cut -c1-50  # Tronqué pour l'affichage

echo "=== Boucle for ==="

# Créer des fichiers de test
mkdir -p data_test
touch data_test/jan.csv data_test/feb.csv data_test/mar.csv

# Boucle sur les fichiers CSV
for fichier in data_test/*.csv; do
    echo "Traitement de: $fichier"
    echo "   Nom: $(basename "$fichier")"
done

echo ""
echo "=== Boucle avec séquence ==="
for i in {1..5}; do
    echo "Itération $i"
done

echo ""
echo "=== Boucle while ==="
compteur=1
while [ $compteur -le 3 ]; do
    echo "Compteur: $compteur"
    ((compteur++))
done

# Nettoyage
rm -r data_test/

echo "=== Conditions de base ==="

# Vérifier si un fichier existe
if [ -f "ventes.csv" ]; then
    echo "✅ Le fichier ventes.csv existe"
else
    echo "❌ Le fichier n'existe pas"
fi

echo ""
# Vérifier si un dossier existe
if [ -d "/tmp" ]; then
    echo "✅ Le dossier /tmp existe"
fi

echo ""
# Comparer des nombres
nb_lignes=$(wc -l < ventes.csv)
echo "Nombre de lignes: $nb_lignes"

if [ $nb_lignes -gt 5 ]; then
    echo "📊 Fichier volumineux (> 5 lignes)"
else
    echo "📄 Petit fichier"
fi

# Créer un script complet
cat << 'EOF' > mon_script.sh
#!/bin/bash
# Script de traitement de données
# Auteur: Data Engineer
# Date: 2024

echo "🚀 Démarrage du script"
echo "📅 Date: $(date)"
echo "👤 Utilisateur: $USER"
echo "📂 Dossier: $(pwd)"

# Vérifier si un argument est passé
if [ -z "$1" ]; then
    echo "⚠️ Usage: ./mon_script.sh <nom_fichier>"
    exit 1
fi

echo "📄 Fichier à traiter: $1"
echo "✅ Script terminé"
EOF

# Rendre exécutable
chmod +x mon_script.sh

# Exécuter le script
echo "=== Exécution sans argument ==="
./mon_script.sh

echo ""
echo "=== Exécution avec argument ==="
./mon_script.sh ventes.csv

# Nettoyage
rm mon_script.sh