Compare commits
68 Commits
| Author | SHA1 | Date | |
|---|---|---|---|
| 15c717f9fe | |||
| c6c98b3e26 | |||
| d459f3d675 | |||
| 33e4b37cce | |||
| 2a8e7e7f2b | |||
| 07759353be | |||
| 38fb14520e | |||
| 006ae6079a | |||
| 7d507fb7e1 | |||
| 0f69022e51 | |||
| a260ae2470 | |||
| 820b4a53d2 | |||
| ea77e83f06 | |||
| a9da208bc3 | |||
| 739d7dd28c | |||
| 651599796e | |||
| b9d440597c | |||
| 311cc5d7a7 | |||
| fb2519046d | |||
| bc6b1585ec | |||
| d71330a85a | |||
| df51aa5200 | |||
| e93cc816db | |||
| 19050b4cf4 | |||
| 6676c15f75 | |||
| 27e487e322 | |||
| 4f28050eff | |||
| b58ea60557 | |||
| e95eedffe4 | |||
| 1abd53987c | |||
| d1a3e7338a | |||
| 687ef0c167 | |||
| 3a86148352 | |||
| fe9a2912e1 | |||
| 29a99fc210 | |||
| d7651bf588 | |||
| 2865dcbe9c | |||
| d920b77bab | |||
| 1b53167b53 | |||
| 9dabb9dc07 | |||
| 95630fe151 | |||
| d3a889f100 | |||
| 6ce0671f51 | |||
| 25ab6b2ab6 | |||
| 374d7e8d38 | |||
| 957110b7e9 | |||
| e7dc60f2c3 | |||
| 353a9d6787 | |||
| 9f2d3a3c89 | |||
| 73e221716f | |||
| 0d0ed5445a | |||
| 9e4c6f6f56 | |||
| 1cf4b99d18 | |||
| b536fb9f09 | |||
| c41a2ce3bd | |||
| 8ef776f859 | |||
| d350c2d074 | |||
| 93d6914e9d | |||
| 7db063a240 | |||
| dfe5997e0b | |||
| 68671a1e84 | |||
| bcc2227cfd | |||
| d6eec926e7 | |||
| 5ddf1c4cab | |||
| 5a2171b9c7 | |||
| 95c6ade154 | |||
| a0bbc2896a | |||
| 736596c387 |
@@ -23,6 +23,6 @@ jobs:
|
|||||||
steps:
|
steps:
|
||||||
- uses: actions/checkout@v4
|
- uses: actions/checkout@v4
|
||||||
- name: Build default package
|
- name: Build default package
|
||||||
run: "nixos-rebuild build --flake ./#${{ matrix.system }}"
|
run: "nixos-rebuild build --accept-flake-config --flake ./#${{ matrix.system }}"
|
||||||
- name: copy to nix-cache
|
- name: copy to nix-cache
|
||||||
run: nix copy --accept-flake-config --to unix:///host-nix/var/nix/daemon-socket/socket .#nixosConfigurations.${{ matrix.system }}.config.system.build.toplevel
|
run: nix copy --accept-flake-config --to unix:///host-nix/var/nix/daemon-socket/socket .#nixosConfigurations.${{ matrix.system }}.config.system.build.toplevel
|
||||||
|
|||||||
@@ -1,30 +0,0 @@
|
|||||||
name: fix_eval_warnings
|
|
||||||
on:
|
|
||||||
workflow_run:
|
|
||||||
workflows: ["build_systems"]
|
|
||||||
types: [completed]
|
|
||||||
|
|
||||||
jobs:
|
|
||||||
check-warnings:
|
|
||||||
if: >-
|
|
||||||
github.event.workflow_run.conclusion != 'cancelled' &&
|
|
||||||
github.event.workflow_run.head_branch == 'main' &&
|
|
||||||
(github.event.workflow_run.event == 'push' || github.event.workflow_run.event == 'schedule')
|
|
||||||
runs-on: self-hosted
|
|
||||||
permissions:
|
|
||||||
contents: write
|
|
||||||
pull-requests: write
|
|
||||||
|
|
||||||
steps:
|
|
||||||
- uses: actions/checkout@v4
|
|
||||||
|
|
||||||
- name: Fix eval warnings
|
|
||||||
env:
|
|
||||||
GH_TOKEN: ${{ secrets.GH_TOKEN_FOR_UPDATES }}
|
|
||||||
run: >-
|
|
||||||
nix develop .#devShells.x86_64-linux.default -c
|
|
||||||
python -m python.eval_warnings.main
|
|
||||||
--run-id "${{ github.event.workflow_run.id }}"
|
|
||||||
--repo "${{ github.repository }}"
|
|
||||||
--ollama-url "${{ secrets.OLLAMA_URL }}"
|
|
||||||
--run-url "${{ github.event.workflow_run.html_url }}"
|
|
||||||
@@ -6,24 +6,18 @@ on:
|
|||||||
|
|
||||||
jobs:
|
jobs:
|
||||||
merge:
|
merge:
|
||||||
runs-on: ubuntu-latest
|
runs-on: self-hosted
|
||||||
|
|
||||||
permissions:
|
permissions:
|
||||||
contents: write
|
contents: write
|
||||||
pull-requests: write
|
pull-requests: write
|
||||||
|
|
||||||
steps:
|
steps:
|
||||||
- name: Checkout repository
|
|
||||||
uses: actions/checkout@v4
|
|
||||||
|
|
||||||
- name: merge_flake_lock_update
|
- name: merge_flake_lock_update
|
||||||
run: |
|
run: >-
|
||||||
pr_number=$(gh pr list --state open --author RichieCahill --label flake_lock_update --json number --jq '.[0].number')
|
nix develop .#devShells.x86_64-linux.default -c
|
||||||
echo "pr_number=$pr_number" >> $GITHUB_ENV
|
python -m python.gitea_flake_lock merge
|
||||||
if [ -n "$pr_number" ]; then
|
--repo "${{ github.repository }}"
|
||||||
gh pr merge "$pr_number" --rebase
|
|
||||||
else
|
|
||||||
echo "No open PR found with label flake_lock_update"
|
|
||||||
fi
|
|
||||||
env:
|
env:
|
||||||
GITHUB_TOKEN: ${{ secrets.GH_TOKEN_FOR_UPDATES }}
|
GITEA_TOKEN: ${{ secrets.GITEA_TOKEN }}
|
||||||
|
GITEA_URL: https://gitea.tmmworkshop.com
|
||||||
|
|||||||
@@ -7,7 +7,6 @@ on:
|
|||||||
pull_request:
|
pull_request:
|
||||||
branches:
|
branches:
|
||||||
- main
|
- main
|
||||||
merge_group:
|
|
||||||
|
|
||||||
jobs:
|
jobs:
|
||||||
pytest:
|
pytest:
|
||||||
|
|||||||
@@ -6,18 +6,20 @@ on:
|
|||||||
|
|
||||||
jobs:
|
jobs:
|
||||||
lockfile:
|
lockfile:
|
||||||
runs-on: ubuntu-latest
|
runs-on: self-hosted
|
||||||
|
permissions:
|
||||||
|
contents: write
|
||||||
|
pull-requests: write
|
||||||
steps:
|
steps:
|
||||||
- name: Checkout repository
|
- name: Checkout repository
|
||||||
uses: actions/checkout@v4
|
uses: actions/checkout@v4
|
||||||
- name: Install Nix
|
|
||||||
uses: DeterminateSystems/nix-installer-action@main
|
|
||||||
- name: Update flake.lock
|
- name: Update flake.lock
|
||||||
uses: DeterminateSystems/update-flake-lock@main
|
run: nix flake update
|
||||||
with:
|
- name: Create or update flake.lock PR
|
||||||
token: ${{ secrets.GH_TOKEN_FOR_UPDATES }}
|
env:
|
||||||
pr-title: "Update flake.lock"
|
GITEA_TOKEN: ${{ secrets.GITEA_TOKEN }}
|
||||||
pr-labels: |
|
GITEA_URL: https://gitea.tmmworkshop.com
|
||||||
dependencies
|
run: >-
|
||||||
automated
|
nix develop .#devShells.x86_64-linux.default -c
|
||||||
flake_lock_update
|
python -m python.gitea_flake_lock update
|
||||||
|
--repo "${{ github.repository }}"
|
||||||
|
|||||||
@@ -169,3 +169,6 @@ test.*
|
|||||||
# Frontend build output
|
# Frontend build output
|
||||||
frontend/dist/
|
frontend/dist/
|
||||||
frontend/node_modules/
|
frontend/node_modules/
|
||||||
|
|
||||||
|
# data from testing llms
|
||||||
|
data/*
|
||||||
Vendored
+1
-1
@@ -40,7 +40,6 @@
|
|||||||
"cgroupdriver",
|
"cgroupdriver",
|
||||||
"charliermarsh",
|
"charliermarsh",
|
||||||
"Checkpointing",
|
"Checkpointing",
|
||||||
"cloudflared",
|
|
||||||
"codellama",
|
"codellama",
|
||||||
"codezombiech",
|
"codezombiech",
|
||||||
"compactmode",
|
"compactmode",
|
||||||
@@ -204,6 +203,7 @@
|
|||||||
"peerconnection",
|
"peerconnection",
|
||||||
"PESKYFOX",
|
"PESKYFOX",
|
||||||
"PGID",
|
"PGID",
|
||||||
|
"pgvector",
|
||||||
"pipewire",
|
"pipewire",
|
||||||
"pkgs",
|
"pkgs",
|
||||||
"plugdev",
|
"plugdev",
|
||||||
|
|||||||
@@ -23,7 +23,10 @@
|
|||||||
boot = {
|
boot = {
|
||||||
tmp.useTmpfs = true;
|
tmp.useTmpfs = true;
|
||||||
kernelPackages = lib.mkDefault pkgs.linuxPackages_6_12;
|
kernelPackages = lib.mkDefault pkgs.linuxPackages_6_12;
|
||||||
zfs.package = lib.mkDefault pkgs.zfs_2_4;
|
zfs = {
|
||||||
|
package = lib.mkDefault pkgs.zfs_2_4;
|
||||||
|
forceImportRoot = lib.mkDefault false;
|
||||||
|
};
|
||||||
};
|
};
|
||||||
|
|
||||||
hardware.enableRedistributableFirmware = true;
|
hardware.enableRedistributableFirmware = true;
|
||||||
@@ -37,10 +40,17 @@
|
|||||||
|
|
||||||
nixpkgs = {
|
nixpkgs = {
|
||||||
overlays = builtins.attrValues outputs.overlays;
|
overlays = builtins.attrValues outputs.overlays;
|
||||||
config.allowUnfree = true;
|
config = {
|
||||||
|
allowUnfree = true;
|
||||||
|
permittedInsecurePackages = [
|
||||||
|
"openssl-1.1.1w" # This is for discord-canary
|
||||||
|
];
|
||||||
|
};
|
||||||
};
|
};
|
||||||
|
|
||||||
services = {
|
services = {
|
||||||
|
dbus.implementation = "dbus";
|
||||||
|
|
||||||
# firmware update
|
# firmware update
|
||||||
fwupd.enable = true;
|
fwupd.enable = true;
|
||||||
|
|
||||||
|
|||||||
@@ -34,6 +34,7 @@ in
|
|||||||
warn-dirty = false;
|
warn-dirty = false;
|
||||||
flake-registry = ""; # disable global flake registries
|
flake-registry = ""; # disable global flake registries
|
||||||
connect-timeout = 10;
|
connect-timeout = 10;
|
||||||
|
download-buffer-size = 536870912;
|
||||||
fallback = true;
|
fallback = true;
|
||||||
};
|
};
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,256 @@
|
|||||||
|
{
|
||||||
|
config,
|
||||||
|
lib,
|
||||||
|
pkgs,
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
let
|
||||||
|
monitoringInterface = "ztwfunumly";
|
||||||
|
nodeTextfileDir = "/var/lib/prometheus-node-exporter-textfile";
|
||||||
|
|
||||||
|
mkProcessNameTemplate =
|
||||||
|
perPid: template: if perPid then "${template}:{{.PID}}:{{.StartTime}}" else template;
|
||||||
|
|
||||||
|
mkProcessMatchers = perPid: [
|
||||||
|
{
|
||||||
|
name = mkProcessNameTemplate perPid "{{.Username}}:{{.Matches.Module}}";
|
||||||
|
cmdline = [ "^/nix/store[^ ]*/bin/python[^ ]* -m (?P<Module>[^ ]+)" ];
|
||||||
|
}
|
||||||
|
{
|
||||||
|
name = mkProcessNameTemplate perPid "{{.Username}}:{{.Matches.Wrapped}}";
|
||||||
|
cmdline = [
|
||||||
|
"^/nix/store[^ ]*/bin/python[^ ]* /nix/store[^ ]*/bin/\\.?(?P<Wrapped>[^ /]+?)(?:-wrapped)?(?:\\s|$)"
|
||||||
|
];
|
||||||
|
}
|
||||||
|
{
|
||||||
|
name = mkProcessNameTemplate perPid "{{.Username}}:{{.Matches.Wrapped}}";
|
||||||
|
cmdline = [
|
||||||
|
"^/nix/store[^ ]*/bin/node /nix/store[^ ]*-(?P<Wrapped>[A-Za-z0-9._+-]+)-[0-9][^ /]*/"
|
||||||
|
];
|
||||||
|
}
|
||||||
|
{
|
||||||
|
name = mkProcessNameTemplate perPid "{{.Username}}:{{.Matches.Wrapped}}";
|
||||||
|
cmdline = [ "^/nix/store[^ ]*/(?:bin/|lib/[^ ]*/)?\\.?(?P<Wrapped>[^ /]+?)(?:-wrapped)?(?:\\s|$)" ];
|
||||||
|
}
|
||||||
|
{
|
||||||
|
name = mkProcessNameTemplate perPid "{{.Username}}:{{.ExeBase}}";
|
||||||
|
cmdline = [ ".+" ];
|
||||||
|
}
|
||||||
|
];
|
||||||
|
|
||||||
|
perPidConfig = pkgs.writeText "process-exporter-per-pid.yaml" (
|
||||||
|
builtins.toJSON {
|
||||||
|
process_names = mkProcessMatchers true;
|
||||||
|
}
|
||||||
|
);
|
||||||
|
|
||||||
|
zpoolLatencyScript = pkgs.writeShellScript "zpool-latency-exporter" ''
|
||||||
|
set -euo pipefail
|
||||||
|
|
||||||
|
out_dir=${lib.escapeShellArg nodeTextfileDir}
|
||||||
|
host=${lib.escapeShellArg config.networking.hostName}
|
||||||
|
tmp_file="$(mktemp "$out_dir/zpool.prom.XXXXXX")"
|
||||||
|
trap 'rm -f "$tmp_file"' EXIT
|
||||||
|
|
||||||
|
pools="$(zpool list -H -o name | paste -sd, -)"
|
||||||
|
|
||||||
|
cat >"$tmp_file" <<'EOF'
|
||||||
|
# HELP zpool_iostat_total_wait_read_ns Average total read wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_total_wait_read_ns gauge
|
||||||
|
# HELP zpool_iostat_total_wait_write_ns Average total write wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_total_wait_write_ns gauge
|
||||||
|
# HELP zpool_iostat_disk_wait_read_ns Average disk read wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_disk_wait_read_ns gauge
|
||||||
|
# HELP zpool_iostat_disk_wait_write_ns Average disk write wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_disk_wait_write_ns gauge
|
||||||
|
# HELP zpool_iostat_syncq_wait_read_ns Average synchronous queue read wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_syncq_wait_read_ns gauge
|
||||||
|
# HELP zpool_iostat_syncq_wait_write_ns Average synchronous queue write wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_syncq_wait_write_ns gauge
|
||||||
|
# HELP zpool_iostat_asyncq_wait_read_ns Average asynchronous queue read wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_asyncq_wait_read_ns gauge
|
||||||
|
# HELP zpool_iostat_asyncq_wait_write_ns Average asynchronous queue write wait time reported by zpool iostat.
|
||||||
|
# TYPE zpool_iostat_asyncq_wait_write_ns gauge
|
||||||
|
EOF
|
||||||
|
|
||||||
|
zpool iostat -Hplvy -y 1 1 | awk -F '\t' -v host="$host" -v pools="$pools" '
|
||||||
|
function esc(str, out) {
|
||||||
|
out = str
|
||||||
|
gsub(/\\/, "\\\\", out)
|
||||||
|
gsub(/"/, "\\\"", out)
|
||||||
|
return out
|
||||||
|
}
|
||||||
|
|
||||||
|
function emit(metric, pool, vdev, value) {
|
||||||
|
if (value == "" || value == "-") {
|
||||||
|
return
|
||||||
|
}
|
||||||
|
|
||||||
|
printf "%s{host=\"%s\",pool=\"%s\",vdev=\"%s\"} %s\n",
|
||||||
|
metric,
|
||||||
|
esc(host),
|
||||||
|
esc(pool),
|
||||||
|
esc(vdev),
|
||||||
|
value
|
||||||
|
}
|
||||||
|
|
||||||
|
BEGIN {
|
||||||
|
split(pools, pool_names, ",")
|
||||||
|
for (idx in pool_names) {
|
||||||
|
if (pool_names[idx] != "") {
|
||||||
|
known_pools[pool_names[idx]] = 1
|
||||||
|
}
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
NF == 0 {
|
||||||
|
next
|
||||||
|
}
|
||||||
|
|
||||||
|
{
|
||||||
|
row_name = $1
|
||||||
|
|
||||||
|
if (row_name in known_pools) {
|
||||||
|
current_pool = row_name
|
||||||
|
current_vdev = "_pool"
|
||||||
|
} else if (current_pool == "") {
|
||||||
|
next
|
||||||
|
} else {
|
||||||
|
current_vdev = row_name
|
||||||
|
}
|
||||||
|
|
||||||
|
emit("zpool_iostat_total_wait_read_ns", current_pool, current_vdev, $8)
|
||||||
|
emit("zpool_iostat_total_wait_write_ns", current_pool, current_vdev, $9)
|
||||||
|
emit("zpool_iostat_disk_wait_read_ns", current_pool, current_vdev, $10)
|
||||||
|
emit("zpool_iostat_disk_wait_write_ns", current_pool, current_vdev, $11)
|
||||||
|
emit("zpool_iostat_syncq_wait_read_ns", current_pool, current_vdev, $12)
|
||||||
|
emit("zpool_iostat_syncq_wait_write_ns", current_pool, current_vdev, $13)
|
||||||
|
emit("zpool_iostat_asyncq_wait_read_ns", current_pool, current_vdev, $14)
|
||||||
|
emit("zpool_iostat_asyncq_wait_write_ns", current_pool, current_vdev, $15)
|
||||||
|
}
|
||||||
|
' >>"$tmp_file"
|
||||||
|
|
||||||
|
mv "$tmp_file" "$out_dir/zpool.prom"
|
||||||
|
trap - EXIT
|
||||||
|
'';
|
||||||
|
in
|
||||||
|
{
|
||||||
|
networking.firewall.interfaces.${monitoringInterface}.allowedTCPPorts = [
|
||||||
|
9100
|
||||||
|
9134
|
||||||
|
9256
|
||||||
|
9257
|
||||||
|
9633
|
||||||
|
];
|
||||||
|
|
||||||
|
services.prometheus.exporters = {
|
||||||
|
node = {
|
||||||
|
enable = true;
|
||||||
|
enabledCollectors = [
|
||||||
|
"pressure"
|
||||||
|
"processes"
|
||||||
|
"systemd"
|
||||||
|
];
|
||||||
|
extraFlags = [ "--collector.textfile.directory=${nodeTextfileDir}" ];
|
||||||
|
};
|
||||||
|
|
||||||
|
process = {
|
||||||
|
enable = true;
|
||||||
|
user = "root";
|
||||||
|
group = "root";
|
||||||
|
settings.process_names = mkProcessMatchers false;
|
||||||
|
extraFlags = [
|
||||||
|
"-gather-smaps=false"
|
||||||
|
"-remove-empty-groups=true"
|
||||||
|
"-threads=false"
|
||||||
|
];
|
||||||
|
};
|
||||||
|
|
||||||
|
smartctl.enable = true;
|
||||||
|
zfs.enable = true;
|
||||||
|
};
|
||||||
|
|
||||||
|
programs.atop = {
|
||||||
|
enable = true;
|
||||||
|
atopService.enable = true;
|
||||||
|
atopRotateTimer.enable = true;
|
||||||
|
atopacctService.enable = true;
|
||||||
|
settings.interval = 30;
|
||||||
|
};
|
||||||
|
|
||||||
|
systemd = {
|
||||||
|
services = {
|
||||||
|
prometheus-process-pid-exporter = {
|
||||||
|
description = "Prometheus process exporter with per-PID naming";
|
||||||
|
wantedBy = [ "multi-user.target" ];
|
||||||
|
after = [ "network.target" ];
|
||||||
|
serviceConfig = {
|
||||||
|
ExecStart = ''
|
||||||
|
${pkgs.prometheus-process-exporter}/bin/process-exporter \
|
||||||
|
--web.listen-address 0.0.0.0:9257 \
|
||||||
|
--config.path ${perPidConfig} \
|
||||||
|
-children=false \
|
||||||
|
-gather-smaps=false \
|
||||||
|
-remove-empty-groups=true \
|
||||||
|
-threads=false
|
||||||
|
'';
|
||||||
|
User = "root";
|
||||||
|
Group = "root";
|
||||||
|
Restart = "always";
|
||||||
|
WorkingDirectory = "/tmp";
|
||||||
|
CapabilityBoundingSet = [ "" ];
|
||||||
|
DeviceAllow = [ "" ];
|
||||||
|
LockPersonality = true;
|
||||||
|
MemoryDenyWriteExecute = true;
|
||||||
|
NoNewPrivileges = true;
|
||||||
|
PrivateDevices = true;
|
||||||
|
PrivateTmp = true;
|
||||||
|
ProtectClock = true;
|
||||||
|
ProtectControlGroups = true;
|
||||||
|
ProtectHome = true;
|
||||||
|
ProtectHostname = true;
|
||||||
|
ProtectKernelLogs = true;
|
||||||
|
ProtectKernelModules = true;
|
||||||
|
ProtectKernelTunables = true;
|
||||||
|
ProtectSystem = "strict";
|
||||||
|
RemoveIPC = true;
|
||||||
|
RestrictAddressFamilies = [
|
||||||
|
"AF_INET"
|
||||||
|
"AF_INET6"
|
||||||
|
];
|
||||||
|
RestrictNamespaces = true;
|
||||||
|
RestrictRealtime = true;
|
||||||
|
RestrictSUIDSGID = true;
|
||||||
|
SystemCallArchitectures = "native";
|
||||||
|
UMask = "0077";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
zpool-latency-exporter = {
|
||||||
|
description = "Exports ZFS latency metrics for node_exporter textfile collection";
|
||||||
|
after = [ "zfs-import.target" ];
|
||||||
|
requires = [ "zfs-import.target" ];
|
||||||
|
path = [
|
||||||
|
config.boot.zfs.package
|
||||||
|
pkgs.coreutils
|
||||||
|
pkgs.gawk
|
||||||
|
];
|
||||||
|
serviceConfig = {
|
||||||
|
Type = "oneshot";
|
||||||
|
ExecStart = zpoolLatencyScript;
|
||||||
|
};
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
timers.zpool-latency-exporter = {
|
||||||
|
wantedBy = [ "timers.target" ];
|
||||||
|
timerConfig = {
|
||||||
|
OnBootSec = "2m";
|
||||||
|
OnUnitActiveSec = "60s";
|
||||||
|
Unit = "zpool-latency-exporter.service";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
tmpfiles.rules = [ "d ${nodeTextfileDir} 0755 root root - -" ];
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -12,7 +12,7 @@
|
|||||||
brain.id = "SSCGIPI-IV3VYKB-TRNIJE3-COV4T2H-CDBER7F-I2CGHYA-NWOEUDU-3T5QAAN"; # cspell:disable-line
|
brain.id = "SSCGIPI-IV3VYKB-TRNIJE3-COV4T2H-CDBER7F-I2CGHYA-NWOEUDU-3T5QAAN"; # cspell:disable-line
|
||||||
ipad.id = "KI76T3X-SFUGV2L-VSNYTKR-TSIUV5L-SHWD3HE-GQRGRCN-GY4UFMD-CW6Z6AX"; # cspell:disable-line
|
ipad.id = "KI76T3X-SFUGV2L-VSNYTKR-TSIUV5L-SHWD3HE-GQRGRCN-GY4UFMD-CW6Z6AX"; # cspell:disable-line
|
||||||
jeeves.id = "ICRHXZW-ECYJCUZ-I4CZ64R-3XRK7CG-LL2HAAK-FGOHD22-BQA4AI6-5OAL6AG"; # cspell:disable-line
|
jeeves.id = "ICRHXZW-ECYJCUZ-I4CZ64R-3XRK7CG-LL2HAAK-FGOHD22-BQA4AI6-5OAL6AG"; # cspell:disable-line
|
||||||
phone.id = "TBRULKD-7DZPGGZ-F6LLB7J-MSO54AY-7KLPBIN-QOFK6PX-W2HBEWI-PHM2CQI"; # cspell:disable-line
|
phone.id = "JPVQKQW-CFXOJXT-Q5G5F3H-QIDHDRE-GKHPTQB-GXZUQSP-U7FR7F7-INP3AAH"; # cspell:disable-line
|
||||||
rhapsody-in-green.id = "ASL3KC4-3XEN6PA-7BQBRKE-A7JXLI6-DJT43BY-Q4WPOER-7UALUAZ-VTPQ6Q4"; # cspell:disable-line
|
rhapsody-in-green.id = "ASL3KC4-3XEN6PA-7BQBRKE-A7JXLI6-DJT43BY-Q4WPOER-7UALUAZ-VTPQ6Q4"; # cspell:disable-line
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|||||||
@@ -4,7 +4,7 @@
|
|||||||
flags = [ "--accept-flake-config" ];
|
flags = [ "--accept-flake-config" ];
|
||||||
randomizedDelaySec = "1h";
|
randomizedDelaySec = "1h";
|
||||||
persistent = true;
|
persistent = true;
|
||||||
flake = "github:RichieCahill/dotfiles";
|
flake = "git+https://gitea.tmmworkshop.com/richie/dotfiles?ref=main";
|
||||||
allowReboot = true;
|
allowReboot = true;
|
||||||
dates = "Sat *-*-* 06:00:00";
|
dates = "Sat *-*-* 06:00:00";
|
||||||
};
|
};
|
||||||
|
|||||||
@@ -0,0 +1,76 @@
|
|||||||
|
# ZFS failed root import recovery
|
||||||
|
|
||||||
|
## Fast path
|
||||||
|
|
||||||
|
If the machine fails to boot because ZFS refuses to import `root_pool`:
|
||||||
|
|
||||||
|
### GRUB
|
||||||
|
|
||||||
|
1. At the bootloader menu, select the normal NixOS entry.
|
||||||
|
2. Press `e`.
|
||||||
|
3. Find the line that starts with `linux`.
|
||||||
|
4. Append this to the end of that line:
|
||||||
|
|
||||||
|
```text
|
||||||
|
zfs_force=1
|
||||||
|
```
|
||||||
|
|
||||||
|
5. Boot once with `Ctrl+x` or `F10`.
|
||||||
|
|
||||||
|
### systemd-boot
|
||||||
|
|
||||||
|
1. At the bootloader menu, highlight the normal NixOS entry.
|
||||||
|
2. Press `e`.
|
||||||
|
3. Append this to the end of the options line:
|
||||||
|
|
||||||
|
```text
|
||||||
|
zfs_force=1
|
||||||
|
```
|
||||||
|
|
||||||
|
4. Press `Enter` to boot once.
|
||||||
|
|
||||||
|
## After boot
|
||||||
|
|
||||||
|
Run:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
sudo zpool status
|
||||||
|
sudo zpool import
|
||||||
|
journalctl -b | rg "ZFS|zfs|import|root_pool"
|
||||||
|
```
|
||||||
|
|
||||||
|
## Expected result
|
||||||
|
|
||||||
|
`sudo zpool status` should show `root_pool` as `ONLINE`.
|
||||||
|
|
||||||
|
## Reboot test
|
||||||
|
|
||||||
|
Run:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
sudo reboot
|
||||||
|
```
|
||||||
|
|
||||||
|
Do not add `zfs_force=1` the second time.
|
||||||
|
|
||||||
|
## If it still fails
|
||||||
|
|
||||||
|
Boot once more with:
|
||||||
|
|
||||||
|
```text
|
||||||
|
zfs_force=1
|
||||||
|
```
|
||||||
|
|
||||||
|
Then run:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
sudo zpool status -v
|
||||||
|
sudo zpool history | tail -n 50
|
||||||
|
journalctl -b | rg "ZFS|zfs|import|root_pool"
|
||||||
|
```
|
||||||
|
|
||||||
|
## Notes
|
||||||
|
|
||||||
|
- Root pool name is `root_pool`.
|
||||||
|
- This is a one-time recovery path after disk moves, controller changes, dirty exports, or interrupted imports.
|
||||||
|
- Some hosts also need the LUKS unlock USB key inserted before boot.
|
||||||
Generated
+42
-26
@@ -8,11 +8,11 @@
|
|||||||
},
|
},
|
||||||
"locked": {
|
"locked": {
|
||||||
"dir": "pkgs/firefox-addons",
|
"dir": "pkgs/firefox-addons",
|
||||||
"lastModified": 1773979456,
|
"lastModified": 1780733803,
|
||||||
"narHash": "sha256-9kBMJ5IvxqNlkkj/swmE8uK1Sc7TL/LIRUI958m7uBM=",
|
"narHash": "sha256-QBJPq12P1DAXFGezoEJaSO/xPUrPlnaI3ddSaMG2JpM=",
|
||||||
"owner": "rycee",
|
"owner": "rycee",
|
||||||
"repo": "nur-expressions",
|
"repo": "nur-expressions",
|
||||||
"rev": "81e28f47ac18d9e89513929c77e711e657b64851",
|
"rev": "c80b0aa94392c5f3612ac797108f6d952752036d",
|
||||||
"type": "gitlab"
|
"type": "gitlab"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
@@ -29,11 +29,11 @@
|
|||||||
]
|
]
|
||||||
},
|
},
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1774007980,
|
"lastModified": 1780679734,
|
||||||
"narHash": "sha256-FOnZjElEI8pqqCvB6K/1JRHTE8o4rer8driivTpq2uo=",
|
"narHash": "sha256-KmRNvpNOb7QEORa06bVgjW9kITcx0VhsI7w0vhmZyD8=",
|
||||||
"owner": "nix-community",
|
"owner": "nix-community",
|
||||||
"repo": "home-manager",
|
"repo": "home-manager",
|
||||||
"rev": "9670de2921812bc4e0452f6e3efd8c859696c183",
|
"rev": "b2b7db486e06e098711dc291bb25db82850e1d16",
|
||||||
"type": "github"
|
"type": "github"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
@@ -43,12 +43,15 @@
|
|||||||
}
|
}
|
||||||
},
|
},
|
||||||
"nixos-hardware": {
|
"nixos-hardware": {
|
||||||
|
"inputs": {
|
||||||
|
"nixpkgs": "nixpkgs"
|
||||||
|
},
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1774018263,
|
"lastModified": 1780310866,
|
||||||
"narHash": "sha256-HHYEwK1A22aSaxv2ibhMMkKvrDGKGlA/qObG4smrSqc=",
|
"narHash": "sha256-fPBRVf6A5xlACYcOI59shGrjURuvwu0lRsDoSCEXt/I=",
|
||||||
"owner": "nixos",
|
"owner": "nixos",
|
||||||
"repo": "nixos-hardware",
|
"repo": "nixos-hardware",
|
||||||
"rev": "2d4b4717b2534fad5c715968c1cece04a172b365",
|
"rev": "4ed851c979641e28597a05086332d75cdc9e395f",
|
||||||
"type": "github"
|
"type": "github"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
@@ -60,27 +63,24 @@
|
|||||||
},
|
},
|
||||||
"nixpkgs": {
|
"nixpkgs": {
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1773821835,
|
"lastModified": 1767892417,
|
||||||
"narHash": "sha256-TJ3lSQtW0E2JrznGVm8hOQGVpXjJyXY2guAxku2O9A4=",
|
"narHash": "sha256-8bW3q88CEg2u4hSP66Vf4lpbLonHz7hqDNBMcCY7E9U=",
|
||||||
"owner": "nixos",
|
"rev": "3497aa5c9457a9d88d71fa93a4a8368816fbeeba",
|
||||||
"repo": "nixpkgs",
|
"type": "tarball",
|
||||||
"rev": "b40629efe5d6ec48dd1efba650c797ddbd39ace0",
|
"url": "https://releases.nixos.org/nixos/unstable/nixos-26.05pre924538.3497aa5c9457/nixexprs.tar.xz"
|
||||||
"type": "github"
|
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
"owner": "nixos",
|
"type": "tarball",
|
||||||
"ref": "nixos-unstable",
|
"url": "https://channels.nixos.org/nixos-unstable/nixexprs.tar.xz"
|
||||||
"repo": "nixpkgs",
|
|
||||||
"type": "github"
|
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
"nixpkgs-master": {
|
"nixpkgs-master": {
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1774051532,
|
"lastModified": 1780798858,
|
||||||
"narHash": "sha256-d3CGMweyYIcPuTj5BKq+1Lx4zwlgL31nVtN647tOZKo=",
|
"narHash": "sha256-4KLc5ZMjfMQosXA2JasUgZTk3i+c/i1zMH4custtmI0=",
|
||||||
"owner": "nixos",
|
"owner": "nixos",
|
||||||
"repo": "nixpkgs",
|
"repo": "nixpkgs",
|
||||||
"rev": "8620c0b5cc8fbe76502442181be1d0514bc3a1b7",
|
"rev": "92840095e65b9970125843175f4be974b71a92ad",
|
||||||
"type": "github"
|
"type": "github"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
@@ -106,12 +106,28 @@
|
|||||||
"type": "github"
|
"type": "github"
|
||||||
}
|
}
|
||||||
},
|
},
|
||||||
|
"nixpkgs_2": {
|
||||||
|
"locked": {
|
||||||
|
"lastModified": 1780243769,
|
||||||
|
"narHash": "sha256-x5UQuRsH3MqI0U9afaXSNqzTPSeZlRLvFAav2Ux1pNw=",
|
||||||
|
"owner": "nixos",
|
||||||
|
"repo": "nixpkgs",
|
||||||
|
"rev": "331800de5053fcebacf6813adb5db9c9dca22a0c",
|
||||||
|
"type": "github"
|
||||||
|
},
|
||||||
|
"original": {
|
||||||
|
"owner": "nixos",
|
||||||
|
"ref": "nixos-unstable",
|
||||||
|
"repo": "nixpkgs",
|
||||||
|
"type": "github"
|
||||||
|
}
|
||||||
|
},
|
||||||
"root": {
|
"root": {
|
||||||
"inputs": {
|
"inputs": {
|
||||||
"firefox-addons": "firefox-addons",
|
"firefox-addons": "firefox-addons",
|
||||||
"home-manager": "home-manager",
|
"home-manager": "home-manager",
|
||||||
"nixos-hardware": "nixos-hardware",
|
"nixos-hardware": "nixos-hardware",
|
||||||
"nixpkgs": "nixpkgs",
|
"nixpkgs": "nixpkgs_2",
|
||||||
"nixpkgs-master": "nixpkgs-master",
|
"nixpkgs-master": "nixpkgs-master",
|
||||||
"nixpkgs-stable": "nixpkgs-stable",
|
"nixpkgs-stable": "nixpkgs-stable",
|
||||||
"sops-nix": "sops-nix",
|
"sops-nix": "sops-nix",
|
||||||
@@ -125,11 +141,11 @@
|
|||||||
]
|
]
|
||||||
},
|
},
|
||||||
"locked": {
|
"locked": {
|
||||||
"lastModified": 1773889674,
|
"lastModified": 1780547341,
|
||||||
"narHash": "sha256-+ycaiVAk3MEshJTg35cBTUa0MizGiS+bgpYw/f8ohkg=",
|
"narHash": "sha256-Gq8KNx5A7hBB3uGJaj6eQfLDIz5YdLu92gqBcvHvoUo=",
|
||||||
"owner": "Mic92",
|
"owner": "Mic92",
|
||||||
"repo": "sops-nix",
|
"repo": "sops-nix",
|
||||||
"rev": "29b6519f3e0780452bca0ac0be4584f04ac16cc5",
|
"rev": "9ed65852b6257fbeae4355bc24ecfea307ca759a",
|
||||||
"type": "github"
|
"type": "github"
|
||||||
},
|
},
|
||||||
"original": {
|
"original": {
|
||||||
|
|||||||
@@ -41,6 +41,7 @@
|
|||||||
sqlalchemy
|
sqlalchemy
|
||||||
tenacity
|
tenacity
|
||||||
textual
|
textual
|
||||||
|
tiktoken
|
||||||
tinytuya
|
tinytuya
|
||||||
typer
|
typer
|
||||||
websockets
|
websockets
|
||||||
|
|||||||
+3
-3
@@ -26,6 +26,7 @@ dependencies = [
|
|||||||
[project.scripts]
|
[project.scripts]
|
||||||
database = "python.database_cli:app"
|
database = "python.database_cli:app"
|
||||||
van-inventory = "python.van_inventory.main:serve"
|
van-inventory = "python.van_inventory.main:serve"
|
||||||
|
whisper-transcribe = "python.tools.whisper.transcribe:main"
|
||||||
|
|
||||||
[dependency-groups]
|
[dependency-groups]
|
||||||
dev = [
|
dev = [
|
||||||
@@ -50,6 +51,7 @@ lint.ignore = [
|
|||||||
"COM812", # (TEMP) conflicts when used with the formatter
|
"COM812", # (TEMP) conflicts when used with the formatter
|
||||||
"ISC001", # (TEMP) conflicts when used with the formatter
|
"ISC001", # (TEMP) conflicts when used with the formatter
|
||||||
"S603", # (PERM) This is known to cause a false positive
|
"S603", # (PERM) This is known to cause a false positive
|
||||||
|
"S607", # (PERM) This is becoming a consistent annoyance
|
||||||
]
|
]
|
||||||
|
|
||||||
[tool.ruff.lint.per-file-ignores]
|
[tool.ruff.lint.per-file-ignores]
|
||||||
@@ -78,9 +80,7 @@ lint.ignore = [
|
|||||||
"python/congress_tracker/**" = [
|
"python/congress_tracker/**" = [
|
||||||
"TC003", # (perm) this creates issues because sqlalchemy uses these at runtime
|
"TC003", # (perm) this creates issues because sqlalchemy uses these at runtime
|
||||||
]
|
]
|
||||||
"python/eval_warnings/**" = [
|
|
||||||
"S607", # (perm) gh and git are expected on PATH in the runner environment
|
|
||||||
]
|
|
||||||
"python/alembic/**" = [
|
"python/alembic/**" = [
|
||||||
"INP001", # (perm) this creates LSP issues for alembic
|
"INP001", # (perm) this creates LSP issues for alembic
|
||||||
]
|
]
|
||||||
|
|||||||
+335
@@ -0,0 +1,335 @@
|
|||||||
|
"""Small Gitea API client for repository automation."""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
from dataclasses import dataclass
|
||||||
|
from typing import Self
|
||||||
|
|
||||||
|
import httpx
|
||||||
|
|
||||||
|
DEFAULT_PAGE_SIZE = 100
|
||||||
|
EXPECTED_CREATED = 201
|
||||||
|
EXPECTED_OK = 200
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True)
|
||||||
|
class CreatedIssue:
|
||||||
|
"""Issue data returned by Gitea."""
|
||||||
|
|
||||||
|
number: int | None
|
||||||
|
html_url: str | None
|
||||||
|
title: str
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True)
|
||||||
|
class PullRequest:
|
||||||
|
"""Pull request data returned by Gitea."""
|
||||||
|
|
||||||
|
number: int
|
||||||
|
title: str
|
||||||
|
html_url: str | None
|
||||||
|
labels: tuple[str, ...]
|
||||||
|
head_branch: str | None
|
||||||
|
base_branch: str | None
|
||||||
|
|
||||||
|
|
||||||
|
@dataclass(frozen=True)
|
||||||
|
class WorkflowJob:
|
||||||
|
"""Workflow job data returned by Gitea Actions."""
|
||||||
|
|
||||||
|
id: int
|
||||||
|
name: str
|
||||||
|
run_id: int | None
|
||||||
|
status: str | None
|
||||||
|
conclusion: str | None
|
||||||
|
|
||||||
|
|
||||||
|
class GiteaError(RuntimeError):
|
||||||
|
"""Raised when Gitea rejects an API request."""
|
||||||
|
|
||||||
|
|
||||||
|
def split_repo_name(repo: str) -> tuple[str, str]:
|
||||||
|
"""Split an owner/repo string into its parts."""
|
||||||
|
owner, separator, repo_name = repo.partition("/")
|
||||||
|
if not separator or not owner or not repo_name:
|
||||||
|
msg = f"Invalid repository name: {repo}"
|
||||||
|
raise ValueError(msg)
|
||||||
|
return owner, repo_name
|
||||||
|
|
||||||
|
|
||||||
|
class GiteaClient:
|
||||||
|
"""HTTP client for the subset of Gitea APIs used in this repository."""
|
||||||
|
|
||||||
|
def __init__(
|
||||||
|
self,
|
||||||
|
*,
|
||||||
|
base_url: str,
|
||||||
|
token: str,
|
||||||
|
timeout: int = 30,
|
||||||
|
transport: httpx.BaseTransport | None = None,
|
||||||
|
) -> None:
|
||||||
|
"""Initialize the Gitea client."""
|
||||||
|
self._client = httpx.Client(
|
||||||
|
base_url=base_url.rstrip("/"),
|
||||||
|
timeout=timeout,
|
||||||
|
headers={"Authorization": f"token {token}"},
|
||||||
|
transport=transport,
|
||||||
|
)
|
||||||
|
|
||||||
|
def create_issue(
|
||||||
|
self,
|
||||||
|
*,
|
||||||
|
owner: str,
|
||||||
|
repo: str,
|
||||||
|
title: str,
|
||||||
|
body: str,
|
||||||
|
labels: list[int] | None = None,
|
||||||
|
) -> CreatedIssue:
|
||||||
|
"""Create a Gitea issue."""
|
||||||
|
payload: dict[str, object] = {"title": title, "body": body, "labels": labels or []}
|
||||||
|
response = self._request(
|
||||||
|
"POST",
|
||||||
|
f"/api/v1/repos/{owner}/{repo}/issues",
|
||||||
|
expected_statuses={EXPECTED_CREATED},
|
||||||
|
json=payload,
|
||||||
|
)
|
||||||
|
data = response.json()
|
||||||
|
return CreatedIssue(
|
||||||
|
number=_optional_int(data.get("number")),
|
||||||
|
html_url=_optional_str(data.get("html_url")),
|
||||||
|
title=str(data.get("title", title)),
|
||||||
|
)
|
||||||
|
|
||||||
|
def resolve_label_ids(self, *, owner: str, repo: str, labels: list[str]) -> list[int]:
|
||||||
|
"""Resolve label names to Gitea label IDs."""
|
||||||
|
if not labels:
|
||||||
|
return []
|
||||||
|
|
||||||
|
available_labels: dict[str, int] = {}
|
||||||
|
page = 1
|
||||||
|
while True:
|
||||||
|
response = self._request(
|
||||||
|
"GET",
|
||||||
|
f"/api/v1/repos/{owner}/{repo}/labels",
|
||||||
|
params={"page": page, "limit": DEFAULT_PAGE_SIZE},
|
||||||
|
)
|
||||||
|
batch = response.json()
|
||||||
|
if not batch:
|
||||||
|
break
|
||||||
|
for label in batch:
|
||||||
|
label_name = str(label.get("name", ""))
|
||||||
|
label_id = _optional_int(label.get("id"))
|
||||||
|
if label_name and label_id is not None:
|
||||||
|
available_labels[label_name] = label_id
|
||||||
|
if len(batch) < DEFAULT_PAGE_SIZE:
|
||||||
|
break
|
||||||
|
page += 1
|
||||||
|
|
||||||
|
missing = [label for label in labels if label not in available_labels]
|
||||||
|
if missing:
|
||||||
|
missing_names = ", ".join(sorted(missing))
|
||||||
|
msg = f"Missing Gitea labels: {missing_names}"
|
||||||
|
raise GiteaError(msg)
|
||||||
|
|
||||||
|
return [available_labels[label] for label in labels]
|
||||||
|
|
||||||
|
def list_open_pull_requests(
|
||||||
|
self,
|
||||||
|
*,
|
||||||
|
owner: str,
|
||||||
|
repo: str,
|
||||||
|
labels: list[str] | None = None,
|
||||||
|
head: str | None = None,
|
||||||
|
) -> list[PullRequest]:
|
||||||
|
"""List open pull requests for a repository."""
|
||||||
|
expected_labels = set(labels or [])
|
||||||
|
pull_requests: list[PullRequest] = []
|
||||||
|
page = 1
|
||||||
|
while True:
|
||||||
|
response = self._request(
|
||||||
|
"GET",
|
||||||
|
f"/api/v1/repos/{owner}/{repo}/pulls",
|
||||||
|
params={"state": "open", "page": page, "limit": DEFAULT_PAGE_SIZE},
|
||||||
|
)
|
||||||
|
batch = response.json()
|
||||||
|
if not batch:
|
||||||
|
break
|
||||||
|
|
||||||
|
for item in batch:
|
||||||
|
pull_request = _pull_request_from_api(item)
|
||||||
|
if head and pull_request.head_branch != head:
|
||||||
|
continue
|
||||||
|
if expected_labels and not expected_labels.issubset(set(pull_request.labels)):
|
||||||
|
continue
|
||||||
|
pull_requests.append(pull_request)
|
||||||
|
|
||||||
|
if len(batch) < DEFAULT_PAGE_SIZE:
|
||||||
|
break
|
||||||
|
page += 1
|
||||||
|
|
||||||
|
return pull_requests
|
||||||
|
|
||||||
|
def create_pull_request(
|
||||||
|
self,
|
||||||
|
*,
|
||||||
|
owner: str,
|
||||||
|
repo: str,
|
||||||
|
title: str,
|
||||||
|
body: str,
|
||||||
|
head: str,
|
||||||
|
base: str,
|
||||||
|
labels: list[str] | None = None,
|
||||||
|
) -> PullRequest:
|
||||||
|
"""Create a pull request."""
|
||||||
|
payload: dict[str, object] = {
|
||||||
|
"title": title,
|
||||||
|
"body": body,
|
||||||
|
"head": head,
|
||||||
|
"base": base,
|
||||||
|
}
|
||||||
|
if labels:
|
||||||
|
payload["labels"] = self.resolve_label_ids(owner=owner, repo=repo, labels=labels)
|
||||||
|
|
||||||
|
response = self._request(
|
||||||
|
"POST",
|
||||||
|
f"/api/v1/repos/{owner}/{repo}/pulls",
|
||||||
|
expected_statuses={EXPECTED_CREATED},
|
||||||
|
json=payload,
|
||||||
|
)
|
||||||
|
return _pull_request_from_api(response.json())
|
||||||
|
|
||||||
|
def merge_pull_request(
|
||||||
|
self,
|
||||||
|
*,
|
||||||
|
owner: str,
|
||||||
|
repo: str,
|
||||||
|
number: int,
|
||||||
|
merge_method: str = "rebase",
|
||||||
|
head_commit_id: str | None = None,
|
||||||
|
delete_branch_after_merge: bool = False,
|
||||||
|
) -> None:
|
||||||
|
"""Merge a pull request."""
|
||||||
|
payload: dict[str, object] = {
|
||||||
|
"Do": merge_method,
|
||||||
|
"delete_branch_after_merge": delete_branch_after_merge,
|
||||||
|
}
|
||||||
|
if head_commit_id:
|
||||||
|
payload["head_commit_id"] = head_commit_id
|
||||||
|
|
||||||
|
self._request(
|
||||||
|
"POST",
|
||||||
|
f"/api/v1/repos/{owner}/{repo}/pulls/{number}/merge",
|
||||||
|
json=payload,
|
||||||
|
)
|
||||||
|
|
||||||
|
def list_run_jobs(self, *, owner: str, repo: str, run_id: str | int) -> list[WorkflowJob]:
|
||||||
|
"""List workflow jobs for a specific run."""
|
||||||
|
jobs: list[WorkflowJob] = []
|
||||||
|
page = 1
|
||||||
|
while True:
|
||||||
|
response = self._request(
|
||||||
|
"GET",
|
||||||
|
f"/api/v1/repos/{owner}/{repo}/actions/jobs",
|
||||||
|
params={"page": page, "limit": DEFAULT_PAGE_SIZE},
|
||||||
|
)
|
||||||
|
payload = response.json()
|
||||||
|
batch = payload.get("jobs", [])
|
||||||
|
if not batch:
|
||||||
|
break
|
||||||
|
|
||||||
|
for item in batch:
|
||||||
|
if str(item.get("run_id")) != str(run_id):
|
||||||
|
continue
|
||||||
|
jobs.append(_workflow_job_from_api(item))
|
||||||
|
|
||||||
|
if len(batch) < DEFAULT_PAGE_SIZE:
|
||||||
|
break
|
||||||
|
page += 1
|
||||||
|
|
||||||
|
return jobs
|
||||||
|
|
||||||
|
def download_job_logs(self, *, owner: str, repo: str, job_id: int) -> str:
|
||||||
|
"""Download logs for a workflow job."""
|
||||||
|
response = self._request(
|
||||||
|
"GET",
|
||||||
|
f"/api/v1/repos/{owner}/{repo}/actions/jobs/{job_id}/logs",
|
||||||
|
)
|
||||||
|
return response.text
|
||||||
|
|
||||||
|
def close(self) -> None:
|
||||||
|
"""Close the underlying HTTP client."""
|
||||||
|
self._client.close()
|
||||||
|
|
||||||
|
def __enter__(self) -> Self:
|
||||||
|
"""Enter the context manager."""
|
||||||
|
return self
|
||||||
|
|
||||||
|
def __exit__(self, *args: object) -> None:
|
||||||
|
"""Close the HTTP client."""
|
||||||
|
self.close()
|
||||||
|
|
||||||
|
def _request(
|
||||||
|
self,
|
||||||
|
method: str,
|
||||||
|
path: str,
|
||||||
|
*,
|
||||||
|
expected_statuses: set[int] | None = None,
|
||||||
|
**kwargs: object,
|
||||||
|
) -> httpx.Response:
|
||||||
|
"""Send an HTTP request and validate the response status."""
|
||||||
|
response = self._client.request(method, path, **kwargs)
|
||||||
|
statuses = expected_statuses or {EXPECTED_OK}
|
||||||
|
if response.status_code not in statuses:
|
||||||
|
msg = f"Gitea request failed ({response.status_code}): {response.text}"
|
||||||
|
raise GiteaError(msg)
|
||||||
|
return response
|
||||||
|
|
||||||
|
|
||||||
|
def _pull_request_from_api(data: dict[str, object]) -> PullRequest:
|
||||||
|
"""Convert Gitea API pull-request data into a dataclass."""
|
||||||
|
number = _optional_int(data.get("number")) or _optional_int(data.get("index"))
|
||||||
|
if number is None:
|
||||||
|
msg = "Gitea pull request payload is missing a number"
|
||||||
|
raise GiteaError(msg)
|
||||||
|
|
||||||
|
labels = tuple(str(label.get("name", "")) for label in data.get("labels", []))
|
||||||
|
head = data.get("head", {})
|
||||||
|
base = data.get("base", {})
|
||||||
|
return PullRequest(
|
||||||
|
number=number,
|
||||||
|
title=str(data.get("title", "")),
|
||||||
|
html_url=_optional_str(data.get("html_url")),
|
||||||
|
labels=tuple(label for label in labels if label),
|
||||||
|
head_branch=_optional_str(head.get("ref")) or _optional_str(data.get("head_branch")),
|
||||||
|
base_branch=_optional_str(base.get("ref")) or _optional_str(data.get("base_branch")),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _workflow_job_from_api(data: dict[str, object]) -> WorkflowJob:
|
||||||
|
"""Convert Gitea API workflow-job data into a dataclass."""
|
||||||
|
job_id = _optional_int(data.get("id"))
|
||||||
|
if job_id is None:
|
||||||
|
msg = "Gitea workflow job payload is missing an ID"
|
||||||
|
raise GiteaError(msg)
|
||||||
|
|
||||||
|
return WorkflowJob(
|
||||||
|
id=job_id,
|
||||||
|
name=str(data.get("name", "")),
|
||||||
|
run_id=_optional_int(data.get("run_id")),
|
||||||
|
status=_optional_str(data.get("status")),
|
||||||
|
conclusion=_optional_str(data.get("conclusion")),
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _optional_int(value: object) -> int | None:
|
||||||
|
"""Convert an API value to an integer when present."""
|
||||||
|
if value is None:
|
||||||
|
return None
|
||||||
|
return int(value)
|
||||||
|
|
||||||
|
|
||||||
|
def _optional_str(value: object) -> str | None:
|
||||||
|
"""Convert an API value to a string when present."""
|
||||||
|
if value is None:
|
||||||
|
return None
|
||||||
|
return str(value)
|
||||||
@@ -0,0 +1,138 @@
|
|||||||
|
"""Automation helpers for flake.lock pull requests on Gitea."""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import subprocess
|
||||||
|
from os import getenv
|
||||||
|
from typing import Annotated
|
||||||
|
|
||||||
|
import typer
|
||||||
|
|
||||||
|
from python.gitea import GiteaClient, PullRequest, split_repo_name
|
||||||
|
|
||||||
|
DEFAULT_BASE_BRANCH = "main"
|
||||||
|
DEFAULT_BRANCH = "automation/update-flake-lock"
|
||||||
|
DEFAULT_GITEA_URL = "https://gitea.tmmworkshop.com"
|
||||||
|
PR_LABELS = ["dependencies", "automated", "flake_lock_update"]
|
||||||
|
PR_TITLE = "Update flake.lock"
|
||||||
|
PR_BODY = "Automated flake.lock update."
|
||||||
|
|
||||||
|
app = typer.Typer(add_completion=False)
|
||||||
|
|
||||||
|
|
||||||
|
def run_cmd(cmd: list[str], *, check: bool = True) -> subprocess.CompletedProcess[str]:
|
||||||
|
"""Run a subprocess command."""
|
||||||
|
return subprocess.run(cmd, capture_output=True, text=True, check=check)
|
||||||
|
|
||||||
|
|
||||||
|
def ensure_flake_lock_pull_request(
|
||||||
|
client: GiteaClient,
|
||||||
|
*,
|
||||||
|
owner: str,
|
||||||
|
repo: str,
|
||||||
|
branch: str,
|
||||||
|
base: str,
|
||||||
|
) -> PullRequest:
|
||||||
|
"""Return an existing flake.lock PR for the branch or create one."""
|
||||||
|
pull_requests = client.list_open_pull_requests(owner=owner, repo=repo, head=branch)
|
||||||
|
if pull_requests:
|
||||||
|
return pull_requests[0]
|
||||||
|
|
||||||
|
return client.create_pull_request(
|
||||||
|
owner=owner,
|
||||||
|
repo=repo,
|
||||||
|
title=PR_TITLE,
|
||||||
|
body=PR_BODY,
|
||||||
|
head=branch,
|
||||||
|
base=base,
|
||||||
|
labels=PR_LABELS,
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def find_flake_lock_pull_request(client: GiteaClient, *, owner: str, repo: str) -> PullRequest | None:
|
||||||
|
"""Find the first open flake.lock pull request."""
|
||||||
|
pull_requests = client.list_open_pull_requests(owner=owner, repo=repo, labels=["flake_lock_update"])
|
||||||
|
if not pull_requests:
|
||||||
|
return None
|
||||||
|
return pull_requests[0]
|
||||||
|
|
||||||
|
|
||||||
|
def has_worktree_changes() -> bool:
|
||||||
|
"""Return whether `flake.lock` has worktree changes."""
|
||||||
|
result = run_cmd(["git", "diff", "--quiet", "--", "flake.lock"], check=False)
|
||||||
|
return result.returncode != 0
|
||||||
|
|
||||||
|
|
||||||
|
def commit_flake_lock_update(*, branch: str) -> None:
|
||||||
|
"""Commit the updated lock file to the automation branch."""
|
||||||
|
run_cmd(["git", "config", "user.name", "gitea-actions[bot]"])
|
||||||
|
run_cmd(["git", "config", "user.email", "gitea-actions@tmmworkshop.com"])
|
||||||
|
run_cmd(["git", "checkout", "-B", branch])
|
||||||
|
run_cmd(["git", "add", "flake.lock"])
|
||||||
|
run_cmd(["git", "commit", "-m", "chore: update flake.lock"])
|
||||||
|
|
||||||
|
|
||||||
|
def push_branch(*, branch: str) -> None:
|
||||||
|
"""Push the automation branch to origin."""
|
||||||
|
run_cmd(["git", "push", "origin", f"HEAD:{branch}", "--force"])
|
||||||
|
|
||||||
|
|
||||||
|
def _required_gitea_token() -> str:
|
||||||
|
"""Read the required Gitea token from the environment."""
|
||||||
|
token = getenv("GITEA_TOKEN")
|
||||||
|
if token:
|
||||||
|
return token
|
||||||
|
|
||||||
|
msg = "GITEA_TOKEN environment variable is required"
|
||||||
|
raise RuntimeError(msg)
|
||||||
|
|
||||||
|
|
||||||
|
@app.command()
|
||||||
|
def update(
|
||||||
|
repo: Annotated[str, typer.Option("--repo", help="Gitea repository in owner/repo form")],
|
||||||
|
base: Annotated[str, typer.Option("--base", help="Base branch")] = DEFAULT_BASE_BRANCH,
|
||||||
|
branch: Annotated[str, typer.Option("--branch", help="Automation branch")] = DEFAULT_BRANCH,
|
||||||
|
) -> None:
|
||||||
|
"""Commit flake.lock changes and ensure a pull request exists."""
|
||||||
|
if not has_worktree_changes():
|
||||||
|
typer.echo("No flake.lock changes detected")
|
||||||
|
return
|
||||||
|
|
||||||
|
commit_flake_lock_update(branch=branch)
|
||||||
|
push_branch(branch=branch)
|
||||||
|
|
||||||
|
owner, repo_name = split_repo_name(repo)
|
||||||
|
with GiteaClient(
|
||||||
|
base_url=getenv("GITEA_URL", DEFAULT_GITEA_URL),
|
||||||
|
token=_required_gitea_token(),
|
||||||
|
) as client:
|
||||||
|
pull_request = ensure_flake_lock_pull_request(
|
||||||
|
client,
|
||||||
|
owner=owner,
|
||||||
|
repo=repo_name,
|
||||||
|
branch=branch,
|
||||||
|
base=base,
|
||||||
|
)
|
||||||
|
typer.echo(pull_request.html_url or f"Pull request #{pull_request.number}")
|
||||||
|
|
||||||
|
|
||||||
|
@app.command()
|
||||||
|
def merge(
|
||||||
|
repo: Annotated[str, typer.Option("--repo", help="Gitea repository in owner/repo form")],
|
||||||
|
) -> None:
|
||||||
|
"""Merge the first open flake.lock pull request."""
|
||||||
|
owner, repo_name = split_repo_name(repo)
|
||||||
|
with GiteaClient(
|
||||||
|
base_url=getenv("GITEA_URL", DEFAULT_GITEA_URL),
|
||||||
|
token=_required_gitea_token(),
|
||||||
|
) as client:
|
||||||
|
pull_request = find_flake_lock_pull_request(client, owner=owner, repo=repo_name)
|
||||||
|
if not pull_request:
|
||||||
|
typer.echo("No open PR found with label flake_lock_update")
|
||||||
|
return
|
||||||
|
client.merge_pull_request(owner=owner, repo=repo_name, number=pull_request.number, merge_method="rebase")
|
||||||
|
typer.echo(f"Merged PR #{pull_request.number}")
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
app()
|
||||||
@@ -0,0 +1,17 @@
|
|||||||
|
FROM nvidia/cuda:12.4.1-cudnn-runtime-ubuntu22.04
|
||||||
|
|
||||||
|
ENV DEBIAN_FRONTEND=noninteractive \
|
||||||
|
PYTHONDONTWRITEBYTECODE=1 \
|
||||||
|
PYTHONUNBUFFERED=1
|
||||||
|
|
||||||
|
RUN apt-get update \
|
||||||
|
&& apt-get install -y --no-install-recommends python3 python3-pip ffmpeg \
|
||||||
|
&& rm -rf /var/lib/apt/lists/*
|
||||||
|
|
||||||
|
RUN pip3 install --no-cache-dir --upgrade pip \
|
||||||
|
&& pip3 install --no-cache-dir faster-whisper requests
|
||||||
|
|
||||||
|
WORKDIR /app
|
||||||
|
COPY python/tools/whisper/inference.py /app/inference.py
|
||||||
|
|
||||||
|
ENTRYPOINT ["python3", "/app/inference.py"]
|
||||||
@@ -0,0 +1,2 @@
|
|||||||
|
*
|
||||||
|
!python/tools/whisper/inference.py
|
||||||
@@ -0,0 +1 @@
|
|||||||
|
"""Whisper transcription tools (host orchestrator and container entrypoint)."""
|
||||||
@@ -0,0 +1,136 @@
|
|||||||
|
"""Container entrypoint that transcribes a directory of audio files with faster-whisper.
|
||||||
|
|
||||||
|
Run inside the whisper-transcribe docker image; segment timestamps are grouped
|
||||||
|
into one-minute buckets so the output reads as ``[HH:MM:00] text``.
|
||||||
|
"""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import argparse
|
||||||
|
import logging
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
from faster_whisper import WhisperModel
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
AUDIO_EXTENSIONS = {".mp3", ".wav", ".m4a", ".flac", ".ogg", ".opus", ".mp4", ".mkv", ".webm", ".aac"}
|
||||||
|
BUCKET_SECONDS = 60
|
||||||
|
BEAM_SIZE = 5
|
||||||
|
SECONDS_PER_HOUR = 3600
|
||||||
|
SECONDS_PER_MINUTE = 60
|
||||||
|
|
||||||
|
|
||||||
|
def format_timestamp(total_seconds: float) -> str:
|
||||||
|
"""Render a whole-minute timestamp as ``HH:MM:00``.
|
||||||
|
|
||||||
|
Args:
|
||||||
|
total_seconds: Offset in seconds from the start of the audio.
|
||||||
|
|
||||||
|
Returns:
|
||||||
|
A zero-padded ``HH:MM:00`` string.
|
||||||
|
"""
|
||||||
|
hours = int(total_seconds // SECONDS_PER_HOUR)
|
||||||
|
minutes = int((total_seconds % SECONDS_PER_HOUR) // SECONDS_PER_MINUTE)
|
||||||
|
return f"{hours:02d}:{minutes:02d}:00"
|
||||||
|
|
||||||
|
|
||||||
|
def transcribe_file(model: WhisperModel, audio_path: Path, output_path: Path) -> None:
|
||||||
|
"""Transcribe one audio file and write the bucketed transcript to disk.
|
||||||
|
|
||||||
|
Args:
|
||||||
|
model: Loaded faster-whisper model.
|
||||||
|
audio_path: Source audio file.
|
||||||
|
output_path: Destination ``.txt`` path.
|
||||||
|
"""
|
||||||
|
logger.info("Transcribing %s", audio_path)
|
||||||
|
segments, info = model.transcribe(
|
||||||
|
str(audio_path),
|
||||||
|
language="en",
|
||||||
|
beam_size=BEAM_SIZE,
|
||||||
|
vad_filter=True,
|
||||||
|
)
|
||||||
|
logger.info("Duration %.1fs", info.duration)
|
||||||
|
|
||||||
|
buckets: dict[int, list[str]] = {}
|
||||||
|
for segment in segments:
|
||||||
|
bucket = int(segment.start // BUCKET_SECONDS)
|
||||||
|
buckets.setdefault(bucket, []).append(segment.text.strip())
|
||||||
|
|
||||||
|
lines = [f"[{format_timestamp(bucket * BUCKET_SECONDS)}] {' '.join(buckets[bucket])}" for bucket in sorted(buckets)]
|
||||||
|
output_path.write_text("\n\n".join(lines) + "\n", encoding="utf-8")
|
||||||
|
logger.info("Wrote %s", output_path)
|
||||||
|
|
||||||
|
|
||||||
|
def find_audio_files(input_directory: Path) -> list[Path]:
|
||||||
|
"""Collect every audio file under ``input_directory``.
|
||||||
|
|
||||||
|
Args:
|
||||||
|
input_directory: Directory to walk recursively.
|
||||||
|
|
||||||
|
Returns:
|
||||||
|
Sorted list of audio file paths.
|
||||||
|
"""
|
||||||
|
return sorted(
|
||||||
|
path for path in input_directory.rglob("*") if path.is_file() and path.suffix.lower() in AUDIO_EXTENSIONS
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def configure_container_logger() -> None:
|
||||||
|
"""Configure logging for the container (stdout, INFO)."""
|
||||||
|
logging.basicConfig(
|
||||||
|
level=logging.INFO,
|
||||||
|
format="%(asctime)s %(levelname)s %(message)s",
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def parse_arguments() -> argparse.Namespace:
|
||||||
|
"""Parse CLI arguments for the container entrypoint.
|
||||||
|
|
||||||
|
Returns:
|
||||||
|
Parsed argparse namespace.
|
||||||
|
"""
|
||||||
|
parser = argparse.ArgumentParser(description=__doc__)
|
||||||
|
parser.add_argument("--input", type=Path, default=Path("/audio"))
|
||||||
|
parser.add_argument("--output", type=Path, default=Path("/output"))
|
||||||
|
parser.add_argument("--model", default="large-v3")
|
||||||
|
parser.add_argument(
|
||||||
|
"--download-only",
|
||||||
|
action="store_true",
|
||||||
|
help="Download the model into the cache volume and exit without transcribing.",
|
||||||
|
)
|
||||||
|
return parser.parse_args()
|
||||||
|
|
||||||
|
|
||||||
|
def main() -> None:
|
||||||
|
"""Load the model, then either exit (download-only) or transcribe the directory."""
|
||||||
|
configure_container_logger()
|
||||||
|
arguments = parse_arguments()
|
||||||
|
|
||||||
|
logger.info("Loading model %s on CUDA", arguments.model)
|
||||||
|
model = WhisperModel(arguments.model, device="cuda", compute_type="float16")
|
||||||
|
|
||||||
|
if arguments.download_only:
|
||||||
|
logger.info("Model ready; exiting (download-only mode)")
|
||||||
|
return
|
||||||
|
|
||||||
|
arguments.output.mkdir(parents=True, exist_ok=True)
|
||||||
|
|
||||||
|
audio_files = find_audio_files(arguments.input)
|
||||||
|
if not audio_files:
|
||||||
|
logger.warning("No audio files found in %s", arguments.input)
|
||||||
|
return
|
||||||
|
|
||||||
|
logger.info("Found %d audio file(s)", len(audio_files))
|
||||||
|
for audio_path in audio_files:
|
||||||
|
relative = audio_path.relative_to(arguments.input)
|
||||||
|
output_path = arguments.output / relative.with_suffix(".txt")
|
||||||
|
output_path.parent.mkdir(parents=True, exist_ok=True)
|
||||||
|
if output_path.exists():
|
||||||
|
logger.info("Skip %s (already transcribed)", relative)
|
||||||
|
continue
|
||||||
|
transcribe_file(model, audio_path, output_path)
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
main()
|
||||||
@@ -0,0 +1,167 @@
|
|||||||
|
"""Build and run the whisper transcription docker container on demand.
|
||||||
|
|
||||||
|
The container is started fresh for each invocation and removed on exit
|
||||||
|
(``docker run --rm``). The model is cached in a named docker volume so
|
||||||
|
only the first run pays the download cost.
|
||||||
|
"""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import logging
|
||||||
|
import subprocess
|
||||||
|
from pathlib import Path
|
||||||
|
from typing import Annotated
|
||||||
|
|
||||||
|
import typer
|
||||||
|
|
||||||
|
from python.common import configure_logger
|
||||||
|
|
||||||
|
logger = logging.getLogger(__name__)
|
||||||
|
|
||||||
|
|
||||||
|
class Config:
|
||||||
|
"""Paths and names for the whisper-transcribe Docker workflow."""
|
||||||
|
|
||||||
|
image_tag = "whisper-transcribe:latest"
|
||||||
|
model_volume = "whisper-models"
|
||||||
|
repo_root = Path(__file__).resolve().parents[3]
|
||||||
|
dockerfile = Path(__file__).resolve().parent / "Dockerfile"
|
||||||
|
huggingface_cache = "/root/.cache/huggingface"
|
||||||
|
|
||||||
|
|
||||||
|
def run_docker(arguments: list[str]) -> None:
|
||||||
|
"""Run a docker subcommand, streaming output and raising on failure.
|
||||||
|
|
||||||
|
Args:
|
||||||
|
arguments: Arguments to pass to the ``docker`` binary.
|
||||||
|
|
||||||
|
Raises:
|
||||||
|
subprocess.CalledProcessError: If docker exits non-zero.
|
||||||
|
"""
|
||||||
|
logger.info("docker %s", " ".join(arguments))
|
||||||
|
subprocess.run(["docker", *arguments], check=True)
|
||||||
|
|
||||||
|
|
||||||
|
def build_image() -> None:
|
||||||
|
"""Build the whisper-transcribe image using the repo root as build context."""
|
||||||
|
logger.info("Building image %s", Config.image_tag)
|
||||||
|
run_docker(
|
||||||
|
[
|
||||||
|
"build",
|
||||||
|
"--tag",
|
||||||
|
Config.image_tag,
|
||||||
|
"--file",
|
||||||
|
str(Config.dockerfile),
|
||||||
|
str(Config.repo_root),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def model_cache_present(model: str) -> bool:
|
||||||
|
"""Check whether the given model is already downloaded in the cache volume.
|
||||||
|
|
||||||
|
Args:
|
||||||
|
model: faster-whisper model name (e.g. ``large-v3``).
|
||||||
|
|
||||||
|
Returns:
|
||||||
|
True if the HuggingFace cache directory for the model exists in the volume.
|
||||||
|
"""
|
||||||
|
cache_directory = f"hub/models--Systran--faster-whisper-{model}"
|
||||||
|
completed = subprocess.run(
|
||||||
|
[
|
||||||
|
"docker",
|
||||||
|
"run",
|
||||||
|
"--rm",
|
||||||
|
"--volume",
|
||||||
|
f"{Config.model_volume}:/cache",
|
||||||
|
"alpine",
|
||||||
|
"test",
|
||||||
|
"-d",
|
||||||
|
f"/cache/{cache_directory}",
|
||||||
|
],
|
||||||
|
check=False,
|
||||||
|
)
|
||||||
|
return completed.returncode == 0
|
||||||
|
|
||||||
|
|
||||||
|
def download_model(model: str) -> None:
|
||||||
|
"""Download the model into the cache volume and exit.
|
||||||
|
|
||||||
|
Args:
|
||||||
|
model: faster-whisper model name.
|
||||||
|
"""
|
||||||
|
logger.info("Downloading model %s into volume %s", model, Config.model_volume)
|
||||||
|
run_docker(
|
||||||
|
[
|
||||||
|
"run",
|
||||||
|
"--rm",
|
||||||
|
"--device=nvidia.com/gpu=all",
|
||||||
|
"--ipc=host",
|
||||||
|
"--volume",
|
||||||
|
f"{Config.model_volume}:{Config.huggingface_cache}",
|
||||||
|
Config.image_tag,
|
||||||
|
"--model",
|
||||||
|
model,
|
||||||
|
"--download-only",
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def transcribe(input_directory: Path, output_directory: Path, model: str) -> None:
|
||||||
|
"""Run transcription on every audio file under ``input_directory``.
|
||||||
|
|
||||||
|
Args:
|
||||||
|
input_directory: Host path containing audio files (mounted read-only).
|
||||||
|
output_directory: Host path for ``.txt`` transcripts.
|
||||||
|
model: faster-whisper model name.
|
||||||
|
"""
|
||||||
|
logger.info("Transcribing %s -> %s (model=%s)", input_directory, output_directory, model)
|
||||||
|
run_docker(
|
||||||
|
[
|
||||||
|
"run",
|
||||||
|
"--rm",
|
||||||
|
"--device=nvidia.com/gpu=all",
|
||||||
|
"--ipc=host",
|
||||||
|
"--volume",
|
||||||
|
f"{input_directory}:/audio:ro",
|
||||||
|
"--volume",
|
||||||
|
f"{output_directory}:/output",
|
||||||
|
"--volume",
|
||||||
|
f"{Config.model_volume}:{Config.huggingface_cache}",
|
||||||
|
Config.image_tag,
|
||||||
|
"--model",
|
||||||
|
model,
|
||||||
|
],
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def main(
|
||||||
|
input_directory: Annotated[Path, typer.Argument(help="Directory of audio files to transcribe.")],
|
||||||
|
output_directory: Annotated[Path, typer.Argument(help="Directory to write .txt transcripts to.")],
|
||||||
|
model: Annotated[str, typer.Option(help="faster-whisper model name.")] = "large-v3",
|
||||||
|
*,
|
||||||
|
force_download: Annotated[
|
||||||
|
bool,
|
||||||
|
typer.Option("--force-download", help="Re-download the model even if already cached."),
|
||||||
|
] = False,
|
||||||
|
) -> None:
|
||||||
|
"""Build the image, ensure the model is cached, then transcribe and stop."""
|
||||||
|
configure_logger()
|
||||||
|
|
||||||
|
resolved_input = input_directory.resolve(strict=True)
|
||||||
|
output_directory.mkdir(parents=True, exist_ok=True)
|
||||||
|
resolved_output = output_directory.resolve()
|
||||||
|
|
||||||
|
build_image()
|
||||||
|
|
||||||
|
if force_download or not model_cache_present(model):
|
||||||
|
download_model(model)
|
||||||
|
else:
|
||||||
|
logger.info("Model %s already cached in volume %s", model, Config.model_volume)
|
||||||
|
|
||||||
|
transcribe(resolved_input, resolved_output, model)
|
||||||
|
logger.info("Done. Container stopped.")
|
||||||
|
|
||||||
|
|
||||||
|
if __name__ == "__main__":
|
||||||
|
typer.run(main)
|
||||||
@@ -1,24 +1,30 @@
|
|||||||
{ inputs, ... }:
|
{ inputs, pkgs, ... }:
|
||||||
{
|
{
|
||||||
imports = [
|
imports = [
|
||||||
|
"${inputs.self}/users/math"
|
||||||
"${inputs.self}/users/richie"
|
"${inputs.self}/users/richie"
|
||||||
|
"${inputs.self}/users/steve"
|
||||||
"${inputs.self}/common/global"
|
"${inputs.self}/common/global"
|
||||||
"${inputs.self}/common/optional/desktop.nix"
|
|
||||||
"${inputs.self}/common/optional/docker.nix"
|
"${inputs.self}/common/optional/docker.nix"
|
||||||
"${inputs.self}/common/optional/scanner.nix"
|
"${inputs.self}/common/optional/scanner.nix"
|
||||||
|
"${inputs.self}/common/optional/monitoring-agent.nix"
|
||||||
"${inputs.self}/common/optional/steam.nix"
|
"${inputs.self}/common/optional/steam.nix"
|
||||||
"${inputs.self}/common/optional/syncthing_base.nix"
|
"${inputs.self}/common/optional/syncthing_base.nix"
|
||||||
"${inputs.self}/common/optional/systemd-boot.nix"
|
"${inputs.self}/common/optional/systemd-boot.nix"
|
||||||
"${inputs.self}/common/optional/update.nix"
|
"${inputs.self}/common/optional/update.nix"
|
||||||
"${inputs.self}/common/optional/yubikey.nix"
|
"${inputs.self}/common/optional/yubikey.nix"
|
||||||
"${inputs.self}/common/optional/zerotier.nix"
|
"${inputs.self}/common/optional/zerotier.nix"
|
||||||
"${inputs.self}/common/optional/brain_substituter.nix"
|
|
||||||
"${inputs.self}/common/optional/nvidia.nix"
|
"${inputs.self}/common/optional/nvidia.nix"
|
||||||
./hardware.nix
|
./hardware.nix
|
||||||
./syncthing.nix
|
./syncthing.nix
|
||||||
./llms.nix
|
./llms.nix
|
||||||
];
|
];
|
||||||
|
|
||||||
|
boot = {
|
||||||
|
kernelPackages = pkgs.linuxPackages_6_18;
|
||||||
|
zfs.package = pkgs.zfs_2_4;
|
||||||
|
};
|
||||||
|
|
||||||
networking = {
|
networking = {
|
||||||
hostName = "bob";
|
hostName = "bob";
|
||||||
hostId = "7c678a41";
|
hostId = "7c678a41";
|
||||||
|
|||||||
@@ -28,7 +28,6 @@
|
|||||||
allowDiscards = true;
|
allowDiscards = true;
|
||||||
keyFileSize = 4096;
|
keyFileSize = 4096;
|
||||||
keyFile = "/dev/disk/by-id/usb-Samsung_Flash_Drive_FIT_0374620080067131-0:0";
|
keyFile = "/dev/disk/by-id/usb-Samsung_Flash_Drive_FIT_0374620080067131-0:0";
|
||||||
fallbackToPassword = true;
|
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
kernelModules = [ "kvm-amd" ];
|
kernelModules = [ "kvm-amd" ];
|
||||||
|
|||||||
@@ -42,11 +42,14 @@
|
|||||||
"qwen3:8b"
|
"qwen3:8b"
|
||||||
"qwen3.5:27b"
|
"qwen3.5:27b"
|
||||||
"qwen3.5:35b"
|
"qwen3.5:35b"
|
||||||
|
"qwen3.6:27b"
|
||||||
|
"qwen3.6:35b"
|
||||||
|
"rinex20/translategemma3:12b"
|
||||||
"translategemma:12b"
|
"translategemma:12b"
|
||||||
"translategemma:27b"
|
"translategemma:27b"
|
||||||
"translategemma:4b"
|
"translategemma:4b"
|
||||||
];
|
];
|
||||||
models = "/zfs/models";
|
models = "/zfs/storage/models";
|
||||||
openFirewall = true;
|
openFirewall = true;
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -31,5 +31,15 @@
|
|||||||
];
|
];
|
||||||
fsWatcherEnabled = true;
|
fsWatcherEnabled = true;
|
||||||
};
|
};
|
||||||
|
"recordings" = {
|
||||||
|
path = "/home/richie/recordings";
|
||||||
|
devices = [
|
||||||
|
"jeeves"
|
||||||
|
"phone"
|
||||||
|
"rhapsody-in-green"
|
||||||
|
];
|
||||||
|
fsWatcherEnabled = true;
|
||||||
|
};
|
||||||
|
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -26,7 +26,6 @@
|
|||||||
allowDiscards = true;
|
allowDiscards = true;
|
||||||
keyFileSize = 4096;
|
keyFileSize = 4096;
|
||||||
keyFile = "/dev/disk/by-id/usb-USB_SanDisk_3.2Gen1_03021630090925173333-0:0";
|
keyFile = "/dev/disk/by-id/usb-USB_SanDisk_3.2Gen1_03021630090925173333-0:0";
|
||||||
fallbackToPassword = true;
|
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
kernelModules = [ "kvm-intel" ];
|
kernelModules = [ "kvm-intel" ];
|
||||||
|
|||||||
@@ -4,17 +4,21 @@ let
|
|||||||
in
|
in
|
||||||
{
|
{
|
||||||
imports = [
|
imports = [
|
||||||
"${inputs.self}/users/richie"
|
|
||||||
"${inputs.self}/users/math"
|
|
||||||
"${inputs.self}/users/dov"
|
"${inputs.self}/users/dov"
|
||||||
|
"${inputs.self}/users/math"
|
||||||
|
"${inputs.self}/users/richie"
|
||||||
|
"${inputs.self}/users/steve"
|
||||||
"${inputs.self}/common/global"
|
"${inputs.self}/common/global"
|
||||||
"${inputs.self}/common/optional/docker.nix"
|
"${inputs.self}/common/optional/docker.nix"
|
||||||
|
"${inputs.self}/common/optional/monitoring-agent.nix"
|
||||||
"${inputs.self}/common/optional/ssh_decrypt.nix"
|
"${inputs.self}/common/optional/ssh_decrypt.nix"
|
||||||
"${inputs.self}/common/optional/syncthing_base.nix"
|
"${inputs.self}/common/optional/syncthing_base.nix"
|
||||||
"${inputs.self}/common/optional/update.nix"
|
"${inputs.self}/common/optional/update.nix"
|
||||||
"${inputs.self}/common/optional/zerotier.nix"
|
"${inputs.self}/common/optional/zerotier.nix"
|
||||||
|
./monitoring
|
||||||
./docker
|
./docker
|
||||||
./services
|
./services
|
||||||
|
./web_services
|
||||||
./hardware.nix
|
./hardware.nix
|
||||||
./networking.nix
|
./networking.nix
|
||||||
./programs.nix
|
./programs.nix
|
||||||
@@ -35,5 +39,10 @@ in
|
|||||||
zerotierone.joinNetworks = [ "a09acf02330d37b9" ];
|
zerotierone.joinNetworks = [ "a09acf02330d37b9" ];
|
||||||
};
|
};
|
||||||
|
|
||||||
|
users.groups = {
|
||||||
|
nornsight = { };
|
||||||
|
nornsight-admin = { };
|
||||||
|
};
|
||||||
|
|
||||||
system.stateVersion = "24.05";
|
system.stateVersion = "24.05";
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -9,7 +9,6 @@ let
|
|||||||
inherit device;
|
inherit device;
|
||||||
keyFileSize = 4096;
|
keyFileSize = 4096;
|
||||||
keyFile = "/dev/disk/by-id/usb-XIAO_USB_Drive_24587CE29074-0:0";
|
keyFile = "/dev/disk/by-id/usb-XIAO_USB_Drive_24587CE29074-0:0";
|
||||||
fallbackToPassword = true;
|
|
||||||
};
|
};
|
||||||
makeLuksSSD =
|
makeLuksSSD =
|
||||||
device:
|
device:
|
||||||
|
|||||||
@@ -0,0 +1,426 @@
|
|||||||
|
{
|
||||||
|
"annotations": {
|
||||||
|
"list": [
|
||||||
|
{
|
||||||
|
"builtIn": 1,
|
||||||
|
"datasource": {
|
||||||
|
"type": "grafana",
|
||||||
|
"uid": "-- Grafana --"
|
||||||
|
},
|
||||||
|
"enable": true,
|
||||||
|
"hide": true,
|
||||||
|
"iconColor": "rgba(0, 211, 255, 1)",
|
||||||
|
"name": "Annotations & Alerts",
|
||||||
|
"type": "dashboard"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"editable": true,
|
||||||
|
"fiscalYearStartMonth": 0,
|
||||||
|
"graphTooltip": 0,
|
||||||
|
"links": [],
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percent"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 6,
|
||||||
|
"x": 0,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 1,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "100 * (1 - avg by (instance) (rate(node_cpu_seconds_total{mode=\"idle\"}[5m])))",
|
||||||
|
"legendFormat": "{{instance}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "CPU Used",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percent"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 6,
|
||||||
|
"x": 6,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 2,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "100 * (1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes))",
|
||||||
|
"legendFormat": "{{instance}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "RAM Used",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percent"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 6,
|
||||||
|
"x": 12,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 3,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "100 * (1 - (node_memory_SwapFree_bytes / node_memory_SwapTotal_bytes))",
|
||||||
|
"legendFormat": "{{instance}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Swap Used",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "short"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 6,
|
||||||
|
"x": 18,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 4,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "node_load1",
|
||||||
|
"legendFormat": "{{instance}} load1",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "node_load5",
|
||||||
|
"legendFormat": "{{instance}} load5",
|
||||||
|
"range": true,
|
||||||
|
"refId": "B"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "node_load15",
|
||||||
|
"legendFormat": "{{instance}} load15",
|
||||||
|
"range": true,
|
||||||
|
"refId": "C"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Load",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "Bps"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 9,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 8
|
||||||
|
},
|
||||||
|
"id": 5,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "sum by (instance) (rate(node_disk_read_bytes_total[5m]))",
|
||||||
|
"legendFormat": "{{instance}} read",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "sum by (instance) (rate(node_disk_written_bytes_total[5m]))",
|
||||||
|
"legendFormat": "{{instance}} write",
|
||||||
|
"range": true,
|
||||||
|
"refId": "B"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Disk Throughput",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percent"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 9,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 8
|
||||||
|
},
|
||||||
|
"id": 6,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "100 * (1 - (node_filesystem_avail_bytes{mountpoint=~\"(/|/home|/var|/zfs.*)\",fstype!=\"\"} / node_filesystem_size_bytes{mountpoint=~\"(/|/home|/var|/zfs.*)\",fstype!=\"\"}))",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{mountpoint}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Filesystem Usage",
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percentunit"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 17
|
||||||
|
},
|
||||||
|
"id": 7,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(10, rate(namedprocess_namegroup_cpu_seconds_total[5m]))",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Top Grouped CPU",
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "bytes"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 17
|
||||||
|
},
|
||||||
|
"id": 8,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(10, namedprocess_namegroup_memory_bytes{memtype=\"resident\"})",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Top Grouped Memory",
|
||||||
|
"type": "table"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"refresh": "30s",
|
||||||
|
"schemaVersion": 39,
|
||||||
|
"style": "dark",
|
||||||
|
"tags": [
|
||||||
|
"monitoring"
|
||||||
|
],
|
||||||
|
"templating": {
|
||||||
|
"list": []
|
||||||
|
},
|
||||||
|
"time": {
|
||||||
|
"from": "now-24h",
|
||||||
|
"to": "now"
|
||||||
|
},
|
||||||
|
"timepicker": {},
|
||||||
|
"timezone": "",
|
||||||
|
"title": "Overview",
|
||||||
|
"uid": "monitor-overview",
|
||||||
|
"version": 1,
|
||||||
|
"weekStart": ""
|
||||||
|
}
|
||||||
@@ -0,0 +1,216 @@
|
|||||||
|
{
|
||||||
|
"annotations": {
|
||||||
|
"list": [
|
||||||
|
{
|
||||||
|
"builtIn": 1,
|
||||||
|
"datasource": {
|
||||||
|
"type": "grafana",
|
||||||
|
"uid": "-- Grafana --"
|
||||||
|
},
|
||||||
|
"enable": true,
|
||||||
|
"hide": true,
|
||||||
|
"iconColor": "rgba(0, 211, 255, 1)",
|
||||||
|
"name": "Annotations & Alerts",
|
||||||
|
"type": "dashboard"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"editable": true,
|
||||||
|
"fiscalYearStartMonth": 0,
|
||||||
|
"graphTooltip": 0,
|
||||||
|
"links": [],
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percentunit"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 1,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(10, rate(namedprocess_namegroup_cpu_seconds_total[5m]))",
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Grouped CPU",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "bytes"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 2,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(10, namedprocess_namegroup_memory_bytes{memtype=\"resident\"})",
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Grouped Resident Memory",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "Bps"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 10
|
||||||
|
},
|
||||||
|
"id": 3,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(10, rate(namedprocess_namegroup_read_bytes_total[5m]))",
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Grouped Read I/O",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "Bps"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 10
|
||||||
|
},
|
||||||
|
"id": 4,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(10, rate(namedprocess_namegroup_write_bytes_total[5m]))",
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Grouped Write I/O",
|
||||||
|
"type": "timeseries"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"refresh": "30s",
|
||||||
|
"schemaVersion": 39,
|
||||||
|
"style": "dark",
|
||||||
|
"tags": [
|
||||||
|
"monitoring",
|
||||||
|
"process"
|
||||||
|
],
|
||||||
|
"templating": {
|
||||||
|
"list": []
|
||||||
|
},
|
||||||
|
"time": {
|
||||||
|
"from": "now-7d",
|
||||||
|
"to": "now"
|
||||||
|
},
|
||||||
|
"timepicker": {},
|
||||||
|
"timezone": "",
|
||||||
|
"title": "Process History Grouped",
|
||||||
|
"uid": "monitor-process-history",
|
||||||
|
"version": 1,
|
||||||
|
"weekStart": ""
|
||||||
|
}
|
||||||
@@ -0,0 +1,224 @@
|
|||||||
|
{
|
||||||
|
"annotations": {
|
||||||
|
"list": [
|
||||||
|
{
|
||||||
|
"builtIn": 1,
|
||||||
|
"datasource": {
|
||||||
|
"type": "grafana",
|
||||||
|
"uid": "-- Grafana --"
|
||||||
|
},
|
||||||
|
"enable": true,
|
||||||
|
"hide": true,
|
||||||
|
"iconColor": "rgba(0, 211, 255, 1)",
|
||||||
|
"name": "Annotations & Alerts",
|
||||||
|
"type": "dashboard"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"editable": true,
|
||||||
|
"fiscalYearStartMonth": 0,
|
||||||
|
"graphTooltip": 0,
|
||||||
|
"links": [],
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percentunit"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 1,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(20, rate(namedprocess_namegroup_cpu_seconds_total[2m]))",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Top PID CPU",
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "bytes"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 2,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(20, namedprocess_namegroup_memory_bytes{memtype=\"resident\"})",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Top PID RSS",
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "Bps"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 10
|
||||||
|
},
|
||||||
|
"id": 3,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(20, rate(namedprocess_namegroup_read_bytes_total[2m]))",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Top PID Read I/O",
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "Bps"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 10,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 10
|
||||||
|
},
|
||||||
|
"id": 4,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-pid-short"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(20, rate(namedprocess_namegroup_write_bytes_total[2m]))",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{groupname}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Top PID Write I/O",
|
||||||
|
"type": "table"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"refresh": "15s",
|
||||||
|
"schemaVersion": 39,
|
||||||
|
"style": "dark",
|
||||||
|
"tags": [
|
||||||
|
"monitoring",
|
||||||
|
"process"
|
||||||
|
],
|
||||||
|
"templating": {
|
||||||
|
"list": []
|
||||||
|
},
|
||||||
|
"time": {
|
||||||
|
"from": "now-10m",
|
||||||
|
"to": "now"
|
||||||
|
},
|
||||||
|
"timepicker": {},
|
||||||
|
"timezone": "",
|
||||||
|
"title": "Process Live PID",
|
||||||
|
"uid": "monitor-process-pid",
|
||||||
|
"version": 1,
|
||||||
|
"weekStart": ""
|
||||||
|
}
|
||||||
@@ -0,0 +1,351 @@
|
|||||||
|
{
|
||||||
|
"annotations": {
|
||||||
|
"list": [
|
||||||
|
{
|
||||||
|
"builtIn": 1,
|
||||||
|
"datasource": {
|
||||||
|
"type": "grafana",
|
||||||
|
"uid": "-- Grafana --"
|
||||||
|
},
|
||||||
|
"enable": true,
|
||||||
|
"hide": true,
|
||||||
|
"iconColor": "rgba(0, 211, 255, 1)",
|
||||||
|
"name": "Annotations & Alerts",
|
||||||
|
"type": "dashboard"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"editable": true,
|
||||||
|
"fiscalYearStartMonth": 0,
|
||||||
|
"graphTooltip": 0,
|
||||||
|
"links": [],
|
||||||
|
"panels": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "percent"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 8,
|
||||||
|
"x": 0,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 1,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "100 * (zfs_pool_allocated_bytes / zfs_pool_size_bytes)",
|
||||||
|
"legendFormat": "{{instance}} {{pool}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Pool Usage",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "bytes"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 8,
|
||||||
|
"x": 8,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 2,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "zfs_pool_free_bytes",
|
||||||
|
"legendFormat": "{{instance}} {{pool}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Pool Free Bytes",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "bytes"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 8,
|
||||||
|
"w": 8,
|
||||||
|
"x": 16,
|
||||||
|
"y": 0
|
||||||
|
},
|
||||||
|
"id": 3,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(20, zfs_dataset_used_bytes{type=\"filesystem\"})",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{name}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Top Filesystems by Used Bytes",
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "ns"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 9,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 8
|
||||||
|
},
|
||||||
|
"id": 4,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(20, zpool_iostat_total_wait_read_ns{vdev!=\"_pool\"})",
|
||||||
|
"legendFormat": "{{host}} {{pool}} {{vdev}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "ZFS Read Wait",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "ns"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 9,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 8
|
||||||
|
},
|
||||||
|
"id": 5,
|
||||||
|
"options": {
|
||||||
|
"legend": {
|
||||||
|
"displayMode": "list",
|
||||||
|
"placement": "bottom"
|
||||||
|
},
|
||||||
|
"tooltip": {
|
||||||
|
"mode": "multi"
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "topk(20, zpool_iostat_total_wait_write_ns{vdev!=\"_pool\"})",
|
||||||
|
"legendFormat": "{{host}} {{pool}} {{vdev}}",
|
||||||
|
"range": true,
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "ZFS Write Wait",
|
||||||
|
"type": "timeseries"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "celsius"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 9,
|
||||||
|
"w": 12,
|
||||||
|
"x": 0,
|
||||||
|
"y": 17
|
||||||
|
},
|
||||||
|
"id": 6,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": true,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "smartctl_device_temperature{temperature_type=\"current\"}",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{device}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "Disk Temperature",
|
||||||
|
"type": "table"
|
||||||
|
},
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"fieldConfig": {
|
||||||
|
"defaults": {
|
||||||
|
"unit": "short"
|
||||||
|
},
|
||||||
|
"overrides": []
|
||||||
|
},
|
||||||
|
"gridPos": {
|
||||||
|
"h": 9,
|
||||||
|
"w": 12,
|
||||||
|
"x": 12,
|
||||||
|
"y": 17
|
||||||
|
},
|
||||||
|
"id": 7,
|
||||||
|
"options": {
|
||||||
|
"cellHeight": "sm",
|
||||||
|
"showHeader": true,
|
||||||
|
"sortBy": [
|
||||||
|
{
|
||||||
|
"desc": false,
|
||||||
|
"displayName": "Value"
|
||||||
|
}
|
||||||
|
]
|
||||||
|
},
|
||||||
|
"targets": [
|
||||||
|
{
|
||||||
|
"datasource": {
|
||||||
|
"type": "prometheus",
|
||||||
|
"uid": "prom-main"
|
||||||
|
},
|
||||||
|
"editorMode": "code",
|
||||||
|
"expr": "smartctl_device_smart_status",
|
||||||
|
"format": "table",
|
||||||
|
"instant": true,
|
||||||
|
"legendFormat": "{{instance}} {{device}}",
|
||||||
|
"refId": "A"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"title": "SMART Health",
|
||||||
|
"type": "table"
|
||||||
|
}
|
||||||
|
],
|
||||||
|
"refresh": "30s",
|
||||||
|
"schemaVersion": 39,
|
||||||
|
"style": "dark",
|
||||||
|
"tags": [
|
||||||
|
"monitoring",
|
||||||
|
"zfs"
|
||||||
|
],
|
||||||
|
"templating": {
|
||||||
|
"list": []
|
||||||
|
},
|
||||||
|
"time": {
|
||||||
|
"from": "now-24h",
|
||||||
|
"to": "now"
|
||||||
|
},
|
||||||
|
"timepicker": {},
|
||||||
|
"timezone": "",
|
||||||
|
"title": "Storage and ZFS",
|
||||||
|
"uid": "monitor-storage",
|
||||||
|
"version": 1,
|
||||||
|
"weekStart": ""
|
||||||
|
}
|
||||||
@@ -0,0 +1,186 @@
|
|||||||
|
{
|
||||||
|
lib,
|
||||||
|
pkgs,
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
let
|
||||||
|
vars = import ../vars.nix;
|
||||||
|
|
||||||
|
prometheusDataRoot = "${vars.database}/prometheus";
|
||||||
|
mainPrometheusDataDir = "${prometheusDataRoot}/main";
|
||||||
|
pidPrometheusDataDir = "${prometheusDataRoot}/pid-short";
|
||||||
|
|
||||||
|
prometheusYaml = pkgs.formats.yaml { };
|
||||||
|
|
||||||
|
mkPrometheusConfig =
|
||||||
|
name: cfg:
|
||||||
|
let
|
||||||
|
configFile = prometheusYaml.generate "${name}.yaml" cfg;
|
||||||
|
in
|
||||||
|
pkgs.runCommand "${name}-checked.yaml"
|
||||||
|
{
|
||||||
|
nativeBuildInputs = [ pkgs.prometheus.cli ];
|
||||||
|
}
|
||||||
|
''
|
||||||
|
promtool check config ${configFile}
|
||||||
|
cp ${configFile} $out
|
||||||
|
'';
|
||||||
|
|
||||||
|
mkTarget = host: address: {
|
||||||
|
targets = [ address ];
|
||||||
|
labels.instance = host;
|
||||||
|
};
|
||||||
|
|
||||||
|
mainPrometheusConfig = mkPrometheusConfig "prometheus-main" {
|
||||||
|
global = {
|
||||||
|
scrape_interval = "30s";
|
||||||
|
scrape_timeout = "10s";
|
||||||
|
evaluation_interval = "30s";
|
||||||
|
};
|
||||||
|
scrape_configs = [
|
||||||
|
{
|
||||||
|
job_name = "node";
|
||||||
|
static_configs = [
|
||||||
|
(mkTarget "jeeves" "192.168.90.40:9100")
|
||||||
|
(mkTarget "bob" "192.168.90.25:9100")
|
||||||
|
];
|
||||||
|
}
|
||||||
|
{
|
||||||
|
job_name = "process_grouped";
|
||||||
|
static_configs = [
|
||||||
|
(mkTarget "jeeves" "192.168.90.40:9256")
|
||||||
|
(mkTarget "bob" "192.168.90.25:9256")
|
||||||
|
];
|
||||||
|
}
|
||||||
|
{
|
||||||
|
job_name = "smartctl";
|
||||||
|
static_configs = [
|
||||||
|
(mkTarget "jeeves" "192.168.90.40:9633")
|
||||||
|
(mkTarget "bob" "192.168.90.25:9633")
|
||||||
|
];
|
||||||
|
}
|
||||||
|
{
|
||||||
|
job_name = "zfs";
|
||||||
|
static_configs = [
|
||||||
|
(mkTarget "jeeves" "192.168.90.40:9134")
|
||||||
|
(mkTarget "bob" "192.168.90.25:9134")
|
||||||
|
];
|
||||||
|
}
|
||||||
|
];
|
||||||
|
};
|
||||||
|
|
||||||
|
pidPrometheusConfig = mkPrometheusConfig "prometheus-pid-short" {
|
||||||
|
global = {
|
||||||
|
scrape_interval = "15s";
|
||||||
|
scrape_timeout = "10s";
|
||||||
|
evaluation_interval = "15s";
|
||||||
|
};
|
||||||
|
scrape_configs = [
|
||||||
|
{
|
||||||
|
job_name = "process_pid";
|
||||||
|
static_configs = [
|
||||||
|
(mkTarget "jeeves" "192.168.90.40:9257")
|
||||||
|
(mkTarget "bob" "192.168.90.25:9257")
|
||||||
|
];
|
||||||
|
}
|
||||||
|
];
|
||||||
|
};
|
||||||
|
|
||||||
|
mkPrometheusService =
|
||||||
|
{
|
||||||
|
dataDir,
|
||||||
|
configFile,
|
||||||
|
port,
|
||||||
|
retention,
|
||||||
|
}:
|
||||||
|
{
|
||||||
|
after = [
|
||||||
|
"zfs-media-database-prometheus.mount"
|
||||||
|
"network.target"
|
||||||
|
];
|
||||||
|
requires = [ "zfs-media-database-prometheus.mount" ];
|
||||||
|
wantedBy = [ "multi-user.target" ];
|
||||||
|
unitConfig.RequiresMountsFor = [ dataDir ];
|
||||||
|
serviceConfig = {
|
||||||
|
ExecStart = "${lib.getExe pkgs.prometheus} ${
|
||||||
|
lib.escapeShellArgs [
|
||||||
|
"--config.file=${configFile}"
|
||||||
|
"--storage.tsdb.path=${dataDir}"
|
||||||
|
"--storage.tsdb.retention.time=${retention}"
|
||||||
|
"--web.listen-address=127.0.0.1:${toString port}"
|
||||||
|
]
|
||||||
|
}";
|
||||||
|
User = "prometheus";
|
||||||
|
Group = "prometheus";
|
||||||
|
Restart = "always";
|
||||||
|
RestartSec = "5s";
|
||||||
|
WorkingDirectory = dataDir;
|
||||||
|
ReadWritePaths = [ dataDir ];
|
||||||
|
CapabilityBoundingSet = [ "" ];
|
||||||
|
DeviceAllow = [ "/dev/null rw" ];
|
||||||
|
DevicePolicy = "strict";
|
||||||
|
LockPersonality = true;
|
||||||
|
MemoryDenyWriteExecute = true;
|
||||||
|
NoNewPrivileges = true;
|
||||||
|
PrivateDevices = true;
|
||||||
|
PrivateTmp = true;
|
||||||
|
ProtectClock = true;
|
||||||
|
ProtectControlGroups = true;
|
||||||
|
ProtectHome = true;
|
||||||
|
ProtectHostname = true;
|
||||||
|
ProtectKernelLogs = true;
|
||||||
|
ProtectKernelModules = true;
|
||||||
|
ProtectKernelTunables = true;
|
||||||
|
ProtectProc = "invisible";
|
||||||
|
ProtectSystem = "strict";
|
||||||
|
RemoveIPC = true;
|
||||||
|
RestrictAddressFamilies = [
|
||||||
|
"AF_INET"
|
||||||
|
"AF_INET6"
|
||||||
|
"AF_UNIX"
|
||||||
|
];
|
||||||
|
RestrictNamespaces = true;
|
||||||
|
RestrictRealtime = true;
|
||||||
|
RestrictSUIDSGID = true;
|
||||||
|
SystemCallArchitectures = "native";
|
||||||
|
SystemCallFilter = [
|
||||||
|
"@system-service"
|
||||||
|
"~@privileged"
|
||||||
|
];
|
||||||
|
};
|
||||||
|
};
|
||||||
|
in
|
||||||
|
{
|
||||||
|
users = {
|
||||||
|
groups.prometheus = { };
|
||||||
|
users.prometheus = {
|
||||||
|
isSystemUser = true;
|
||||||
|
group = "prometheus";
|
||||||
|
description = "Prometheus daemon user";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
systemd = {
|
||||||
|
services = {
|
||||||
|
prometheus-main = mkPrometheusService {
|
||||||
|
configFile = mainPrometheusConfig;
|
||||||
|
dataDir = mainPrometheusDataDir;
|
||||||
|
port = 9090;
|
||||||
|
retention = "90d";
|
||||||
|
};
|
||||||
|
|
||||||
|
prometheus-pid-short = mkPrometheusService {
|
||||||
|
configFile = pidPrometheusConfig;
|
||||||
|
dataDir = pidPrometheusDataDir;
|
||||||
|
port = 9092;
|
||||||
|
retention = "10m";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
tmpfiles.rules = [
|
||||||
|
"d ${prometheusDataRoot} 0755 root root - -"
|
||||||
|
"d ${mainPrometheusDataDir} 0750 prometheus prometheus - -"
|
||||||
|
"d ${pidPrometheusDataDir} 0750 prometheus prometheus - -"
|
||||||
|
];
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -1,4 +1,13 @@
|
|||||||
{
|
{
|
||||||
|
# Docker loads br_netfilter on jeeves. Disable bridge netfilter so
|
||||||
|
# br-nix-builder behaves like a pure L2 bridge and bridged traffic
|
||||||
|
# does not hit the host firewall/rpfilter path.
|
||||||
|
boot.kernel.sysctl = {
|
||||||
|
"net.bridge.bridge-nf-call-arptables" = 0;
|
||||||
|
"net.bridge.bridge-nf-call-ip6tables" = 0;
|
||||||
|
"net.bridge.bridge-nf-call-iptables" = 0;
|
||||||
|
};
|
||||||
|
|
||||||
networking = {
|
networking = {
|
||||||
hostName = "jeeves";
|
hostName = "jeeves";
|
||||||
hostId = "0e15ce35";
|
hostId = "0e15ce35";
|
||||||
@@ -34,11 +43,18 @@
|
|||||||
};
|
};
|
||||||
};
|
};
|
||||||
networks = {
|
networks = {
|
||||||
"10-1GB_Primary" = {
|
"10-Primary" = {
|
||||||
matchConfig.Name = "enp97s0f1";
|
matchConfig.Name = "enp97s0";
|
||||||
address = [ "192.168.99.14/24" ];
|
address = [ "192.168.99.14/24" ];
|
||||||
|
dns = [
|
||||||
|
"192.168.99.1"
|
||||||
|
"2600:4040:abfb:d700::1"
|
||||||
|
];
|
||||||
routes = [ { Gateway = "192.168.99.1"; } ];
|
routes = [ { Gateway = "192.168.99.1"; } ];
|
||||||
vlan = [ "internet-vlan" ];
|
vlan = [ "internet-vlan" ];
|
||||||
|
dhcpV4Config.UseDNS = false;
|
||||||
|
dhcpV6Config.UseDNS = false;
|
||||||
|
ipv6AcceptRAConfig.UseDNS = false;
|
||||||
linkConfig.RequiredForOnline = "routable";
|
linkConfig.RequiredForOnline = "routable";
|
||||||
};
|
};
|
||||||
"50-internet-vlan" = {
|
"50-internet-vlan" = {
|
||||||
@@ -49,23 +65,10 @@
|
|||||||
"60-br-nix-builder" = {
|
"60-br-nix-builder" = {
|
||||||
matchConfig.Name = "br-nix-builder";
|
matchConfig.Name = "br-nix-builder";
|
||||||
bridgeConfig = { };
|
bridgeConfig = { };
|
||||||
address = [ "192.168.3.10/24" ];
|
networkConfig = {
|
||||||
routingPolicyRules = [
|
IPv6AcceptRA = false;
|
||||||
{
|
LinkLocalAddressing = "no";
|
||||||
From = "192.168.3.0/24";
|
};
|
||||||
Table = 100;
|
|
||||||
Priority = 100;
|
|
||||||
}
|
|
||||||
];
|
|
||||||
routes = [
|
|
||||||
{
|
|
||||||
Gateway = "192.168.3.1";
|
|
||||||
Table = 100;
|
|
||||||
GatewayOnLink = false;
|
|
||||||
Metric = 2048;
|
|
||||||
PreferredSource = "192.168.3.10";
|
|
||||||
}
|
|
||||||
];
|
|
||||||
linkConfig.RequiredForOnline = "no";
|
linkConfig.RequiredForOnline = "no";
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|||||||
@@ -3,5 +3,6 @@
|
|||||||
environment.systemPackages = with pkgs; [
|
environment.systemPackages = with pkgs; [
|
||||||
filebot
|
filebot
|
||||||
docker-compose
|
docker-compose
|
||||||
|
ffmpeg
|
||||||
];
|
];
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,20 +1,7 @@
|
|||||||
{ pkgs, ... }:
|
{ ... }:
|
||||||
{
|
{
|
||||||
imports = [ ./nix_builder.nix ];
|
imports = [ ./nix_builder.nix ];
|
||||||
|
|
||||||
users = {
|
|
||||||
users.github-runners = {
|
|
||||||
shell = pkgs.bash;
|
|
||||||
isSystemUser = true;
|
|
||||||
group = "github-runners";
|
|
||||||
uid = 601;
|
|
||||||
openssh.authorizedKeys.keys = [
|
|
||||||
"ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIA/S8i+BNX/12JNKg+5EKGX7Aqimt5KM+ve3wt/SyWuO github-runners" # cspell:disable-line
|
|
||||||
];
|
|
||||||
};
|
|
||||||
groups.github-runners.gid = 601;
|
|
||||||
};
|
|
||||||
|
|
||||||
services.nix_builder.containers = {
|
services.nix_builder.containers = {
|
||||||
nix-builder-00.enable = true;
|
nix-builder-00.enable = true;
|
||||||
nix-builder-01.enable = true;
|
nix-builder-01.enable = true;
|
||||||
|
|||||||
@@ -2,6 +2,7 @@
|
|||||||
config,
|
config,
|
||||||
lib,
|
lib,
|
||||||
outputs,
|
outputs,
|
||||||
|
utils,
|
||||||
...
|
...
|
||||||
}:
|
}:
|
||||||
|
|
||||||
@@ -9,6 +10,8 @@ with lib;
|
|||||||
let
|
let
|
||||||
vars = import ../vars.nix;
|
vars = import ../vars.nix;
|
||||||
cfg = config.services.nix_builder;
|
cfg = config.services.nix_builder;
|
||||||
|
runnerUsername = "gitea-runner";
|
||||||
|
runnerUserid = 601;
|
||||||
in
|
in
|
||||||
{
|
{
|
||||||
options.services.nix_builder = {
|
options.services.nix_builder = {
|
||||||
@@ -23,37 +26,40 @@ in
|
|||||||
types.submodule (
|
types.submodule (
|
||||||
{ name, ... }:
|
{ name, ... }:
|
||||||
{
|
{
|
||||||
options.enable = mkEnableOption "GitHub runner container";
|
options.enable = mkEnableOption "Gitea runner container";
|
||||||
}
|
}
|
||||||
)
|
)
|
||||||
);
|
);
|
||||||
default = { };
|
default = { };
|
||||||
description = "GitHub runner container configurations";
|
description = "Gitea runner container configurations";
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|
||||||
config = {
|
config = {
|
||||||
|
users = {
|
||||||
|
users.${runnerUsername} = {
|
||||||
|
isSystemUser = true;
|
||||||
|
group = runnerUsername;
|
||||||
|
uid = runnerUserid;
|
||||||
|
};
|
||||||
|
groups.${runnerUsername}.gid = runnerUserid;
|
||||||
|
};
|
||||||
|
|
||||||
containers = mapAttrs (
|
containers = mapAttrs (
|
||||||
name: containerCfg:
|
name: containerCfg:
|
||||||
mkIf containerCfg.enable {
|
mkIf containerCfg.enable {
|
||||||
autoStart = true;
|
autoStart = true;
|
||||||
privateNetwork = true;
|
privateNetwork = true;
|
||||||
hostBridge = cfg.bridgeName;
|
hostBridge = cfg.bridgeName;
|
||||||
ephemeral = true;
|
|
||||||
bindMounts = {
|
bindMounts = {
|
||||||
storage = {
|
|
||||||
hostPath = "/zfs/media/github-runners/${name}";
|
|
||||||
mountPoint = "/zfs/media/github-runners/${name}";
|
|
||||||
isReadOnly = false;
|
|
||||||
};
|
|
||||||
host-nix = {
|
host-nix = {
|
||||||
mountPoint = "/host-nix/var/nix/daemon-socket";
|
mountPoint = "/host-nix/var/nix/daemon-socket";
|
||||||
hostPath = "/nix/var/nix/daemon-socket";
|
hostPath = "/nix/var/nix/daemon-socket";
|
||||||
isReadOnly = false;
|
isReadOnly = false;
|
||||||
};
|
};
|
||||||
pat = {
|
token = {
|
||||||
hostPath = "${vars.secrets}/services/github-runners/runner_pat";
|
hostPath = "${vars.secrets}/services/gitea-runners";
|
||||||
mountPoint = "${vars.secrets}/services/github-runners/runner_pat";
|
mountPoint = "/run/secrets/gitea-runners";
|
||||||
isReadOnly = true;
|
isReadOnly = true;
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
@@ -92,46 +98,69 @@ in
|
|||||||
"nix-command"
|
"nix-command"
|
||||||
];
|
];
|
||||||
sandbox = true;
|
sandbox = true;
|
||||||
allowed-users = [ "github-runners" ];
|
allowed-users = [ "gitea-runner" ];
|
||||||
trusted-users = [
|
trusted-users = [
|
||||||
"root"
|
"root"
|
||||||
"github-runners"
|
"gitea-runner"
|
||||||
];
|
];
|
||||||
};
|
};
|
||||||
nixpkgs = {
|
nixpkgs = {
|
||||||
overlays = builtins.attrValues outputs.overlays;
|
overlays = builtins.attrValues outputs.overlays;
|
||||||
config.allowUnfree = true;
|
config.allowUnfree = true;
|
||||||
};
|
};
|
||||||
services.github-runners.${name} = {
|
users = {
|
||||||
|
users.${runnerUsername} = {
|
||||||
|
isSystemUser = true;
|
||||||
|
group = runnerUsername;
|
||||||
|
uid = runnerUserid;
|
||||||
|
};
|
||||||
|
groups.${runnerUsername}.gid = runnerUserid;
|
||||||
|
};
|
||||||
|
services.gitea-actions-runner.instances.${name} = {
|
||||||
enable = true;
|
enable = true;
|
||||||
replace = true;
|
name = "jeeves-${name}";
|
||||||
workDir = "/zfs/media/github-runners/${name}";
|
url = "http://192.168.99.14:6443/";
|
||||||
url = "https://github.com/RichieCahill/dotfiles";
|
labels = [
|
||||||
extraLabels = [ "nixos" ];
|
"self-hosted:host"
|
||||||
tokenFile = "${vars.secrets}/services/github-runners/runner_pat";
|
"nixos:host"
|
||||||
user = "github-runners";
|
];
|
||||||
group = "github-runners";
|
tokenFile = "/run/secrets/gitea-runners/registration-token";
|
||||||
extraPackages = with pkgs; [
|
hostPackages = with pkgs; [
|
||||||
|
bash
|
||||||
|
coreutils
|
||||||
|
curl
|
||||||
|
gawk
|
||||||
gitMinimal
|
gitMinimal
|
||||||
gh
|
gnused
|
||||||
|
my_python
|
||||||
|
nix
|
||||||
nixfmt
|
nixfmt
|
||||||
nixos-rebuild
|
nixos-rebuild
|
||||||
|
nodejs
|
||||||
treefmt
|
treefmt
|
||||||
my_python
|
wget
|
||||||
];
|
];
|
||||||
};
|
};
|
||||||
users = {
|
systemd.services."gitea-runner-${utils.escapeSystemdPath name}" = {
|
||||||
users.github-runners = {
|
serviceConfig = {
|
||||||
shell = pkgs.bash;
|
DynamicUser = mkForce false;
|
||||||
isSystemUser = true;
|
User = mkForce runnerUsername;
|
||||||
group = "github-runners";
|
Group = mkForce runnerUsername;
|
||||||
uid = 601;
|
|
||||||
};
|
};
|
||||||
groups.github-runners.gid = 601;
|
|
||||||
};
|
};
|
||||||
system.stateVersion = "24.05";
|
system.stateVersion = "24.05";
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
) cfg.containers;
|
) cfg.containers;
|
||||||
|
|
||||||
|
systemd.services = builtins.listToAttrs (
|
||||||
|
map (name: {
|
||||||
|
name = "container@${name}";
|
||||||
|
value = {
|
||||||
|
requires = [ "gitea.service" ];
|
||||||
|
after = [ "gitea.service" ];
|
||||||
|
};
|
||||||
|
}) (builtins.attrNames (filterAttrs (_: c: c.enable) cfg.containers))
|
||||||
|
);
|
||||||
};
|
};
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -23,6 +23,7 @@ sudo zfs create media/secure/home_assistant -o compression=zstd-19
|
|||||||
sudo zfs create media/secure/notes -o copies=2
|
sudo zfs create media/secure/notes -o copies=2
|
||||||
sudo zfs create media/secure/postgres -o mountpoint=/zfs/media/database/postgres -o recordsize=16k -o primarycache=metadata
|
sudo zfs create media/secure/postgres -o mountpoint=/zfs/media/database/postgres -o recordsize=16k -o primarycache=metadata
|
||||||
sudo zfs create media/secure/postgres-wal -o mountpoint=/zfs/media/database/postgres-wal -o recordsize=32k -o primarycache=metadata -o special_small_blocks=32K -o compression=lz4 -o secondarycache=none -o logbias=latency
|
sudo zfs create media/secure/postgres-wal -o mountpoint=/zfs/media/database/postgres-wal -o recordsize=32k -o primarycache=metadata -o special_small_blocks=32K -o compression=lz4 -o secondarycache=none -o logbias=latency
|
||||||
|
sudo zfs create media/secure/prometheus -o mountpoint=/zfs/media/database/prometheus -o compression=lz4
|
||||||
sudo zfs create media/secure/services -o compression=zstd-9
|
sudo zfs create media/secure/services -o compression=zstd-9
|
||||||
sudo zfs create media/secure/share -o mountpoint=/zfs/media/share -o exec=off
|
sudo zfs create media/secure/share -o mountpoint=/zfs/media/share -o exec=off
|
||||||
|
|
||||||
@@ -41,3 +42,4 @@ sudo zfs create storage/secure/plex -o recordsize=1M -o compression=zstd-19
|
|||||||
sudo zfs create storage/secure/secrets -o compression=zstd-19 -o copies=3
|
sudo zfs create storage/secure/secrets -o compression=zstd-19 -o copies=3
|
||||||
sudo zfs create storage/secure/syncthing -o compression=zstd-19
|
sudo zfs create storage/secure/syncthing -o compression=zstd-19
|
||||||
sudo zfs create storage/secure/transmission -o recordsize=1M -o compression=zstd-9 -o exec=off -o sync=disabled
|
sudo zfs create storage/secure/transmission -o recordsize=1M -o compression=zstd-9 -o exec=off -o sync=disabled
|
||||||
|
sudo zfs create storage/secure/important -o compression=zstd-19 -o copies=2 -o mountpoint=/zfs/storage/important
|
||||||
|
|||||||
@@ -3,7 +3,10 @@ let
|
|||||||
vars = import ../vars.nix;
|
vars = import ../vars.nix;
|
||||||
in
|
in
|
||||||
{
|
{
|
||||||
services.audiobookshelf.enable = true;
|
services.audiobookshelf = {
|
||||||
|
enable = true;
|
||||||
|
port = 8000;
|
||||||
|
};
|
||||||
systemd.services.audiobookshelf.serviceConfig.WorkingDirectory =
|
systemd.services.audiobookshelf.serviceConfig.WorkingDirectory =
|
||||||
lib.mkForce "${vars.docker_configs}/audiobookshelf";
|
lib.mkForce "${vars.docker_configs}/audiobookshelf";
|
||||||
users.users.audiobookshelf.home = lib.mkForce "${vars.docker_configs}/audiobookshelf";
|
users.users.audiobookshelf.home = lib.mkForce "${vars.docker_configs}/audiobookshelf";
|
||||||
|
|||||||
@@ -0,0 +1,80 @@
|
|||||||
|
{
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
let
|
||||||
|
vars = import ../vars.nix;
|
||||||
|
in
|
||||||
|
{
|
||||||
|
systemd.tmpfiles.rules = [
|
||||||
|
"d ${vars.docker_configs}/camofox-browser 0750 root root - -"
|
||||||
|
];
|
||||||
|
|
||||||
|
containers.camofox-browser = {
|
||||||
|
autoStart = true;
|
||||||
|
privateNetwork = false;
|
||||||
|
bindMounts = {
|
||||||
|
camofox-browser = {
|
||||||
|
hostPath = "${vars.docker_configs}/camofox-browser";
|
||||||
|
mountPoint = "/var/lib/camofox-browser";
|
||||||
|
isReadOnly = false;
|
||||||
|
};
|
||||||
|
};
|
||||||
|
config =
|
||||||
|
{
|
||||||
|
pkgs,
|
||||||
|
lib,
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
{
|
||||||
|
networking.hostName = "camofox-browser";
|
||||||
|
|
||||||
|
environment.systemPackages = with pkgs; [
|
||||||
|
ffmpeg
|
||||||
|
git
|
||||||
|
nodejs
|
||||||
|
python3Packages.yt-dlp
|
||||||
|
];
|
||||||
|
|
||||||
|
systemd.services.camofox-browser = {
|
||||||
|
description = "Camofox browser server";
|
||||||
|
wantedBy = [ "multi-user.target" ];
|
||||||
|
after = [ "network.target" ];
|
||||||
|
environment = {
|
||||||
|
CAMOFOX_HOST = "127.0.0.1";
|
||||||
|
CAMOFOX_PORT = "9377";
|
||||||
|
HOME = "/var/lib/camofox-browser";
|
||||||
|
};
|
||||||
|
path = with pkgs; [
|
||||||
|
bash
|
||||||
|
coreutils
|
||||||
|
git
|
||||||
|
nodejs
|
||||||
|
];
|
||||||
|
serviceConfig = {
|
||||||
|
Restart = "always";
|
||||||
|
RestartSec = "5s";
|
||||||
|
WorkingDirectory = "/var/lib/camofox-browser";
|
||||||
|
};
|
||||||
|
script = ''
|
||||||
|
set -eu
|
||||||
|
|
||||||
|
app_dir=/var/lib/camofox-browser/app
|
||||||
|
|
||||||
|
if [ ! -d "$app_dir/.git" ]; then
|
||||||
|
git clone --depth 1 https://github.com/jo-inc/camofox-browser "$app_dir"
|
||||||
|
fi
|
||||||
|
|
||||||
|
cd "$app_dir"
|
||||||
|
|
||||||
|
if [ ! -d node_modules ]; then
|
||||||
|
npm install
|
||||||
|
fi
|
||||||
|
|
||||||
|
exec npm start
|
||||||
|
'';
|
||||||
|
};
|
||||||
|
|
||||||
|
system.stateVersion = lib.mkDefault "24.05";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -1,17 +0,0 @@
|
|||||||
{ pkgs, ... }:
|
|
||||||
let
|
|
||||||
vars = import ../vars.nix;
|
|
||||||
in
|
|
||||||
{
|
|
||||||
systemd.services.cloud_flare_tunnel = {
|
|
||||||
description = "cloud_flare_tunnel proxy's traffic through cloudflare";
|
|
||||||
after = [ "network.target" ];
|
|
||||||
wantedBy = [ "multi-user.target" ];
|
|
||||||
serviceConfig = {
|
|
||||||
Type = "simple";
|
|
||||||
EnvironmentFile = "${vars.secrets}/docker/cloud_flare_tunnel";
|
|
||||||
ExecStart = "${pkgs.cloudflared}/bin/cloudflared --no-autoupdate tunnel run";
|
|
||||||
Restart = "on-failure";
|
|
||||||
};
|
|
||||||
};
|
|
||||||
}
|
|
||||||
@@ -2,7 +2,10 @@ let
|
|||||||
vars = import ../vars.nix;
|
vars = import ../vars.nix;
|
||||||
in
|
in
|
||||||
{
|
{
|
||||||
networking.firewall.allowedTCPPorts = [ 6443 ];
|
networking.firewall.allowedTCPPorts = [
|
||||||
|
6443
|
||||||
|
2223
|
||||||
|
];
|
||||||
|
|
||||||
services.gitea = {
|
services.gitea = {
|
||||||
enable = true;
|
enable = true;
|
||||||
@@ -18,13 +21,17 @@ in
|
|||||||
createDatabase = false;
|
createDatabase = false;
|
||||||
};
|
};
|
||||||
settings = {
|
settings = {
|
||||||
|
actions = {
|
||||||
|
ENABLED = true;
|
||||||
|
DEFAULT_ACTIONS_URL = "github";
|
||||||
|
};
|
||||||
service.DISABLE_REGISTRATION = true;
|
service.DISABLE_REGISTRATION = true;
|
||||||
server = {
|
server = {
|
||||||
DOMAIN = "tmmworkshop.com";
|
DOMAIN = "tmmworkshop.com";
|
||||||
ROOT_URL = "https://gitea.tmmworkshop.com/";
|
ROOT_URL = "https://gitea.tmmworkshop.com/";
|
||||||
HTTP_PORT = 6443;
|
HTTP_PORT = 6443;
|
||||||
SSH_PORT = 2223;
|
SSH_PORT = 2223;
|
||||||
SSH_LISTEN_PORT = 2224;
|
SSH_LISTEN_PORT = 2223;
|
||||||
START_SSH_SERVER = true;
|
START_SSH_SERVER = true;
|
||||||
PUBLIC_URL_DETECTION = "auto";
|
PUBLIC_URL_DETECTION = "auto";
|
||||||
};
|
};
|
||||||
|
|||||||
@@ -0,0 +1,80 @@
|
|||||||
|
{
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
let
|
||||||
|
vars = import ../vars.nix;
|
||||||
|
grafanaDataDir = "${vars.services}/grafana";
|
||||||
|
in
|
||||||
|
{
|
||||||
|
networking.firewall.allowedTCPPorts = [ 3000 ];
|
||||||
|
|
||||||
|
services.grafana = {
|
||||||
|
enable = true;
|
||||||
|
dataDir = grafanaDataDir;
|
||||||
|
settings = {
|
||||||
|
database.type = "sqlite3";
|
||||||
|
security = {
|
||||||
|
admin_password = "$__file{${vars.secrets}/services/grafana/admin_password}";
|
||||||
|
admin_user = "admin";
|
||||||
|
secret_key = "$__file{${vars.secrets}/services/grafana/secret_key}";
|
||||||
|
};
|
||||||
|
server = {
|
||||||
|
http_addr = "192.168.90.40";
|
||||||
|
http_port = 3000;
|
||||||
|
root_url = "http://192.168.90.40:3000/";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
provision = {
|
||||||
|
enable = true;
|
||||||
|
dashboards.settings = {
|
||||||
|
apiVersion = 1;
|
||||||
|
providers = [
|
||||||
|
{
|
||||||
|
name = "monitoring";
|
||||||
|
folder = "Monitoring";
|
||||||
|
type = "file";
|
||||||
|
disableDeletion = false;
|
||||||
|
editable = false;
|
||||||
|
allowUiUpdates = false;
|
||||||
|
updateIntervalSeconds = 30;
|
||||||
|
options.path = ../monitoring/dashboards;
|
||||||
|
}
|
||||||
|
];
|
||||||
|
};
|
||||||
|
datasources.settings = {
|
||||||
|
apiVersion = 1;
|
||||||
|
prune = true;
|
||||||
|
datasources = [
|
||||||
|
{
|
||||||
|
access = "proxy";
|
||||||
|
editable = false;
|
||||||
|
isDefault = true;
|
||||||
|
name = "prom-main";
|
||||||
|
type = "prometheus";
|
||||||
|
uid = "prom-main";
|
||||||
|
url = "http://127.0.0.1:9090";
|
||||||
|
}
|
||||||
|
{
|
||||||
|
access = "proxy";
|
||||||
|
editable = false;
|
||||||
|
name = "prom-pid-short";
|
||||||
|
type = "prometheus";
|
||||||
|
uid = "prom-pid-short";
|
||||||
|
url = "http://127.0.0.1:9092";
|
||||||
|
}
|
||||||
|
];
|
||||||
|
};
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
systemd = {
|
||||||
|
services.grafana.after = [
|
||||||
|
"prometheus-main.service"
|
||||||
|
"prometheus-pid-short.service"
|
||||||
|
];
|
||||||
|
|
||||||
|
tmpfiles.rules = [
|
||||||
|
"d ${grafanaDataDir} 0750 grafana grafana - -"
|
||||||
|
];
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -1,24 +0,0 @@
|
|||||||
{
|
|
||||||
services.hedgedoc = {
|
|
||||||
enable = true;
|
|
||||||
settings = {
|
|
||||||
host = "0.0.0.0";
|
|
||||||
port = 3000;
|
|
||||||
domain = "192.168.90.40";
|
|
||||||
urlAddPort = true;
|
|
||||||
protocolUseSSL = false;
|
|
||||||
db = {
|
|
||||||
dialect = "postgres";
|
|
||||||
database = "hedgedoc";
|
|
||||||
username = "hedgedoc";
|
|
||||||
host = "/run/postgresql";
|
|
||||||
};
|
|
||||||
};
|
|
||||||
};
|
|
||||||
networking.firewall.allowedTCPPorts = [ 3000 ];
|
|
||||||
|
|
||||||
systemd.services.hedgedoc = {
|
|
||||||
after = [ "postgresql.service" ];
|
|
||||||
requires = [ "postgresql.service" ];
|
|
||||||
};
|
|
||||||
}
|
|
||||||
@@ -0,0 +1,107 @@
|
|||||||
|
{ pkgs, ... }:
|
||||||
|
let
|
||||||
|
vars = import ../vars.nix;
|
||||||
|
stateDir = "${vars.services}/nornsight";
|
||||||
|
appDir = "${stateDir}/app";
|
||||||
|
binPath = pkgs.lib.makeBinPath [
|
||||||
|
pkgs.binutils
|
||||||
|
pkgs.libpq
|
||||||
|
pkgs.postgresql
|
||||||
|
pkgs.stdenv.cc
|
||||||
|
];
|
||||||
|
libraryPath = pkgs.lib.makeLibraryPath [
|
||||||
|
pkgs.libpq
|
||||||
|
pkgs.postgresql.lib
|
||||||
|
];
|
||||||
|
in
|
||||||
|
{
|
||||||
|
systemd.tmpfiles.rules = [
|
||||||
|
"d ${stateDir} 0750 nornsight nornsight - -"
|
||||||
|
];
|
||||||
|
|
||||||
|
users.users.nornsight = {
|
||||||
|
isSystemUser = true;
|
||||||
|
group = "nornsight";
|
||||||
|
home = stateDir;
|
||||||
|
};
|
||||||
|
|
||||||
|
systemd.services.nornsight = {
|
||||||
|
description = "Norn Sight";
|
||||||
|
after = [ "network-online.target" ];
|
||||||
|
wants = [ "network-online.target" ];
|
||||||
|
wantedBy = [ "multi-user.target" ];
|
||||||
|
|
||||||
|
environment = {
|
||||||
|
HOME = stateDir;
|
||||||
|
UV_CACHE_DIR = "${stateDir}/.cache/uv";
|
||||||
|
UV_PROJECT_ENVIRONMENT = "${appDir}/.venv";
|
||||||
|
UV_PYTHON = "${pkgs.python313}/bin/python3.13";
|
||||||
|
UV_PYTHON_DOWNLOADS = "never";
|
||||||
|
LD_LIBRARY_PATH = libraryPath;
|
||||||
|
LIBRARY_PATH = libraryPath;
|
||||||
|
PSYCOPG_IMPL = "python";
|
||||||
|
};
|
||||||
|
|
||||||
|
path = with pkgs; [
|
||||||
|
bash
|
||||||
|
coreutils
|
||||||
|
git
|
||||||
|
uv
|
||||||
|
];
|
||||||
|
|
||||||
|
serviceConfig = {
|
||||||
|
Type = "simple";
|
||||||
|
User = "nornsight";
|
||||||
|
Group = "nornsight";
|
||||||
|
EnvironmentFile = "-${vars.secrets}/services/nornsight";
|
||||||
|
WorkingDirectory = stateDir;
|
||||||
|
Restart = "on-failure";
|
||||||
|
RestartSec = "5s";
|
||||||
|
StandardOutput = "journal";
|
||||||
|
StandardError = "journal";
|
||||||
|
NoNewPrivileges = true;
|
||||||
|
PrivateTmp = true;
|
||||||
|
ProtectHome = true;
|
||||||
|
ProtectSystem = "strict";
|
||||||
|
ReadWritePaths = [ stateDir ];
|
||||||
|
};
|
||||||
|
|
||||||
|
script = ''
|
||||||
|
set -eu
|
||||||
|
export PATH="${binPath}:$PATH"
|
||||||
|
export LD_LIBRARY_PATH="${libraryPath}:''${LD_LIBRARY_PATH:-}"
|
||||||
|
export LIBRARY_PATH="${libraryPath}:''${LIBRARY_PATH:-}"
|
||||||
|
|
||||||
|
: "''${NORN_SIGHT_REPO_URL:?NORN_SIGHT_REPO_URL is required}"
|
||||||
|
branch="''${NORN_SIGHT_BRANCH:-main}"
|
||||||
|
|
||||||
|
if [ -d "${appDir}/.git" ]; then
|
||||||
|
current_origin="$(git -C "${appDir}" remote get-url origin)"
|
||||||
|
if [ "$current_origin" != "$NORN_SIGHT_REPO_URL" ]; then
|
||||||
|
rm -rf "${appDir}"
|
||||||
|
fi
|
||||||
|
fi
|
||||||
|
|
||||||
|
if [ ! -d "${appDir}/.git" ]; then
|
||||||
|
git clone --branch "$branch" "$NORN_SIGHT_REPO_URL" "${appDir}"
|
||||||
|
else
|
||||||
|
cd "${appDir}"
|
||||||
|
git fetch origin "$branch"
|
||||||
|
git checkout "$branch"
|
||||||
|
git pull --ff-only origin "$branch"
|
||||||
|
fi
|
||||||
|
|
||||||
|
cd "${appDir}"
|
||||||
|
uv sync --upgrade
|
||||||
|
uv run python - <<'PY'
|
||||||
|
import ctypes.util
|
||||||
|
import os
|
||||||
|
|
||||||
|
print(f"LD_LIBRARY_PATH={os.environ.get('LD_LIBRARY_PATH')}")
|
||||||
|
print(f"LIBRARY_PATH={os.environ.get('LIBRARY_PATH')}")
|
||||||
|
print(f"libpq={ctypes.util.find_library('pq')}")
|
||||||
|
PY
|
||||||
|
exec uv run uvicorn pipelines.web.main:app --host 0.0.0.0 --port 8001
|
||||||
|
'';
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -12,6 +12,7 @@ in
|
|||||||
services.postgresql = {
|
services.postgresql = {
|
||||||
enable = true;
|
enable = true;
|
||||||
package = pkgs.postgresql_17_jit;
|
package = pkgs.postgresql_17_jit;
|
||||||
|
extensions = ps: with ps; [ pgvector ];
|
||||||
enableTCPIP = true;
|
enableTCPIP = true;
|
||||||
enableJIT = true;
|
enableJIT = true;
|
||||||
dataDir = "${vars.database}/postgres";
|
dataDir = "${vars.database}/postgres";
|
||||||
|
|||||||
@@ -1,57 +0,0 @@
|
|||||||
{
|
|
||||||
pkgs,
|
|
||||||
inputs,
|
|
||||||
...
|
|
||||||
}:
|
|
||||||
let
|
|
||||||
vars = import ../vars.nix;
|
|
||||||
in
|
|
||||||
{
|
|
||||||
users = {
|
|
||||||
users.signalbot = {
|
|
||||||
isSystemUser = true;
|
|
||||||
group = "signalbot";
|
|
||||||
};
|
|
||||||
groups.signalbot = { };
|
|
||||||
};
|
|
||||||
|
|
||||||
systemd.services.signal-bot = {
|
|
||||||
description = "Signal command and control bot";
|
|
||||||
after = [
|
|
||||||
"network.target"
|
|
||||||
"podman-signal_cli_rest_api.service"
|
|
||||||
];
|
|
||||||
wants = [ "podman-signal_cli_rest_api.service" ];
|
|
||||||
wantedBy = [ "multi-user.target" ];
|
|
||||||
|
|
||||||
environment = {
|
|
||||||
PYTHONPATH = "${inputs.self}";
|
|
||||||
SIGNALBOT_DB = "signalbot";
|
|
||||||
SIGNALBOT_USER = "signalbot";
|
|
||||||
SIGNALBOT_HOST = "/run/postgresql";
|
|
||||||
SIGNALBOT_PORT = "5432";
|
|
||||||
};
|
|
||||||
|
|
||||||
serviceConfig = {
|
|
||||||
Type = "simple";
|
|
||||||
WorkingDirectory = "${inputs.self}";
|
|
||||||
User = "signalbot";
|
|
||||||
Group = "signalbot";
|
|
||||||
EnvironmentFile = "${vars.secrets}/services/signal-bot";
|
|
||||||
ExecStart = "${pkgs.my_python}/bin/python -m python.signal_bot.main";
|
|
||||||
StateDirectory = "signal-bot";
|
|
||||||
Restart = "on-failure";
|
|
||||||
RestartSec = "10s";
|
|
||||||
StandardOutput = "journal";
|
|
||||||
StandardError = "journal";
|
|
||||||
NoNewPrivileges = true;
|
|
||||||
ProtectSystem = "strict";
|
|
||||||
ProtectHome = "read-only";
|
|
||||||
PrivateTmp = true;
|
|
||||||
ReadWritePaths = [ "/var/lib/signal-bot" ];
|
|
||||||
ReadOnlyPaths = [
|
|
||||||
"${inputs.self}"
|
|
||||||
];
|
|
||||||
};
|
|
||||||
};
|
|
||||||
}
|
|
||||||
@@ -1,7 +1,6 @@
|
|||||||
zpool = ["root_pool", "storage", "media"]
|
zpool = ["root_pool", "storage", "media"]
|
||||||
services = [
|
services = [
|
||||||
"audiobookshelf",
|
"audiobookshelf",
|
||||||
"cloud_flare_tunnel",
|
|
||||||
"haproxy",
|
"haproxy",
|
||||||
"docker",
|
"docker",
|
||||||
"home-assistant",
|
"home-assistant",
|
||||||
|
|||||||
@@ -10,6 +10,14 @@ in
|
|||||||
settings = {
|
settings = {
|
||||||
devices.davids-server.id = "7GXTDGR-AOXFW2O-K6J7NM3-XYZNRRW-AKHAFWM-GBOWUPQ-OA6JIWD-ER7RDQL"; # cspell:disable-line
|
devices.davids-server.id = "7GXTDGR-AOXFW2O-K6J7NM3-XYZNRRW-AKHAFWM-GBOWUPQ-OA6JIWD-ER7RDQL"; # cspell:disable-line
|
||||||
folders = {
|
folders = {
|
||||||
|
photos = {
|
||||||
|
path = "${vars.syncthing}/important";
|
||||||
|
devices = [
|
||||||
|
"rhapsody-in-green"
|
||||||
|
"phone"
|
||||||
|
];
|
||||||
|
fsWatcherEnabled = true;
|
||||||
|
};
|
||||||
"dotfiles" = {
|
"dotfiles" = {
|
||||||
path = "/home/richie/dotfiles";
|
path = "/home/richie/dotfiles";
|
||||||
devices = [
|
devices = [
|
||||||
@@ -89,7 +97,16 @@ in
|
|||||||
];
|
];
|
||||||
fsWatcherEnabled = true;
|
fsWatcherEnabled = true;
|
||||||
};
|
};
|
||||||
#
|
"recordings" = {
|
||||||
|
path = "/home/richie/recordings";
|
||||||
|
devices = [
|
||||||
|
"bob"
|
||||||
|
"phone"
|
||||||
|
"rhapsody-in-green"
|
||||||
|
];
|
||||||
|
fsWatcherEnabled = true;
|
||||||
|
};
|
||||||
|
# davids-server
|
||||||
"davids-backup1" = {
|
"davids-backup1" = {
|
||||||
id = "8229p-8z3tm"; # cspell:disable-line
|
id = "8229p-8z3tm"; # cspell:disable-line
|
||||||
path = "${vars.syncthing}/davids_backups/1";
|
path = "${vars.syncthing}/davids_backups/1";
|
||||||
|
|||||||
@@ -0,0 +1,74 @@
|
|||||||
|
let
|
||||||
|
domains = [
|
||||||
|
"audiobookshelf"
|
||||||
|
"cache"
|
||||||
|
"gitea"
|
||||||
|
"jellyfin"
|
||||||
|
"share"
|
||||||
|
];
|
||||||
|
extraDomains = [ "www.norn-sight.com" ];
|
||||||
|
|
||||||
|
makeCert = name: {
|
||||||
|
name = "${name}.tmmworkshop.com";
|
||||||
|
value = {
|
||||||
|
webroot = "/var/lib/acme/.challenges";
|
||||||
|
group = "acme";
|
||||||
|
reloadServices = [ "haproxy.service" ];
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
makeExtraCert = name: {
|
||||||
|
inherit name;
|
||||||
|
value = {
|
||||||
|
webroot = "/var/lib/acme/.challenges";
|
||||||
|
group = "acme";
|
||||||
|
reloadServices = [ "haproxy.service" ];
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
acmeServices =
|
||||||
|
map (domain: "acme-${domain}.tmmworkshop.com.service") domains
|
||||||
|
++ map (domain: "acme-${domain}.service") extraDomains;
|
||||||
|
in
|
||||||
|
{
|
||||||
|
users.users.haproxy.extraGroups = [ "acme" ];
|
||||||
|
|
||||||
|
security.acme = {
|
||||||
|
acceptTerms = true;
|
||||||
|
defaults.email = "Richie@tmmworkshop.com";
|
||||||
|
certs = builtins.listToAttrs ((map makeCert domains) ++ (map makeExtraCert extraDomains));
|
||||||
|
};
|
||||||
|
|
||||||
|
# Minimal nginx to serve ACME HTTP-01 challenge files for HAProxy
|
||||||
|
services.nginx = {
|
||||||
|
enable = true;
|
||||||
|
virtualHosts."acme-challenge" = {
|
||||||
|
listen = [
|
||||||
|
{
|
||||||
|
addr = "127.0.0.1";
|
||||||
|
port = 8402;
|
||||||
|
}
|
||||||
|
];
|
||||||
|
locations."/.well-known/acme-challenge/" = {
|
||||||
|
root = "/var/lib/acme/.challenges";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
};
|
||||||
|
|
||||||
|
# Ensure the challenge directory exists with correct permissions
|
||||||
|
systemd.tmpfiles.rules = [
|
||||||
|
"d /var/lib/acme/.challenges 0750 acme acme - -"
|
||||||
|
"d /var/lib/acme/.challenges/.well-known 0750 acme acme - -"
|
||||||
|
"d /var/lib/acme/.challenges/.well-known/acme-challenge 0750 acme acme - -"
|
||||||
|
];
|
||||||
|
|
||||||
|
users.users.nginx.extraGroups = [ "acme" ];
|
||||||
|
|
||||||
|
# HAProxy needs certs to exist before it can bind :443.
|
||||||
|
# NixOS's acme module generates self-signed placeholders on first boot
|
||||||
|
# via acme-<domain>.service — just make HAProxy wait for them.
|
||||||
|
systemd.services.haproxy = {
|
||||||
|
after = acmeServices;
|
||||||
|
wants = acmeServices;
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -0,0 +1,9 @@
|
|||||||
|
{ lib, ... }:
|
||||||
|
{
|
||||||
|
imports =
|
||||||
|
let
|
||||||
|
files = builtins.attrNames (builtins.readDir ./.);
|
||||||
|
nixFiles = builtins.filter (name: lib.hasSuffix ".nix" name && name != "default.nix") files;
|
||||||
|
in
|
||||||
|
map (file: ./. + "/${file}") nixFiles;
|
||||||
|
}
|
||||||
@@ -6,6 +6,7 @@ global
|
|||||||
defaults
|
defaults
|
||||||
log global
|
log global
|
||||||
mode http
|
mode http
|
||||||
|
option httplog
|
||||||
retries 3
|
retries 3
|
||||||
maxconn 2000
|
maxconn 2000
|
||||||
timeout connect 5s
|
timeout connect 5s
|
||||||
@@ -22,24 +23,38 @@ defaults
|
|||||||
#Application Setup
|
#Application Setup
|
||||||
frontend ContentSwitching
|
frontend ContentSwitching
|
||||||
bind *:80 v4v6
|
bind *:80 v4v6
|
||||||
bind *:443 v4v6 ssl crt /zfs/storage/secrets/docker/cloudflare.pem
|
bind *:443 v4v6 ssl crt /var/lib/acme/audiobookshelf.tmmworkshop.com/full.pem crt /var/lib/acme/cache.tmmworkshop.com/full.pem crt /var/lib/acme/jellyfin.tmmworkshop.com/full.pem crt /var/lib/acme/share.tmmworkshop.com/full.pem crt /var/lib/acme/gitea.tmmworkshop.com/full.pem crt /var/lib/acme/www.norn-sight.com/full.pem
|
||||||
mode http
|
mode http
|
||||||
|
|
||||||
|
# ACME challenge routing (must be first)
|
||||||
|
acl is_acme path_beg /.well-known/acme-challenge/
|
||||||
|
|
||||||
# tmmworkshop.com
|
# tmmworkshop.com
|
||||||
acl host_audiobookshelf hdr(host) -i audiobookshelf.tmmworkshop.com
|
acl host_audiobookshelf hdr(host) -i audiobookshelf.tmmworkshop.com
|
||||||
acl host_cache hdr(host) -i cache.tmmworkshop.com
|
acl host_cache hdr(host) -i cache.tmmworkshop.com
|
||||||
acl host_jellyfin hdr(host) -i jellyfin.tmmworkshop.com
|
acl host_jellyfin hdr(host) -i jellyfin.tmmworkshop.com
|
||||||
acl host_share hdr(host) -i share.tmmworkshop.com
|
acl host_share hdr(host) -i share.tmmworkshop.com
|
||||||
acl host_gcw hdr(host) -i gcw.tmmworkshop.com
|
|
||||||
acl host_n8n hdr(host) -i n8n.tmmworkshop.com
|
|
||||||
acl host_gitea hdr(host) -i gitea.tmmworkshop.com
|
acl host_gitea hdr(host) -i gitea.tmmworkshop.com
|
||||||
|
acl host_norn_sight hdr(host) -i www.norn-sight.com
|
||||||
|
|
||||||
|
# Hosts allowed to serve plain HTTP (add entries to skip the HTTPS redirect)
|
||||||
|
acl allow_http hdr(host) -i __none__
|
||||||
|
# acl allow_http hdr(host) -i example.tmmworkshop.com
|
||||||
|
|
||||||
|
# Redirect all HTTP to HTTPS unless on the allow list or ACME challenge
|
||||||
|
http-request redirect scheme https code 301 if !{ ssl_fc } !allow_http !is_acme
|
||||||
|
|
||||||
|
use_backend acme_challenge if is_acme
|
||||||
use_backend audiobookshelf_nodes if host_audiobookshelf
|
use_backend audiobookshelf_nodes if host_audiobookshelf
|
||||||
use_backend cache_nodes if host_cache
|
use_backend cache_nodes if host_cache
|
||||||
use_backend jellyfin if host_jellyfin
|
use_backend jellyfin if host_jellyfin
|
||||||
use_backend share_nodes if host_share
|
use_backend share_nodes if host_share
|
||||||
use_backend gcw_nodes if host_gcw
|
|
||||||
use_backend n8n if host_n8n
|
|
||||||
use_backend gitea if host_gitea
|
use_backend gitea if host_gitea
|
||||||
|
use_backend norn_sight if host_norn_sight
|
||||||
|
|
||||||
|
backend acme_challenge
|
||||||
|
mode http
|
||||||
|
server acme 127.0.0.1:8402
|
||||||
|
|
||||||
backend audiobookshelf_nodes
|
backend audiobookshelf_nodes
|
||||||
mode http
|
mode http
|
||||||
@@ -60,14 +75,10 @@ backend share_nodes
|
|||||||
mode http
|
mode http
|
||||||
server server 127.0.0.1:8091
|
server server 127.0.0.1:8091
|
||||||
|
|
||||||
backend gcw_nodes
|
|
||||||
mode http
|
|
||||||
server server 127.0.0.1:8092
|
|
||||||
|
|
||||||
backend n8n
|
|
||||||
mode http
|
|
||||||
server server 127.0.0.1:5678
|
|
||||||
|
|
||||||
backend gitea
|
backend gitea
|
||||||
mode http
|
mode http
|
||||||
server server 127.0.0.1:6443
|
server server 127.0.0.1:6443
|
||||||
|
|
||||||
|
backend norn_sight
|
||||||
|
mode http
|
||||||
|
server server 127.0.0.1:8001
|
||||||
@@ -0,0 +1,35 @@
|
|||||||
|
{
|
||||||
|
pkgs,
|
||||||
|
inputs,
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
{
|
||||||
|
systemd.services.agent-logger = {
|
||||||
|
description = "Unified agent logger";
|
||||||
|
after = [ "local-fs.target" ];
|
||||||
|
wantedBy = [ "multi-user.target" ];
|
||||||
|
|
||||||
|
environment = {
|
||||||
|
AGENT_LOG_DB = "/var/lib/agent-logger/agent_log.sqlite";
|
||||||
|
HOME = "/home/richie";
|
||||||
|
PYTHONPATH = "${inputs.self}";
|
||||||
|
};
|
||||||
|
|
||||||
|
serviceConfig = {
|
||||||
|
Type = "simple";
|
||||||
|
User = "richie";
|
||||||
|
WorkingDirectory = "/home/richie";
|
||||||
|
ExecStart = "${pkgs.my_python}/bin/python -m python.agent_logger.main";
|
||||||
|
StateDirectory = "agent-logger";
|
||||||
|
Restart = "on-failure";
|
||||||
|
RestartSec = "5s";
|
||||||
|
StandardOutput = "journal";
|
||||||
|
StandardError = "journal";
|
||||||
|
NoNewPrivileges = true;
|
||||||
|
ProtectSystem = "strict";
|
||||||
|
ProtectHome = "read-only";
|
||||||
|
PrivateTmp = true;
|
||||||
|
ReadOnlyPaths = [ "${inputs.self}" ];
|
||||||
|
};
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -11,10 +11,9 @@
|
|||||||
"${inputs.self}/common/optional/yubikey.nix"
|
"${inputs.self}/common/optional/yubikey.nix"
|
||||||
"${inputs.self}/common/optional/zerotier.nix"
|
"${inputs.self}/common/optional/zerotier.nix"
|
||||||
./hardware.nix
|
./hardware.nix
|
||||||
./llms.nix
|
|
||||||
./open_webui.nix
|
./open_webui.nix
|
||||||
|
./programs.nix
|
||||||
./qmk.nix
|
./qmk.nix
|
||||||
./sunshine.nix
|
|
||||||
./syncthing.nix
|
./syncthing.nix
|
||||||
inputs.nixos-hardware.nixosModules.framework-13-7040-amd
|
inputs.nixos-hardware.nixosModules.framework-13-7040-amd
|
||||||
];
|
];
|
||||||
@@ -24,11 +23,20 @@
|
|||||||
hostId = "6404140d";
|
hostId = "6404140d";
|
||||||
firewall = {
|
firewall = {
|
||||||
enable = true;
|
enable = true;
|
||||||
allowedTCPPorts = [ ];
|
allowedTCPPorts = [
|
||||||
|
8000
|
||||||
|
8080
|
||||||
|
8081
|
||||||
|
];
|
||||||
};
|
};
|
||||||
networkmanager.enable = true;
|
networkmanager.enable = true;
|
||||||
};
|
};
|
||||||
|
|
||||||
|
programs.appimage = {
|
||||||
|
enable = true;
|
||||||
|
binfmt = true; # allows *.AppImage to be run directly
|
||||||
|
};
|
||||||
|
|
||||||
services = {
|
services = {
|
||||||
openssh.ports = [ 922 ];
|
openssh.ports = [ 922 ];
|
||||||
flatpak.enable = true;
|
flatpak.enable = true;
|
||||||
|
|||||||
Binary file not shown.
@@ -1,29 +0,0 @@
|
|||||||
{
|
|
||||||
services.ollama = {
|
|
||||||
user = "ollama";
|
|
||||||
enable = true;
|
|
||||||
host = "127.0.0.1";
|
|
||||||
syncModels = true;
|
|
||||||
loadModels = [
|
|
||||||
"deepscaler:1.5b"
|
|
||||||
"deepseek-r1:8b"
|
|
||||||
"gemma3:12b"
|
|
||||||
"lfm2:24b"
|
|
||||||
"nemotron-3-nano:4b"
|
|
||||||
"qwen3:14b"
|
|
||||||
"qwen3.5:27b"
|
|
||||||
];
|
|
||||||
};
|
|
||||||
systemd.services = {
|
|
||||||
ollama.serviceConfig = {
|
|
||||||
Nice = 19;
|
|
||||||
IOSchedulingPriority = 7;
|
|
||||||
};
|
|
||||||
ollama-model-loader.serviceConfig = {
|
|
||||||
Nice = 19;
|
|
||||||
CPUWeight = 50;
|
|
||||||
IOSchedulingClass = "idle";
|
|
||||||
IOSchedulingPriority = 7;
|
|
||||||
};
|
|
||||||
};
|
|
||||||
}
|
|
||||||
@@ -1,6 +1,7 @@
|
|||||||
{
|
{
|
||||||
services.open-webui = {
|
services.open-webui = {
|
||||||
enable = true;
|
enable = true;
|
||||||
|
host = "0.0.0.0";
|
||||||
environment = {
|
environment = {
|
||||||
ANONYMIZED_TELEMETRY = "False";
|
ANONYMIZED_TELEMETRY = "False";
|
||||||
DO_NOT_TRACK = "True";
|
DO_NOT_TRACK = "True";
|
||||||
|
|||||||
@@ -0,0 +1,6 @@
|
|||||||
|
{ pkgs, ... }:
|
||||||
|
{
|
||||||
|
environment.systemPackages = with pkgs; [
|
||||||
|
ffmpeg
|
||||||
|
];
|
||||||
|
}
|
||||||
@@ -1,28 +0,0 @@
|
|||||||
{ pkgs, ... }:
|
|
||||||
{
|
|
||||||
services.sunshine = {
|
|
||||||
enable = true;
|
|
||||||
openFirewall = true;
|
|
||||||
capSysAdmin = true;
|
|
||||||
};
|
|
||||||
environment.systemPackages = [ pkgs.kdePackages.libkscreen ];
|
|
||||||
|
|
||||||
boot = {
|
|
||||||
kernelParams = [
|
|
||||||
"drm.edid_firmware=DP-4:edid/virtual-display.bin"
|
|
||||||
"video=DP-4:e"
|
|
||||||
];
|
|
||||||
};
|
|
||||||
|
|
||||||
hardware.firmware = [
|
|
||||||
(pkgs.runCommandLocal "virtual-display-edid"
|
|
||||||
{
|
|
||||||
compressFirmware = false;
|
|
||||||
}
|
|
||||||
''
|
|
||||||
mkdir -p $out/lib/firmware/edid
|
|
||||||
cp ${./edid/virtual-display.bin} $out/lib/firmware/edid/virtual-display.bin
|
|
||||||
''
|
|
||||||
)
|
|
||||||
];
|
|
||||||
}
|
|
||||||
@@ -39,6 +39,14 @@
|
|||||||
];
|
];
|
||||||
fsWatcherEnabled = true;
|
fsWatcherEnabled = true;
|
||||||
};
|
};
|
||||||
|
photos = {
|
||||||
|
path = "/home/richie/photos";
|
||||||
|
devices = [
|
||||||
|
"jeeves"
|
||||||
|
"phone"
|
||||||
|
];
|
||||||
|
fsWatcherEnabled = true;
|
||||||
|
};
|
||||||
"projects" = {
|
"projects" = {
|
||||||
id = "vyma6-lqqrz"; # cspell:disable-line
|
id = "vyma6-lqqrz"; # cspell:disable-line
|
||||||
path = "/home/richie/projects";
|
path = "/home/richie/projects";
|
||||||
@@ -55,6 +63,15 @@
|
|||||||
];
|
];
|
||||||
fsWatcherEnabled = true;
|
fsWatcherEnabled = true;
|
||||||
};
|
};
|
||||||
|
"recordings" = {
|
||||||
|
path = "/home/richie/recordings";
|
||||||
|
devices = [
|
||||||
|
"bob"
|
||||||
|
"jeeves"
|
||||||
|
"phone"
|
||||||
|
];
|
||||||
|
fsWatcherEnabled = true;
|
||||||
|
};
|
||||||
"vault" = {
|
"vault" = {
|
||||||
path = "/home/richie/vault";
|
path = "/home/richie/vault";
|
||||||
devices = [
|
devices = [
|
||||||
|
|||||||
@@ -1,6 +1,7 @@
|
|||||||
{
|
{
|
||||||
programs.git = {
|
programs.git = {
|
||||||
enable = true;
|
enable = true;
|
||||||
|
signing.format = null;
|
||||||
settings = {
|
settings = {
|
||||||
user = {
|
user = {
|
||||||
email = "dov.kruger@gmail.com";
|
email = "dov.kruger@gmail.com";
|
||||||
|
|||||||
@@ -1,6 +1,7 @@
|
|||||||
{
|
{
|
||||||
programs.git = {
|
programs.git = {
|
||||||
enable = true;
|
enable = true;
|
||||||
|
signing.format = null;
|
||||||
settings = {
|
settings = {
|
||||||
user = {
|
user = {
|
||||||
email = "DumbPuppy208@gmail.com";
|
email = "DumbPuppy208@gmail.com";
|
||||||
|
|||||||
@@ -36,6 +36,8 @@ in
|
|||||||
"hass"
|
"hass"
|
||||||
"libvirtd"
|
"libvirtd"
|
||||||
"networkmanager"
|
"networkmanager"
|
||||||
|
"nornsight"
|
||||||
|
"nornsight-admin"
|
||||||
"plugdev"
|
"plugdev"
|
||||||
"scanner"
|
"scanner"
|
||||||
"transmission"
|
"transmission"
|
||||||
|
|||||||
@@ -1,6 +1,7 @@
|
|||||||
{
|
{
|
||||||
programs.git = {
|
programs.git = {
|
||||||
enable = true;
|
enable = true;
|
||||||
|
signing.format = null;
|
||||||
settings = {
|
settings = {
|
||||||
user = {
|
user = {
|
||||||
email = "matthew.michal11@gmail.com";
|
email = "matthew.michal11@gmail.com";
|
||||||
|
|||||||
@@ -0,0 +1,5 @@
|
|||||||
|
{
|
||||||
|
imports = [
|
||||||
|
../home/global.nix
|
||||||
|
];
|
||||||
|
}
|
||||||
@@ -36,6 +36,8 @@ in
|
|||||||
"hass"
|
"hass"
|
||||||
"libvirtd"
|
"libvirtd"
|
||||||
"networkmanager"
|
"networkmanager"
|
||||||
|
"nornsight"
|
||||||
|
"nornsight-admin"
|
||||||
"ollama"
|
"ollama"
|
||||||
"plugdev"
|
"plugdev"
|
||||||
"scanner"
|
"scanner"
|
||||||
|
|||||||
@@ -1,6 +1,7 @@
|
|||||||
{
|
{
|
||||||
programs.git = {
|
programs.git = {
|
||||||
enable = true;
|
enable = true;
|
||||||
|
signing.format = null;
|
||||||
settings = {
|
settings = {
|
||||||
user = {
|
user = {
|
||||||
email = "Richie@tmmworkshop.com";
|
email = "Richie@tmmworkshop.com";
|
||||||
|
|||||||
@@ -6,6 +6,7 @@
|
|||||||
"${inputs.self}/users/shared/sweet.nix"
|
"${inputs.self}/users/shared/sweet.nix"
|
||||||
./firefox
|
./firefox
|
||||||
./kitty.nix
|
./kitty.nix
|
||||||
|
./llm_tools.nix
|
||||||
./vscode
|
./vscode
|
||||||
];
|
];
|
||||||
|
|
||||||
@@ -19,12 +20,11 @@
|
|||||||
qalculate-gtk
|
qalculate-gtk
|
||||||
vlc
|
vlc
|
||||||
# browser
|
# browser
|
||||||
|
brave
|
||||||
chromium
|
chromium
|
||||||
# dev tools
|
# dev tools
|
||||||
claude-code
|
|
||||||
gparted
|
gparted
|
||||||
jetbrains.datagrip
|
jetbrains.datagrip
|
||||||
proxychains
|
proxychains
|
||||||
opencode
|
|
||||||
];
|
];
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -1,8 +1,9 @@
|
|||||||
{ inputs, ... }:
|
{ config, inputs, ... }:
|
||||||
{
|
{
|
||||||
imports = [ ./search_engines.nix ];
|
imports = [ ./search_engines.nix ];
|
||||||
|
|
||||||
programs.firefox = {
|
programs.firefox = {
|
||||||
|
configPath = "${config.xdg.configHome}/mozilla/firefox";
|
||||||
enable = true;
|
enable = true;
|
||||||
profiles.richie = {
|
profiles.richie = {
|
||||||
extensions.packages = with inputs.firefox-addons.packages.x86_64-linux; [
|
extensions.packages = with inputs.firefox-addons.packages.x86_64-linux; [
|
||||||
|
|||||||
@@ -6,11 +6,13 @@
|
|||||||
settings = {
|
settings = {
|
||||||
allow_remote_control = "yes";
|
allow_remote_control = "yes";
|
||||||
shell = "${pkgs.zsh}/bin/zsh";
|
shell = "${pkgs.zsh}/bin/zsh";
|
||||||
|
scrollback_lines = 50000;
|
||||||
wayland_titlebar_color = "background";
|
wayland_titlebar_color = "background";
|
||||||
background_opacity = "0.75";
|
background_opacity = "0.75";
|
||||||
tab_bar_edge = "top";
|
tab_bar_edge = "top";
|
||||||
tab_bar_style = "powerline";
|
tab_bar_style = "powerline";
|
||||||
enabled_layouts = "splits";
|
enabled_layouts = "splits";
|
||||||
|
enable_audio_bell = "no";
|
||||||
};
|
};
|
||||||
keybindings = {
|
keybindings = {
|
||||||
"ctrl+alt+1" = "launch --type=tab --tab-title jeeves kitten ssh jeeves";
|
"ctrl+alt+1" = "launch --type=tab --tab-title jeeves kitten ssh jeeves";
|
||||||
|
|||||||
@@ -0,0 +1,9 @@
|
|||||||
|
{ pkgs, ... }:
|
||||||
|
{
|
||||||
|
home.packages = [
|
||||||
|
pkgs.master.claude-code
|
||||||
|
pkgs.master.codex
|
||||||
|
pkgs.master.opencode
|
||||||
|
pkgs.master.pi-coding-agent
|
||||||
|
];
|
||||||
|
}
|
||||||
@@ -2,28 +2,32 @@
|
|||||||
{
|
{
|
||||||
"key": "shift+alt+f",
|
"key": "shift+alt+f",
|
||||||
"command": "editor.action.formatDocument",
|
"command": "editor.action.formatDocument",
|
||||||
"when": "editorHasDocumentFormattingProvider && editorTextFocus && !editorReadonly && !inCompositeEditor"
|
"when": "editorHasDocumentFormattingProvider && editorTextFocus && !editorReadonly && !inCompositeEditor",
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"key": "alt+a d",
|
"key": "alt+a d",
|
||||||
"command": "cSpell.addWordToWorkspaceSettings"
|
"command": "cSpell.addWordToWorkspaceSettings",
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"key": "ctrl+shift+`",
|
"key": "ctrl+shift+`",
|
||||||
"command": "workbench.action.createTerminalEditor"
|
"command": "workbench.action.createTerminalEditor",
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"key": "ctrl+shift+`",
|
"key": "ctrl+shift+`",
|
||||||
"command": "-workbench.action.terminal.new",
|
"command": "-workbench.action.terminal.new",
|
||||||
"when": "terminalProcessSupported || terminalWebExtensionContributedProfile"
|
"when": "terminalProcessSupported || terminalWebExtensionContributedProfile",
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"key": "ctrl+shift+g r",
|
"key": "ctrl+shift+g r",
|
||||||
"command": "gitlens.git.rebase"
|
"command": "gitlens.git.rebase",
|
||||||
},
|
},
|
||||||
{
|
{
|
||||||
"key": "ctrl+shift+g c",
|
"key": "ctrl+shift+g c",
|
||||||
"command": "-gitlens.showQuickCommitFileDetails",
|
"command": "-gitlens.showQuickCommitFileDetails",
|
||||||
"when": "editorTextFocus && !gitlens:disabled && config.gitlens.keymap == 'chorded'"
|
"when": "editorTextFocus && !gitlens:disabled && config.gitlens.keymap == 'chorded'",
|
||||||
}
|
},
|
||||||
|
{
|
||||||
|
"key": "ctrl+shift+g p",
|
||||||
|
"command": "gitlens.pushRepositories",
|
||||||
|
},
|
||||||
]
|
]
|
||||||
|
|||||||
@@ -14,7 +14,7 @@
|
|||||||
"git.pruneOnFetch": true,
|
"git.pruneOnFetch": true,
|
||||||
"terminal.integrated.scrollback": 10000,
|
"terminal.integrated.scrollback": 10000,
|
||||||
"update.mode": "none",
|
"update.mode": "none",
|
||||||
"workbench.colorTheme": "Default Dark+",
|
"workbench.colorTheme": "Dark+",
|
||||||
"workbench.secondarySideBar.showLabels": false,
|
"workbench.secondarySideBar.showLabels": false,
|
||||||
|
|
||||||
// turns off all sounds and announcements
|
// turns off all sounds and announcements
|
||||||
@@ -78,6 +78,8 @@
|
|||||||
"Corvidae",
|
"Corvidae",
|
||||||
"drivername",
|
"drivername",
|
||||||
"fastapi",
|
"fastapi",
|
||||||
|
"Michal",
|
||||||
|
"Nornsight",
|
||||||
"sandboxing",
|
"sandboxing",
|
||||||
"syncthing",
|
"syncthing",
|
||||||
],
|
],
|
||||||
@@ -98,4 +100,5 @@
|
|||||||
"hediet.vscode-drawio.resizeImages": null,
|
"hediet.vscode-drawio.resizeImages": null,
|
||||||
"hediet.vscode-drawio.appearance": "automatic",
|
"hediet.vscode-drawio.appearance": "automatic",
|
||||||
"claudeCode.preferredLocation": "panel",
|
"claudeCode.preferredLocation": "panel",
|
||||||
|
"docker.extension.enableComposeLanguageServer": false,
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -2,46 +2,46 @@
|
|||||||
programs.ssh = {
|
programs.ssh = {
|
||||||
enable = true;
|
enable = true;
|
||||||
enableDefaultConfig = false;
|
enableDefaultConfig = false;
|
||||||
matchBlocks = {
|
settings = {
|
||||||
jeeves = {
|
jeeves = {
|
||||||
hostname = "192.168.90.40";
|
HostName = "192.168.90.40";
|
||||||
user = "richie";
|
User = "richie";
|
||||||
identityFile = "~/.ssh/id_ed25519";
|
IdentityFile = "~/.ssh/id_ed25519";
|
||||||
port = 629;
|
Port = 629;
|
||||||
dynamicForwards = [ { port = 9050; } ];
|
DynamicForward = [ { port = 9050; } ];
|
||||||
compression = true;
|
Compression = true;
|
||||||
};
|
};
|
||||||
unlock-jeeves = {
|
unlock-jeeves = {
|
||||||
hostname = "192.168.99.14";
|
HostName = "192.168.99.14";
|
||||||
user = "root";
|
User = "root";
|
||||||
identityFile = "~/.ssh/id_ed25519";
|
IdentityFile = "~/.ssh/id_ed25519";
|
||||||
port = 2222;
|
Port = 2222;
|
||||||
};
|
};
|
||||||
brain = {
|
brain = {
|
||||||
hostname = "192.168.90.35";
|
HostName = "192.168.90.35";
|
||||||
user = "richie";
|
User = "richie";
|
||||||
identityFile = "~/.ssh/id_ed25519";
|
IdentityFile = "~/.ssh/id_ed25519";
|
||||||
port = 129;
|
Port = 129;
|
||||||
dynamicForwards = [ { port = 9050; } ];
|
DynamicForward = [ { port = 9050; } ];
|
||||||
};
|
};
|
||||||
unlock-brain = {
|
unlock-brain = {
|
||||||
hostname = "192.168.95.35";
|
HostName = "192.168.95.35";
|
||||||
user = "root";
|
User = "root";
|
||||||
identityFile = "~/.ssh/id_ed25519";
|
IdentityFile = "~/.ssh/id_ed25519";
|
||||||
port = 2222;
|
Port = 2222;
|
||||||
};
|
};
|
||||||
bob = {
|
bob = {
|
||||||
hostname = "192.168.90.25";
|
HostName = "192.168.90.25";
|
||||||
user = "richie";
|
User = "richie";
|
||||||
identityFile = "~/.ssh/id_ed25519";
|
IdentityFile = "~/.ssh/id_ed25519";
|
||||||
port = 262;
|
Port = 262;
|
||||||
dynamicForwards = [ { port = 9050; } ];
|
DynamicForward = [ { port = 9050; } ];
|
||||||
};
|
};
|
||||||
rhapsody-in-green = {
|
rhapsody-in-green = {
|
||||||
hostname = "192.168.90.221";
|
HostName = "192.168.90.221";
|
||||||
user = "richie";
|
User = "richie";
|
||||||
identityFile = "~/.ssh/id_ed25519";
|
IdentityFile = "~/.ssh/id_ed25519";
|
||||||
port = 922;
|
Port = 922;
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
};
|
};
|
||||||
|
|||||||
@@ -1,6 +1,5 @@
|
|||||||
{
|
{
|
||||||
imports = [
|
imports = [
|
||||||
../home/global.nix
|
../home/global.nix
|
||||||
../home/gui
|
|
||||||
];
|
];
|
||||||
}
|
}
|
||||||
|
|||||||
@@ -0,0 +1,44 @@
|
|||||||
|
{
|
||||||
|
pkgs,
|
||||||
|
config,
|
||||||
|
...
|
||||||
|
}:
|
||||||
|
let
|
||||||
|
ifTheyExist = groups: builtins.filter (group: builtins.hasAttr group config.users.groups) groups;
|
||||||
|
in
|
||||||
|
{
|
||||||
|
|
||||||
|
users = {
|
||||||
|
users.steve = {
|
||||||
|
isNormalUser = true;
|
||||||
|
|
||||||
|
shell = pkgs.zsh;
|
||||||
|
group = "steve";
|
||||||
|
openssh.authorizedKeys.keys = [
|
||||||
|
"ssh-ed25519 AAAAC3NzaC1lZDI1NTE5AAAAIJH03VzDbUhzfhvwD+OsYh6GobODYaI9jdNdzWQoqFsp matth@Jove" # cspell:disable-line
|
||||||
|
];
|
||||||
|
extraGroups = [
|
||||||
|
"audio"
|
||||||
|
"video"
|
||||||
|
"wheel"
|
||||||
|
"users"
|
||||||
|
]
|
||||||
|
++ ifTheyExist [
|
||||||
|
"dialout"
|
||||||
|
"docker"
|
||||||
|
"hass"
|
||||||
|
"libvirtd"
|
||||||
|
"networkmanager"
|
||||||
|
"plugdev"
|
||||||
|
"scanner"
|
||||||
|
"transmission"
|
||||||
|
"uaccess"
|
||||||
|
"wireshark"
|
||||||
|
];
|
||||||
|
uid = 1005;
|
||||||
|
};
|
||||||
|
|
||||||
|
groups.steve.gid = 1005;
|
||||||
|
};
|
||||||
|
home-manager.users.steve = import ./systems/${config.networking.hostName}.nix;
|
||||||
|
}
|
||||||
@@ -0,0 +1,9 @@
|
|||||||
|
{
|
||||||
|
imports = [
|
||||||
|
./direnv.nix
|
||||||
|
./git.nix
|
||||||
|
./zsh.nix
|
||||||
|
];
|
||||||
|
|
||||||
|
programs.starship.enable = true;
|
||||||
|
}
|
||||||
@@ -0,0 +1,8 @@
|
|||||||
|
{
|
||||||
|
|
||||||
|
programs.direnv = {
|
||||||
|
enable = true;
|
||||||
|
enableZshIntegration = true;
|
||||||
|
nix-direnv.enable = true;
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -0,0 +1,15 @@
|
|||||||
|
{
|
||||||
|
programs.git = {
|
||||||
|
enable = true;
|
||||||
|
signing.format = null;
|
||||||
|
settings = {
|
||||||
|
user = {
|
||||||
|
email = "matthew.michal11@gmail.com";
|
||||||
|
name = "Matthew Michal";
|
||||||
|
};
|
||||||
|
pull.rebase = true;
|
||||||
|
color.ui = true;
|
||||||
|
};
|
||||||
|
lfs.enable = true;
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -0,0 +1,28 @@
|
|||||||
|
{
|
||||||
|
programs.zsh = {
|
||||||
|
enable = true;
|
||||||
|
syntaxHighlighting.enable = true;
|
||||||
|
history.size = 10000;
|
||||||
|
oh-my-zsh = {
|
||||||
|
enable = true;
|
||||||
|
plugins = [
|
||||||
|
"git"
|
||||||
|
"docker"
|
||||||
|
"docker-compose"
|
||||||
|
"colored-man-pages"
|
||||||
|
"rust"
|
||||||
|
"systemd"
|
||||||
|
"tmux"
|
||||||
|
"ufw"
|
||||||
|
"z"
|
||||||
|
];
|
||||||
|
};
|
||||||
|
shellAliases = {
|
||||||
|
"lrt" = "eza --icons -lsnew";
|
||||||
|
"ls" = "eza";
|
||||||
|
"ll" = "eza --long --group";
|
||||||
|
"la" = "eza --all";
|
||||||
|
|
||||||
|
};
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -0,0 +1,22 @@
|
|||||||
|
{ config, ... }:
|
||||||
|
{
|
||||||
|
imports = [
|
||||||
|
./cli
|
||||||
|
./programs.nix
|
||||||
|
./ssh_config.nix
|
||||||
|
];
|
||||||
|
|
||||||
|
programs = {
|
||||||
|
home-manager.enable = true;
|
||||||
|
git.enable = true;
|
||||||
|
};
|
||||||
|
|
||||||
|
home = {
|
||||||
|
username = "steve";
|
||||||
|
homeDirectory = "/home/${config.home.username}";
|
||||||
|
stateVersion = "24.05";
|
||||||
|
sessionVariables = {
|
||||||
|
FLAKE = "$HOME/dotfiles";
|
||||||
|
};
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -0,0 +1,57 @@
|
|||||||
|
{ pkgs, ... }:
|
||||||
|
{
|
||||||
|
home.packages = with pkgs; [
|
||||||
|
# cli
|
||||||
|
bat
|
||||||
|
btop
|
||||||
|
eza
|
||||||
|
fd
|
||||||
|
ffmpegthumbnailer
|
||||||
|
fzf
|
||||||
|
git
|
||||||
|
gnupg
|
||||||
|
imagemagick
|
||||||
|
jq
|
||||||
|
ncdu
|
||||||
|
ouch
|
||||||
|
p7zip
|
||||||
|
poppler
|
||||||
|
rar
|
||||||
|
ripgrep
|
||||||
|
starship
|
||||||
|
tmux
|
||||||
|
unzip
|
||||||
|
yazi
|
||||||
|
zoxide
|
||||||
|
# system info
|
||||||
|
hwloc
|
||||||
|
lynis
|
||||||
|
pciutils
|
||||||
|
smartmontools
|
||||||
|
usbutils
|
||||||
|
# networking
|
||||||
|
iperf3
|
||||||
|
nmap
|
||||||
|
wget
|
||||||
|
# python
|
||||||
|
poetry
|
||||||
|
ruff
|
||||||
|
uv
|
||||||
|
# nodejs
|
||||||
|
nodejs
|
||||||
|
# Rust packages
|
||||||
|
trunk
|
||||||
|
wasm-pack
|
||||||
|
cargo-watch
|
||||||
|
cargo-generate
|
||||||
|
cargo-audit
|
||||||
|
cargo-update
|
||||||
|
# nix
|
||||||
|
nix-init
|
||||||
|
nix-output-monitor
|
||||||
|
nix-prefetch
|
||||||
|
nix-tree
|
||||||
|
nixfmt
|
||||||
|
treefmt
|
||||||
|
];
|
||||||
|
}
|
||||||
@@ -0,0 +1,6 @@
|
|||||||
|
{
|
||||||
|
programs.ssh = {
|
||||||
|
enable = true;
|
||||||
|
enableDefaultConfig = false;
|
||||||
|
};
|
||||||
|
}
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
{
|
||||||
|
imports = [
|
||||||
|
../home/global.nix
|
||||||
|
];
|
||||||
|
}
|
||||||
@@ -0,0 +1,5 @@
|
|||||||
|
{
|
||||||
|
imports = [
|
||||||
|
../home/global.nix
|
||||||
|
];
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user