MadisonWirtanen commited on
Commit
47e2257
·
verified ·
1 Parent(s): 878f1a5

Update sync_data.sh

Browse files
Files changed (1) hide show
  1. sync_data.sh +78 -109
sync_data.sh CHANGED
@@ -1,128 +1,97 @@
1
  #!/bin/bash
2
 
 
 
 
 
 
 
 
3
  mkdir -p ./data
4
 
5
- # 生成校验和文件
6
- generate_sum() {
7
- local file=$1
8
- local sum_file=$2
9
- sha256sum "$file" > "$sum_file"
10
  }
11
 
12
- # 优先从WebDAV恢复数据
13
- if [ ! -z "$WEBDAV_URL" ] && [ ! -z "$WEBDAV_USERNAME" ] && [ ! -z "$WEBDAV_PASSWORD" ]; then
14
- echo "尝试从WebDAV恢复数据..."
15
- curl -L --fail --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" -o "./data/webui.db" && {
16
- echo "从WebDAV恢复数据成功"
17
- } || {
18
- if [ ! -z "$G_NAME" ] && [ ! -z "$G_TOKEN" ]; then
19
- echo "WebDAV恢复失败,尝试从GitHub恢复..."
20
- REPO_URL="https://${G_TOKEN}@github.com/${G_NAME}.git"
21
- git clone "$REPO_URL" ./data/temp && {
22
- if [ -f ./data/temp/webui.db ]; then
23
- mv ./data/temp/webui.db ./data/webui.db
24
- echo "从GitHub仓库恢复成功"
25
- rm -rf ./data/temp
26
- else
27
- echo "GitHub仓库中未找到webui.db"
28
- rm -rf ./data/temp
29
- fi
30
- }
31
- else
32
- echo "WebDAV恢复失败,且未配置GitHub"
33
- fi
34
- }
35
- else
36
- echo "未配置WebDAV,跳过数据恢复"
37
- fi
38
 
39
- # 同步函数
40
  sync_data() {
 
 
 
 
 
 
 
 
41
  while true; do
42
- echo "开始同步..."
43
- HOUR=$(date +%H)
44
-
45
  if [ -f "./data/webui.db" ]; then
46
- # 生成新的校验和文件
47
- generate_sum "./data/webui.db" "./data/webui.db.sha256.new"
48
 
49
- # 检查文件是否变化
50
- if [ ! -f "./data/webui.db.sha256" ] || ! cmp -s "./data/webui.db.sha256.new" "./data/webui.db.sha256"; then
51
- echo "检测到文件变化,开始同步..."
52
- mv "./data/webui.db.sha256.new" "./data/webui.db.sha256"
53
-
54
- # 同步到WebDAV
55
- if [ ! -z "$WEBDAV_URL" ] && [ ! -z "$WEBDAV_USERNAME" ] && [ ! -z "$WEBDAV_PASSWORD" ]; then
56
- echo "同步到WebDAV..."
57
-
58
- # 上传数据文件
59
- curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" && {
60
- echo "WebDAV更新成功"
61
-
62
- # 每日备份(包括WebDAV和GitHub),在每天0点进行
63
- if [ "$HOUR" = "00" ]; then
64
- echo "开始每日备份..."
65
-
66
- # 获取前一天的日期
67
- YESTERDAY=$(date -d "yesterday" '+%Y%m%d')
68
- FILENAME_DAILY="webui_${YESTERDAY}.db"
69
-
70
- # WebDAV每日备份
71
- curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/$FILENAME_DAILY" && {
72
- echo "WebDAV日期备份成功: $FILENAME_DAILY"
73
-
74
- # GitHub每日备份
75
- if [ ! -z "$G_NAME" ] && [ ! -z "$G_TOKEN" ]; then
76
- echo "开始GitHub每日备份..."
77
- REPO_URL="https://${G_TOKEN}@github.com/${G_NAME}.git"
78
- git clone "$REPO_URL" ./data/temp || {
79
- echo "GitHub克隆失败"
80
- rm -rf ./data/temp
81
- }
82
-
83
- if [ -d "./data/temp" ]; then
84
- cd ./data/temp
85
- git config user.name "AutoSync Bot"
86
- git config user.email "[email protected]"
87
- git checkout main || git checkout master
88
- cp ../webui.db ./webui.db
89
-
90
- if [[ -n $(git status -s) ]]; then
91
- git add webui.db
92
- git commit -m "Auto sync webui.db for ${YESTERDAY}"
93
- git push origin HEAD && {
94
- echo "GitHub推送成功"
95
- } || echo "GitHub推送失败"
96
- else
97
- echo "GitHub: 无数据变化"
98
- fi
99
- cd ../..
100
- rm -rf ./data/temp
101
- fi
102
- fi
103
- } || echo "WebDAV日期备份失败"
104
- fi
105
- } || {
106
- echo "WebDAV上传失败,重试..."
107
- sleep 10
108
- curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" || {
109
- echo "WebDAV重试失败"
110
- }
111
- }
112
  fi
113
- else
114
- echo "文件未发生变化,跳过同步"
115
- rm -f "./data/webui.db.sha256.new"
116
  fi
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
117
  else
118
- echo "未找到webui.db,跳过同步"
119
  fi
120
-
121
- echo "当前时间: $(date '+%Y-%m-%d %H:%M:%S')"
122
- echo "下次同步: $(date -d '+5 minutes' '+%Y-%m-%d %H:%M:%S')"
123
- sleep 300
 
124
  done
125
  }
126
 
127
- # 启动同步进程
128
  sync_data &
 
1
  #!/bin/bash
2
 
3
+ # 检查必要的环境变量
4
+ if [ -z "$WEBDAV_URL" ] || [ -z "$WEBDAV_USERNAME" ] || [ -z "$WEBDAV_PASSWORD" ]; then
5
+ echo "缺少必要的环境变量 WEBDAV_URL、WEBDAV_USERNAME 或 WEBDAV_PASSWORD"
6
+ exit 1
7
+ fi
8
+
9
+ # 创建数据目录
10
  mkdir -p ./data
11
 
12
+ # 获取最新的带日期的数据库文件名
13
+ get_latest_dated_file() {
14
+ curl -s --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL" | grep -o 'webui_[0-9]\{2\}_[0-9]\{2\}_[0-9]\{4\}.db' | sort -r | head -n 1
 
 
15
  }
16
 
17
+ # 从文件名中提取日期
18
+ get_date_from_filename() {
19
+ local filename=$1
20
+ echo "$filename" | grep -o '[0-9]\{2\}_[0-9]\{2\}' | head -n 1
21
+ }
22
+
23
+ # WebDAV 下载webui.db文件
24
+ echo "正在从 WebDAV 下载数据库文件..."
25
+ curl -L --fail --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" -o "./data/webui.db" || {
26
+ echo "下载失败,脚本退出"
27
+ exit 1
28
+ }
29
+ echo "下载成功"
 
 
 
 
 
 
 
 
 
 
 
 
 
30
 
31
+ # 定义同步函数
32
  sync_data() {
33
+ # 首次等待同步间隔
34
+ SYNC_INTERVAL=${SYNC_INTERVAL:-7200} # 默认间隔时间为 7200 秒
35
+ echo "初始下载完成,等待 ${SYNC_INTERVAL} 秒后开始同步..."
36
+ sleep $SYNC_INTERVAL
37
+
38
+ # 记录上次上传的日期
39
+ LAST_UPLOAD_DATE=""
40
+
41
  while true; do
42
+ echo "正在开始同步"
43
+ # 检查数据库文件是否存在
 
44
  if [ -f "./data/webui.db" ]; then
45
+ # 获取当前日期
46
+ CURRENT_DATE=$(date +'%m_%d')
47
 
48
+ # 需要上传带日期的文件标志
49
+ NEED_DATED_UPLOAD=false
50
+
51
+ # 如果没有记录上次上传日期,从WebDAV获取最新的带日期文件
52
+ if [ -z "$LAST_UPLOAD_DATE" ]; then
53
+ LATEST_FILE=$(get_latest_dated_file)
54
+ if [ ! -z "$LATEST_FILE" ]; then
55
+ LAST_UPLOAD_DATE=$(get_date_from_filename "$LATEST_FILE")
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
56
  fi
 
 
 
57
  fi
58
+
59
+ # 如果上次上传日期与当前日期不同,需要上传带日期的文件
60
+ if [ "$LAST_UPLOAD_DATE" != "$CURRENT_DATE" ]; then
61
+ NEED_DATED_UPLOAD=true
62
+ LAST_UPLOAD_DATE=$CURRENT_DATE
63
+ fi
64
+
65
+ # 如果需要上传带日期的文件
66
+ if [ "$NEED_DATED_UPLOAD" = true ]; then
67
+ FILENAME="webui_${CURRENT_DATE}_$(date +'%H%M').db"
68
+ echo "上传带日期的文件到 WebDAV..."
69
+ curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/$FILENAME" || {
70
+ echo "带日期文件上传失败"
71
+ }
72
+ fi
73
+
74
+ # 始终更新主文件
75
+ echo "更新主文件到 WebDAV..."
76
+ curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" && {
77
+ echo "WebDAV 更新主文件成功"
78
+ } || {
79
+ echo "WebDAV 更新主文件失败,尝试重试..."
80
+ sleep 10
81
+ curl -L -T "./data/webui.db" --user "$WEBDAV_USERNAME:$WEBDAV_PASSWORD" "$WEBDAV_URL/webui.db" || {
82
+ echo "重试失败,放弃上传。"
83
+ }
84
+ }
85
  else
86
+ echo "未找到 webui.db 文件,跳过同步"
87
  fi
88
+
89
+ # 等待下一次同步间隔
90
+ echo "当前时间 $(date '+%Y-%m-%d %H:%M:%S')"
91
+ echo "等待 ${SYNC_INTERVAL} 秒后进行下一次同步..."
92
+ sleep $SYNC_INTERVAL
93
  done
94
  }
95
 
96
+ # 后台启动同步进程
97
  sync_data &