コメント付き
このコミットが含まれているのは:
コミット
1a318e581f
19
config.go
19
config.go
|
@ -8,39 +8,42 @@ import (
|
|||
)
|
||||
|
||||
type Config struct {
|
||||
configpath string
|
||||
webpath string
|
||||
datapath string
|
||||
domain string
|
||||
configpath, webpath, datapath, domain string
|
||||
}
|
||||
|
||||
func getconf () Config {
|
||||
var payload map[string]interface{}
|
||||
var cnf Config
|
||||
|
||||
// バイナリ、データ、及びFreeBSDとNetBSDの場合、コンフィグ
|
||||
prefix := "/usr"
|
||||
// BSDだけはただの/usrではない
|
||||
if runtime.GOOS == "freebsd" || runtime.GOOS == "openbsd" {
|
||||
prefix += "/local"
|
||||
} else if runtime.GOOS == "netbsd" {
|
||||
prefix += "/pkg"
|
||||
}
|
||||
|
||||
// コンフィグファイル
|
||||
cnf.configpath = "/etc/hozonsite/config.json"
|
||||
//_, err = os.Stat(cnf.configpath)
|
||||
cnf.datapath = prefix + "/share/hozonsite"
|
||||
|
||||
// また、FreeBSDとNetBSDだけは違う場所だ。OpenBSDは正しい場所
|
||||
// FreeBSD = /usr/local/etc/hozonsite/config.json
|
||||
// NetBSD = /usr/pkg/etc/hozonsite/config.json
|
||||
if runtime.GOOS == "freebsd" || runtime.GOOS == "netbsd" {
|
||||
cnf.configpath = prefix + cnf.configpath
|
||||
}
|
||||
|
||||
// コンフィグファイルがなければ、死ね
|
||||
data, err := os.ReadFile(cnf.configpath)
|
||||
if err != nil {
|
||||
fmt.Println("エラー:", err)
|
||||
}
|
||||
json.Unmarshal(data, &payload)
|
||||
cnf.webpath = payload["webpath"].(string)
|
||||
cnf.domain = payload["domain"].(string)
|
||||
payload = nil
|
||||
cnf.webpath = payload["webpath"].(string) // データパス
|
||||
cnf.domain = payload["domain"].(string) // ドメイン名
|
||||
payload = nil // もういらなくなった
|
||||
|
||||
return cnf
|
||||
}
|
||||
|
|
|
@ -8,6 +8,7 @@ import (
|
|||
"strings"
|
||||
)
|
||||
|
||||
// URLでパラメートル(?、=等)がある場合
|
||||
func stripurl (url string) string {
|
||||
res := strings.ReplaceAll(url, "?", "")
|
||||
res = strings.ReplaceAll(res, "=", "")
|
||||
|
@ -15,26 +16,30 @@ func stripurl (url string) string {
|
|||
}
|
||||
|
||||
func getpage (url string, path string) {
|
||||
// ページを読み込む
|
||||
curl, err := http.Get(url)
|
||||
if err != nil {
|
||||
fmt.Println("CURLエラー:", err)
|
||||
return
|
||||
}
|
||||
defer curl.Body.Close() // ソフトの終了する時に実行する
|
||||
|
||||
defer curl.Body.Close()
|
||||
// ページの内容を読み込む
|
||||
body, err2 := io.ReadAll(curl.Body)
|
||||
if err2 != nil {
|
||||
fmt.Println("読込エラー:", err2)
|
||||
return
|
||||
}
|
||||
|
||||
// 空index.htmlファイルを創作する
|
||||
fn, err3 := os.Create(path + "/index.html")
|
||||
if err3 != nil {
|
||||
fmt.Println("ファイルの創作エラー:", err3)
|
||||
return
|
||||
}
|
||||
defer fn.Close() // ソフトの終了する時に実行する
|
||||
|
||||
defer fn.Close()
|
||||
// あのindex.htmlファイルに内容をそのまま書き込む
|
||||
_, err4 := fn.WriteString(string(body))
|
||||
if err4 != nil {
|
||||
fmt.Println("ファイル書込エラー:", err4)
|
||||
|
|
42
main.go
42
main.go
|
@ -18,50 +18,50 @@ func help () {
|
|||
}
|
||||
|
||||
func main () {
|
||||
cnf := getconf()
|
||||
args := os.Args
|
||||
cnf := getconf() // コンフィグファイル
|
||||
args := os.Args // コマンドラインのパラメートル
|
||||
if len(args) == 2 {
|
||||
if args[1] == "-v" {
|
||||
if args[1] == "-v" { // バージョンを表示
|
||||
fmt.Println("hozonsite-" + version)
|
||||
return
|
||||
} else if args[1] == "-s" {
|
||||
} else if args[1] == "-s" { // :9920でウェブサーバーを実行
|
||||
serv(cnf, 9920)
|
||||
} else if args[1] == "-h" {
|
||||
} else if args[1] == "-h" { // ヘルプを表示
|
||||
help()
|
||||
return
|
||||
} else {
|
||||
if checkprefix(args[1]) {
|
||||
eurl := stripurl(args[1])
|
||||
exist := checkexist(eurl, cnf.datapath)
|
||||
var confirm string
|
||||
if len(exist) > 0 {
|
||||
} else { // コマンドラインでウェブサイトを保存
|
||||
if checkprefix(args[1]) { // プロトコールはあってるかどうか
|
||||
eurl := stripurl(args[1]) // パラメートルの文字(?、=等)を削除
|
||||
exist := checkexist(eurl, cnf.datapath) // 既に/usr/share/hozonsite/archiveに存在するかどうか
|
||||
var confirm string // 既に存在したら、使う
|
||||
if len(exist) > 0 { // あ、既に存在する
|
||||
fmt.Println("このページが既に保存されているみたいです。")
|
||||
fmt.Println("本当に手続きましょうか? [y/N]")
|
||||
for _, ex := range exist {
|
||||
for _, ex := range exist { // 既に存在するページのURLを表示
|
||||
fmt.Println(strings.Replace(ex, cnf.datapath, cnf.domain, 1))
|
||||
}
|
||||
fmt.Scanf("%s", &confirm)
|
||||
}
|
||||
if len(exist) == 0 || confirm == "y" || confirm == "Y" {
|
||||
if len(exist) == 0 || confirm == "y" || confirm == "Y" { // 存在しない OR 「本当に手続きましょうか?」でYを入力した場合
|
||||
path := mkdirs(eurl, cnf.datapath)
|
||||
getpage(args[1], path)
|
||||
scanpage(path, eurl, cnf.datapath)
|
||||
fmt.Println(cnf.domain + strings.Replace(path, cnf.datapath, "", 1))
|
||||
getpage(args[1], path) // ページをダウンロード
|
||||
scanpage(path, eurl, cnf.datapath) // 色々の必須な編集
|
||||
fmt.Println(cnf.domain + strings.Replace(path, cnf.datapath, "", 1)) // 新しいURLを表示
|
||||
}
|
||||
return
|
||||
} else {
|
||||
} else { // 結局HTTPかHTTPSじゃないわね…
|
||||
fmt.Println("URLは不正です。終了…")
|
||||
return
|
||||
}
|
||||
}
|
||||
} else if len(args) == 3 && args[1] == "-s" {
|
||||
if port, err := strconv.Atoi(args[2]); err != nil {
|
||||
} else if len(args) == 3 && args[1] == "-s" { // 好みなポート番号でウェブサーバーを実行
|
||||
if port, err := strconv.Atoi(args[2]); err != nil { // でも、数字じゃないかもしん
|
||||
fmt.Printf("%qは数字ではありません。\n", args[2])
|
||||
return
|
||||
} else {
|
||||
} else { // OK、実行しよ〜
|
||||
serv(cnf, port)
|
||||
}
|
||||
} else {
|
||||
} else { // パラメートルは不明の場合、ヘルプを表示
|
||||
help()
|
||||
return
|
||||
}
|
||||
|
|
4
prep.go
4
prep.go
|
@ -8,10 +8,12 @@ import (
|
|||
"path/filepath"
|
||||
)
|
||||
|
||||
// HTTPかHTTPSの確認
|
||||
func checkprefix (url string) bool {
|
||||
return strings.HasPrefix(url, "http://") || strings.HasPrefix(url, "https://")
|
||||
}
|
||||
|
||||
// ページは既に存在するの?
|
||||
func checkexist (url string, prefix string) []string {
|
||||
res, err := filepath.Glob(prefix + "/archive/*" + url2path(url))
|
||||
if err != nil {
|
||||
|
@ -20,6 +22,7 @@ func checkexist (url string, prefix string) []string {
|
|||
return res
|
||||
}
|
||||
|
||||
// http:/かhttps:/はいらない。最後の「/」は必要
|
||||
func url2path (url string) string {
|
||||
res := ""
|
||||
if strings.HasPrefix(url, "https:/") {
|
||||
|
@ -35,6 +38,7 @@ func url2path (url string) string {
|
|||
return res
|
||||
}
|
||||
|
||||
// 必要なフォルダの創作
|
||||
func mkdirs (url string, prefix string) string {
|
||||
rep := url2path(url)
|
||||
t := time.Now().Unix()
|
||||
|
|
44
scanpage.go
44
scanpage.go
|
@ -13,25 +13,29 @@ import (
|
|||
)
|
||||
|
||||
func scanpage (path string, domain string, thisdomain string) error {
|
||||
// 先に保存したページを読み込む
|
||||
fn, err := os.ReadFile(path + "/index.html")
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
/* 削除 */
|
||||
// 要らないタグを削除
|
||||
var script = regexp.MustCompile(`(<script.*</script>)`).ReplaceAllString(string(fn), "")
|
||||
var noscript = regexp.MustCompile(`(<noscript.*</noscript>)`).ReplaceAllString(string(script), "")
|
||||
var audio = regexp.MustCompile(`(<audio.*</audio>)`).ReplaceAllString(string(noscript), "")
|
||||
var video = regexp.MustCompile(`(<video.*</video>)`).ReplaceAllString(string(audio), "")
|
||||
var iframe = regexp.MustCompile(`(<iframe.*</iframe>)`).ReplaceAllString(string(video), "")
|
||||
/* 追加ダウンロード+ローカル化 */
|
||||
// 追加ダウンロード+ローカル化
|
||||
var ass = regexp.MustCompile(`(<img.*src=['"]|<meta.*content=['"]|<link.*href=['"])(.*\.)(png|webp|jpg|jpeg|gif|css|js|ico|svg|ttf|woff2)(\?[^'"]*)?`)
|
||||
|
||||
// 必要であれば、ページ内のURLを修正
|
||||
spath := "static/"
|
||||
if !strings.HasSuffix(path, "/") {
|
||||
spath = "/" + spath
|
||||
}
|
||||
spath = path + spath
|
||||
|
||||
// また、追加ダウンロードのファイルに上記のフォルダを創作
|
||||
err = os.Mkdir(spath, 0755)
|
||||
if err != nil {
|
||||
return err
|
||||
|
@ -40,52 +44,57 @@ func scanpage (path string, domain string, thisdomain string) error {
|
|||
repmap := make(map[string]string)
|
||||
|
||||
for _, cssx := range ass.FindAllString(iframe, -1) {
|
||||
// ページ内のURLを受け取る
|
||||
s := regexp.MustCompile(`(.*src=['"]|.*content=['"]|.*href=['"])`).Split(cssx, -1)
|
||||
ss := regexp.MustCompile(`(['"].*)`).Split(s[1], -1)
|
||||
|
||||
ogurl := ss[0]
|
||||
ogurl := ss[0] // 変わる前に元のURLを保存して
|
||||
// URLは//で始まるは愛
|
||||
if strings.HasPrefix(ss[0], "//") {
|
||||
ss[0] = "https:" + ss[0]
|
||||
}
|
||||
|
||||
// ファイル名を見つけて
|
||||
fss := strings.Split(ss[0], "/")
|
||||
assdom := ""
|
||||
filename := fss[len(fss)-1]
|
||||
|
||||
// httpかhttpsで始まる場合
|
||||
if strings.HasPrefix(ss[0], "http://") || strings.HasPrefix(ss[0], "https://") {
|
||||
assdom = fss[2]
|
||||
}
|
||||
|
||||
// フォルダの創作
|
||||
asspath := path + "/static/" + assdom
|
||||
err = os.MkdirAll(asspath, 0755)
|
||||
if err != nil {
|
||||
if err != nil { // 出来なければ、死ね
|
||||
return err
|
||||
}
|
||||
|
||||
if filename == "" {
|
||||
if filename == "" { // ファイル名がなければ、次に値にスキップしてね
|
||||
continue
|
||||
}
|
||||
|
||||
if strings.HasPrefix(ss[0], "http://") || strings.HasPrefix(ss[0], "https://") {
|
||||
if strings.HasPrefix(ss[0], "http://") || strings.HasPrefix(ss[0], "https://") { // httpかhttpsで始まったら、ダウンロードだけしよう
|
||||
err = dlres(ss[0], filepath.Join(asspath, filename))
|
||||
if err != nil {
|
||||
if err != nil { // 出来なければ、死ね
|
||||
return err
|
||||
}
|
||||
} else {
|
||||
} else { // ローカルファイルなら、ちょっと変更は必要となるかしら
|
||||
u, err := url.Parse(domain)
|
||||
if err != nil {
|
||||
if err != nil { // 出来なければ、死ね
|
||||
return err
|
||||
}
|
||||
|
||||
rel, err := url.Parse(ss[0])
|
||||
if err != nil {
|
||||
if err != nil { // 出来なければ、死ね
|
||||
return err
|
||||
}
|
||||
|
||||
af := u.ResolveReference(rel).String()
|
||||
|
||||
err = dlres(af, filepath.Join(asspath, filename))
|
||||
if err != nil {
|
||||
if err != nil { // 出来なければ、死ね
|
||||
return err
|
||||
}
|
||||
}
|
||||
|
@ -95,26 +104,29 @@ func scanpage (path string, domain string, thisdomain string) error {
|
|||
repmap[ogurl] = filepath.Join("/static", filename)
|
||||
}
|
||||
|
||||
if err != nil {
|
||||
if err != nil { // 出来なければ、死ね
|
||||
fmt.Println(err)
|
||||
return errors.New("2. ダウンロードに失敗:")
|
||||
return errors.New("ダウンロードに失敗:")
|
||||
}
|
||||
}
|
||||
|
||||
// URLをローカル化
|
||||
for ourl, lurl := range repmap {
|
||||
aurl := strings.ReplaceAll(path, thisdomain, "") + stripver(lurl)
|
||||
iframe = strings.ReplaceAll(iframe, ourl, aurl)
|
||||
}
|
||||
|
||||
// index.htmlファイルを更新する
|
||||
err = os.WriteFile(path + "/index.html", []byte(iframe), 0644)
|
||||
if err != nil {
|
||||
if err != nil { // 出来なければ、死ね
|
||||
fmt.Println(err)
|
||||
return errors.New("書込に失敗")
|
||||
}
|
||||
|
||||
return nil
|
||||
return nil // エラーが出なかったから、返すのは不要
|
||||
}
|
||||
|
||||
// 画像、JS、CSS等ファイルのURLでパラメートルがある場合
|
||||
func stripver (durl string) string {
|
||||
u, err := url.Parse(durl)
|
||||
if err != nil {
|
||||
|
@ -134,7 +146,7 @@ func dlres (durl string, dest string) error {
|
|||
}
|
||||
defer res.Body.Close()
|
||||
|
||||
dest = stripver(dest)
|
||||
dest = stripver(dest) // URLでパラメートルがあれば、消す
|
||||
|
||||
// MIMEタイプを確認
|
||||
ct := res.Header.Get("Content-Type")
|
||||
|
|
7
srv.go
7
srv.go
|
@ -16,7 +16,7 @@ type (
|
|||
Tit, Err, Lan, Ver, Ves, Url, Body string
|
||||
Ext []Exist // 既に存在する場合
|
||||
}
|
||||
Stat struct {
|
||||
Stat struct { // APIのみ
|
||||
Url, Ver string
|
||||
}
|
||||
Exist struct {
|
||||
|
@ -24,6 +24,7 @@ type (
|
|||
}
|
||||
)
|
||||
|
||||
// 日本語か英語 TODO:複数言語対応
|
||||
func initloc (r *http.Request) string {
|
||||
cookie, err := r.Cookie("lang")
|
||||
if err == nil && cookie.Value == "en" {
|
||||
|
@ -44,6 +45,7 @@ func tspath (p string) string {
|
|||
return ""
|
||||
}
|
||||
|
||||
// ホームページ
|
||||
func siteHandler (cnf Config) func (http.ResponseWriter, *http.Request) {
|
||||
return func (w http.ResponseWriter, r *http.Request) {
|
||||
ftmpl := []string{cnf.webpath + "/view/index.html", cnf.webpath + "/view/header.html", cnf.webpath + "/view/footer.html"}
|
||||
|
@ -124,6 +126,7 @@ func siteHandler (cnf Config) func (http.ResponseWriter, *http.Request) {
|
|||
}
|
||||
}
|
||||
|
||||
// /api TODO
|
||||
func apiHandler (cnf Config) func (http.ResponseWriter, *http.Request) {
|
||||
return func (w http.ResponseWriter, r *http.Request) {
|
||||
w.Header().Set("Content-Type", "application/json; charset=UTF-8")
|
||||
|
@ -133,6 +136,7 @@ func apiHandler (cnf Config) func (http.ResponseWriter, *http.Request) {
|
|||
}
|
||||
}
|
||||
|
||||
// /archive
|
||||
func archiveHandler (cnf Config) func (http.ResponseWriter, *http.Request) {
|
||||
return func (w http.ResponseWriter, r *http.Request) {
|
||||
ftmpl := []string{cnf.webpath + "/view/index.html", cnf.webpath + "/view/header.html", cnf.webpath + "/view/footer.html"}
|
||||
|
@ -180,6 +184,7 @@ func archiveHandler (cnf Config) func (http.ResponseWriter, *http.Request) {
|
|||
}
|
||||
}
|
||||
|
||||
// サーバー
|
||||
func serv (cnf Config, port int) {
|
||||
http.Handle("/static/", http.StripPrefix("/static/", http.FileServer(http.Dir("static"))))
|
||||
|
||||
|
|
読み込み中…
新しいイシューから参照