mirror of https://github.com/go-gitea/gitea.git
Avatars and Repo avatars support storing in minio (#12516)
* Avatar support minio * Support repo avatar minio storage * Add missing migration * Fix bug * Fix test * Add test for minio store type on avatars and repo avatars; Add documents * Fix bug * Fix bug * Add back missed avatar link method * refactor codes * Simplify the codes * Code improvements * Fix lint * Fix test mysql * Fix test mysql * Fix test mysql * Fix settings * Fix test * fix test * Fix bugpull/13143/head^2
Lunny Xiao
4 years ago
committed by
GitHub
parent
93f7525061
commit
80a6b0f5bc
@ -0,0 +1,190 @@
|
|||||||
|
// Copyright 2020 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package models
|
||||||
|
|
||||||
|
import (
|
||||||
|
"context"
|
||||||
|
"crypto/md5"
|
||||||
|
"fmt"
|
||||||
|
"image/png"
|
||||||
|
"io"
|
||||||
|
"strconv"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"code.gitea.io/gitea/modules/avatar"
|
||||||
|
"code.gitea.io/gitea/modules/log"
|
||||||
|
"code.gitea.io/gitea/modules/setting"
|
||||||
|
"code.gitea.io/gitea/modules/storage"
|
||||||
|
)
|
||||||
|
|
||||||
|
// CustomAvatarRelativePath returns repository custom avatar file path.
|
||||||
|
func (repo *Repository) CustomAvatarRelativePath() string {
|
||||||
|
return repo.Avatar
|
||||||
|
}
|
||||||
|
|
||||||
|
// generateRandomAvatar generates a random avatar for repository.
|
||||||
|
func (repo *Repository) generateRandomAvatar(e Engine) error {
|
||||||
|
idToString := fmt.Sprintf("%d", repo.ID)
|
||||||
|
|
||||||
|
seed := idToString
|
||||||
|
img, err := avatar.RandomImage([]byte(seed))
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("RandomImage: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
repo.Avatar = idToString
|
||||||
|
|
||||||
|
if err := storage.SaveFrom(storage.RepoAvatars, repo.CustomAvatarRelativePath(), func(w io.Writer) error {
|
||||||
|
if err := png.Encode(w, img); err != nil {
|
||||||
|
log.Error("Encode: %v", err)
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}); err != nil {
|
||||||
|
return fmt.Errorf("Failed to create dir %s: %v", repo.CustomAvatarRelativePath(), err)
|
||||||
|
}
|
||||||
|
|
||||||
|
log.Info("New random avatar created for repository: %d", repo.ID)
|
||||||
|
|
||||||
|
if _, err := e.ID(repo.ID).Cols("avatar").NoAutoTime().Update(repo); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// RemoveRandomAvatars removes the randomly generated avatars that were created for repositories
|
||||||
|
func RemoveRandomAvatars(ctx context.Context) error {
|
||||||
|
return x.
|
||||||
|
Where("id > 0").BufferSize(setting.Database.IterateBufferSize).
|
||||||
|
Iterate(new(Repository),
|
||||||
|
func(idx int, bean interface{}) error {
|
||||||
|
repository := bean.(*Repository)
|
||||||
|
select {
|
||||||
|
case <-ctx.Done():
|
||||||
|
return ErrCancelledf("before random avatars removed for %s", repository.FullName())
|
||||||
|
default:
|
||||||
|
}
|
||||||
|
stringifiedID := strconv.FormatInt(repository.ID, 10)
|
||||||
|
if repository.Avatar == stringifiedID {
|
||||||
|
return repository.DeleteAvatar()
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
})
|
||||||
|
}
|
||||||
|
|
||||||
|
// RelAvatarLink returns a relative link to the repository's avatar.
|
||||||
|
func (repo *Repository) RelAvatarLink() string {
|
||||||
|
return repo.relAvatarLink(x)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (repo *Repository) relAvatarLink(e Engine) string {
|
||||||
|
// If no avatar - path is empty
|
||||||
|
avatarPath := repo.CustomAvatarRelativePath()
|
||||||
|
if len(avatarPath) == 0 {
|
||||||
|
switch mode := setting.RepoAvatar.Fallback; mode {
|
||||||
|
case "image":
|
||||||
|
return setting.RepoAvatar.FallbackImage
|
||||||
|
case "random":
|
||||||
|
if err := repo.generateRandomAvatar(e); err != nil {
|
||||||
|
log.Error("generateRandomAvatar: %v", err)
|
||||||
|
}
|
||||||
|
default:
|
||||||
|
// default behaviour: do not display avatar
|
||||||
|
return ""
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return setting.AppSubURL + "/repo-avatars/" + repo.Avatar
|
||||||
|
}
|
||||||
|
|
||||||
|
// AvatarLink returns a link to the repository's avatar.
|
||||||
|
func (repo *Repository) AvatarLink() string {
|
||||||
|
return repo.avatarLink(x)
|
||||||
|
}
|
||||||
|
|
||||||
|
// avatarLink returns user avatar absolute link.
|
||||||
|
func (repo *Repository) avatarLink(e Engine) string {
|
||||||
|
link := repo.relAvatarLink(e)
|
||||||
|
// link may be empty!
|
||||||
|
if len(link) > 0 {
|
||||||
|
if link[0] == '/' && link[1] != '/' {
|
||||||
|
return setting.AppURL + strings.TrimPrefix(link, setting.AppSubURL)[1:]
|
||||||
|
}
|
||||||
|
}
|
||||||
|
return link
|
||||||
|
}
|
||||||
|
|
||||||
|
// UploadAvatar saves custom avatar for repository.
|
||||||
|
// FIXME: split uploads to different subdirs in case we have massive number of repos.
|
||||||
|
func (repo *Repository) UploadAvatar(data []byte) error {
|
||||||
|
m, err := avatar.Prepare(data)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
newAvatar := fmt.Sprintf("%d-%x", repo.ID, md5.Sum(data))
|
||||||
|
if repo.Avatar == newAvatar { // upload the same picture
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
sess := x.NewSession()
|
||||||
|
defer sess.Close()
|
||||||
|
if err = sess.Begin(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
oldAvatarPath := repo.CustomAvatarRelativePath()
|
||||||
|
|
||||||
|
// Users can upload the same image to other repo - prefix it with ID
|
||||||
|
// Then repo will be removed - only it avatar file will be removed
|
||||||
|
repo.Avatar = newAvatar
|
||||||
|
if _, err := sess.ID(repo.ID).Cols("avatar").Update(repo); err != nil {
|
||||||
|
return fmt.Errorf("UploadAvatar: Update repository avatar: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := storage.SaveFrom(storage.RepoAvatars, repo.CustomAvatarRelativePath(), func(w io.Writer) error {
|
||||||
|
if err := png.Encode(w, *m); err != nil {
|
||||||
|
log.Error("Encode: %v", err)
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}); err != nil {
|
||||||
|
return fmt.Errorf("UploadAvatar %s failed: Failed to remove old repo avatar %s: %v", repo.RepoPath(), newAvatar, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if len(oldAvatarPath) > 0 {
|
||||||
|
if err := storage.RepoAvatars.Delete(oldAvatarPath); err != nil {
|
||||||
|
return fmt.Errorf("UploadAvatar: Failed to remove old repo avatar %s: %v", oldAvatarPath, err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return sess.Commit()
|
||||||
|
}
|
||||||
|
|
||||||
|
// DeleteAvatar deletes the repos's custom avatar.
|
||||||
|
func (repo *Repository) DeleteAvatar() error {
|
||||||
|
// Avatar not exists
|
||||||
|
if len(repo.Avatar) == 0 {
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
avatarPath := repo.CustomAvatarRelativePath()
|
||||||
|
log.Trace("DeleteAvatar[%d]: %s", repo.ID, avatarPath)
|
||||||
|
|
||||||
|
sess := x.NewSession()
|
||||||
|
defer sess.Close()
|
||||||
|
if err := sess.Begin(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
repo.Avatar = ""
|
||||||
|
if _, err := sess.ID(repo.ID).Cols("avatar").Update(repo); err != nil {
|
||||||
|
return fmt.Errorf("DeleteAvatar: Update repository avatar: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := storage.RepoAvatars.Delete(avatarPath); err != nil {
|
||||||
|
return fmt.Errorf("DeleteAvatar: Failed to remove %s: %v", avatarPath, err)
|
||||||
|
}
|
||||||
|
|
||||||
|
return sess.Commit()
|
||||||
|
}
|
||||||
@ -0,0 +1,169 @@
|
|||||||
|
// Copyright 2020 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package models
|
||||||
|
|
||||||
|
import (
|
||||||
|
"crypto/md5"
|
||||||
|
"fmt"
|
||||||
|
"image/png"
|
||||||
|
"io"
|
||||||
|
"strconv"
|
||||||
|
"strings"
|
||||||
|
|
||||||
|
"code.gitea.io/gitea/modules/avatar"
|
||||||
|
"code.gitea.io/gitea/modules/base"
|
||||||
|
"code.gitea.io/gitea/modules/log"
|
||||||
|
"code.gitea.io/gitea/modules/setting"
|
||||||
|
"code.gitea.io/gitea/modules/storage"
|
||||||
|
)
|
||||||
|
|
||||||
|
// CustomAvatarRelativePath returns user custom avatar relative path.
|
||||||
|
func (u *User) CustomAvatarRelativePath() string {
|
||||||
|
return u.Avatar
|
||||||
|
}
|
||||||
|
|
||||||
|
// GenerateRandomAvatar generates a random avatar for user.
|
||||||
|
func (u *User) GenerateRandomAvatar() error {
|
||||||
|
return u.generateRandomAvatar(x)
|
||||||
|
}
|
||||||
|
|
||||||
|
func (u *User) generateRandomAvatar(e Engine) error {
|
||||||
|
seed := u.Email
|
||||||
|
if len(seed) == 0 {
|
||||||
|
seed = u.Name
|
||||||
|
}
|
||||||
|
|
||||||
|
img, err := avatar.RandomImage([]byte(seed))
|
||||||
|
if err != nil {
|
||||||
|
return fmt.Errorf("RandomImage: %v", err)
|
||||||
|
}
|
||||||
|
// NOTICE for random avatar, it still uses id as avatar name, but custom avatar use md5
|
||||||
|
// since random image is not a user's photo, there is no security for enumable
|
||||||
|
if u.Avatar == "" {
|
||||||
|
u.Avatar = fmt.Sprintf("%d", u.ID)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := storage.SaveFrom(storage.Avatars, u.CustomAvatarRelativePath(), func(w io.Writer) error {
|
||||||
|
if err := png.Encode(w, img); err != nil {
|
||||||
|
log.Error("Encode: %v", err)
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}); err != nil {
|
||||||
|
return fmt.Errorf("Failed to create dir %s: %v", u.CustomAvatarRelativePath(), err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if _, err := e.ID(u.ID).Cols("avatar").Update(u); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
log.Info("New random avatar created: %d", u.ID)
|
||||||
|
return nil
|
||||||
|
}
|
||||||
|
|
||||||
|
// SizedRelAvatarLink returns a link to the user's avatar via
|
||||||
|
// the local explore page. Function returns immediately.
|
||||||
|
// When applicable, the link is for an avatar of the indicated size (in pixels).
|
||||||
|
func (u *User) SizedRelAvatarLink(size int) string {
|
||||||
|
return strings.TrimSuffix(setting.AppSubURL, "/") + "/user/avatar/" + u.Name + "/" + strconv.Itoa(size)
|
||||||
|
}
|
||||||
|
|
||||||
|
// RealSizedAvatarLink returns a link to the user's avatar. When
|
||||||
|
// applicable, the link is for an avatar of the indicated size (in pixels).
|
||||||
|
//
|
||||||
|
// This function make take time to return when federated avatars
|
||||||
|
// are in use, due to a DNS lookup need
|
||||||
|
//
|
||||||
|
func (u *User) RealSizedAvatarLink(size int) string {
|
||||||
|
if u.ID == -1 {
|
||||||
|
return base.DefaultAvatarLink()
|
||||||
|
}
|
||||||
|
|
||||||
|
switch {
|
||||||
|
case u.UseCustomAvatar:
|
||||||
|
if u.Avatar == "" {
|
||||||
|
return base.DefaultAvatarLink()
|
||||||
|
}
|
||||||
|
return setting.AppSubURL + "/avatars/" + u.Avatar
|
||||||
|
case setting.DisableGravatar, setting.OfflineMode:
|
||||||
|
if u.Avatar == "" {
|
||||||
|
if err := u.GenerateRandomAvatar(); err != nil {
|
||||||
|
log.Error("GenerateRandomAvatar: %v", err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
return setting.AppSubURL + "/avatars/" + u.Avatar
|
||||||
|
}
|
||||||
|
return base.SizedAvatarLink(u.AvatarEmail, size)
|
||||||
|
}
|
||||||
|
|
||||||
|
// RelAvatarLink returns a relative link to the user's avatar. The link
|
||||||
|
// may either be a sub-URL to this site, or a full URL to an external avatar
|
||||||
|
// service.
|
||||||
|
func (u *User) RelAvatarLink() string {
|
||||||
|
return u.SizedRelAvatarLink(base.DefaultAvatarSize)
|
||||||
|
}
|
||||||
|
|
||||||
|
// AvatarLink returns user avatar absolute link.
|
||||||
|
func (u *User) AvatarLink() string {
|
||||||
|
link := u.RelAvatarLink()
|
||||||
|
if link[0] == '/' && link[1] != '/' {
|
||||||
|
return setting.AppURL + strings.TrimPrefix(link, setting.AppSubURL)[1:]
|
||||||
|
}
|
||||||
|
return link
|
||||||
|
}
|
||||||
|
|
||||||
|
// UploadAvatar saves custom avatar for user.
|
||||||
|
// FIXME: split uploads to different subdirs in case we have massive users.
|
||||||
|
func (u *User) UploadAvatar(data []byte) error {
|
||||||
|
m, err := avatar.Prepare(data)
|
||||||
|
if err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
sess := x.NewSession()
|
||||||
|
defer sess.Close()
|
||||||
|
if err = sess.Begin(); err != nil {
|
||||||
|
return err
|
||||||
|
}
|
||||||
|
|
||||||
|
u.UseCustomAvatar = true
|
||||||
|
// Different users can upload same image as avatar
|
||||||
|
// If we prefix it with u.ID, it will be separated
|
||||||
|
// Otherwise, if any of the users delete his avatar
|
||||||
|
// Other users will lose their avatars too.
|
||||||
|
u.Avatar = fmt.Sprintf("%x", md5.Sum([]byte(fmt.Sprintf("%d-%x", u.ID, md5.Sum(data)))))
|
||||||
|
if err = updateUser(sess, u); err != nil {
|
||||||
|
return fmt.Errorf("updateUser: %v", err)
|
||||||
|
}
|
||||||
|
|
||||||
|
if err := storage.SaveFrom(storage.Avatars, u.CustomAvatarRelativePath(), func(w io.Writer) error {
|
||||||
|
if err := png.Encode(w, *m); err != nil {
|
||||||
|
log.Error("Encode: %v", err)
|
||||||
|
}
|
||||||
|
return err
|
||||||
|
}); err != nil {
|
||||||
|
return fmt.Errorf("Failed to create dir %s: %v", u.CustomAvatarRelativePath(), err)
|
||||||
|
}
|
||||||
|
|
||||||
|
return sess.Commit()
|
||||||
|
}
|
||||||
|
|
||||||
|
// DeleteAvatar deletes the user's custom avatar.
|
||||||
|
func (u *User) DeleteAvatar() error {
|
||||||
|
aPath := u.CustomAvatarRelativePath()
|
||||||
|
log.Trace("DeleteAvatar[%d]: %s", u.ID, aPath)
|
||||||
|
if len(u.Avatar) > 0 {
|
||||||
|
if err := storage.Avatars.Delete(aPath); err != nil {
|
||||||
|
return fmt.Errorf("Failed to remove %s: %v", aPath, err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
u.UseCustomAvatar = false
|
||||||
|
u.Avatar = ""
|
||||||
|
if _, err := x.ID(u.ID).Cols("avatar, use_custom_avatar").Update(u); err != nil {
|
||||||
|
return fmt.Errorf("UpdateUser: %v", err)
|
||||||
|
}
|
||||||
|
return nil
|
||||||
|
}
|
||||||
@ -0,0 +1,114 @@
|
|||||||
|
// Copyright 2020 The Gitea Authors. All rights reserved.
|
||||||
|
// Use of this source code is governed by a MIT-style
|
||||||
|
// license that can be found in the LICENSE file.
|
||||||
|
|
||||||
|
package setting
|
||||||
|
|
||||||
|
import (
|
||||||
|
"net/url"
|
||||||
|
|
||||||
|
"code.gitea.io/gitea/modules/log"
|
||||||
|
|
||||||
|
"strk.kbt.io/projects/go/libravatar"
|
||||||
|
)
|
||||||
|
|
||||||
|
// settings
|
||||||
|
var (
|
||||||
|
// Picture settings
|
||||||
|
Avatar = struct {
|
||||||
|
Storage
|
||||||
|
|
||||||
|
MaxWidth int
|
||||||
|
MaxHeight int
|
||||||
|
MaxFileSize int64
|
||||||
|
}{
|
||||||
|
MaxWidth: 4096,
|
||||||
|
MaxHeight: 3072,
|
||||||
|
MaxFileSize: 1048576,
|
||||||
|
}
|
||||||
|
|
||||||
|
GravatarSource string
|
||||||
|
GravatarSourceURL *url.URL
|
||||||
|
DisableGravatar bool
|
||||||
|
EnableFederatedAvatar bool
|
||||||
|
LibravatarService *libravatar.Libravatar
|
||||||
|
|
||||||
|
RepoAvatar = struct {
|
||||||
|
Storage
|
||||||
|
|
||||||
|
Fallback string
|
||||||
|
FallbackImage string
|
||||||
|
}{}
|
||||||
|
)
|
||||||
|
|
||||||
|
func newPictureService() {
|
||||||
|
sec := Cfg.Section("picture")
|
||||||
|
|
||||||
|
avatarSec := Cfg.Section("avatar")
|
||||||
|
storageType := sec.Key("AVATAR_STORAGE_TYPE").MustString("")
|
||||||
|
// Specifically default PATH to AVATAR_UPLOAD_PATH
|
||||||
|
avatarSec.Key("PATH").MustString(
|
||||||
|
sec.Key("AVATAR_UPLOAD_PATH").String())
|
||||||
|
|
||||||
|
Avatar.Storage = getStorage("avatars", storageType, avatarSec)
|
||||||
|
|
||||||
|
Avatar.MaxWidth = sec.Key("AVATAR_MAX_WIDTH").MustInt(4096)
|
||||||
|
Avatar.MaxHeight = sec.Key("AVATAR_MAX_HEIGHT").MustInt(3072)
|
||||||
|
Avatar.MaxFileSize = sec.Key("AVATAR_MAX_FILE_SIZE").MustInt64(1048576)
|
||||||
|
|
||||||
|
switch source := sec.Key("GRAVATAR_SOURCE").MustString("gravatar"); source {
|
||||||
|
case "duoshuo":
|
||||||
|
GravatarSource = "http://gravatar.duoshuo.com/avatar/"
|
||||||
|
case "gravatar":
|
||||||
|
GravatarSource = "https://secure.gravatar.com/avatar/"
|
||||||
|
case "libravatar":
|
||||||
|
GravatarSource = "https://seccdn.libravatar.org/avatar/"
|
||||||
|
default:
|
||||||
|
GravatarSource = source
|
||||||
|
}
|
||||||
|
DisableGravatar = sec.Key("DISABLE_GRAVATAR").MustBool()
|
||||||
|
EnableFederatedAvatar = sec.Key("ENABLE_FEDERATED_AVATAR").MustBool(!InstallLock)
|
||||||
|
if OfflineMode {
|
||||||
|
DisableGravatar = true
|
||||||
|
EnableFederatedAvatar = false
|
||||||
|
}
|
||||||
|
if DisableGravatar {
|
||||||
|
EnableFederatedAvatar = false
|
||||||
|
}
|
||||||
|
if EnableFederatedAvatar || !DisableGravatar {
|
||||||
|
var err error
|
||||||
|
GravatarSourceURL, err = url.Parse(GravatarSource)
|
||||||
|
if err != nil {
|
||||||
|
log.Fatal("Failed to parse Gravatar URL(%s): %v",
|
||||||
|
GravatarSource, err)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
if EnableFederatedAvatar {
|
||||||
|
LibravatarService = libravatar.New()
|
||||||
|
if GravatarSourceURL.Scheme == "https" {
|
||||||
|
LibravatarService.SetUseHTTPS(true)
|
||||||
|
LibravatarService.SetSecureFallbackHost(GravatarSourceURL.Host)
|
||||||
|
} else {
|
||||||
|
LibravatarService.SetUseHTTPS(false)
|
||||||
|
LibravatarService.SetFallbackHost(GravatarSourceURL.Host)
|
||||||
|
}
|
||||||
|
}
|
||||||
|
|
||||||
|
newRepoAvatarService()
|
||||||
|
}
|
||||||
|
|
||||||
|
func newRepoAvatarService() {
|
||||||
|
sec := Cfg.Section("picture")
|
||||||
|
|
||||||
|
repoAvatarSec := Cfg.Section("repo-avatar")
|
||||||
|
storageType := sec.Key("REPOSITORY_AVATAR_STORAGE_TYPE").MustString("")
|
||||||
|
// Specifically default PATH to AVATAR_UPLOAD_PATH
|
||||||
|
repoAvatarSec.Key("PATH").MustString(
|
||||||
|
sec.Key("REPOSITORY_AVATAR_UPLOAD_PATH").String())
|
||||||
|
|
||||||
|
RepoAvatar.Storage = getStorage("repo-avatars", storageType, repoAvatarSec)
|
||||||
|
|
||||||
|
RepoAvatar.Fallback = sec.Key("REPOSITORY_AVATAR_FALLBACK").MustString("none")
|
||||||
|
RepoAvatar.FallbackImage = sec.Key("REPOSITORY_AVATAR_FALLBACK_IMAGE").MustString("/img/repo_default.png")
|
||||||
|
}
|
||||||
Loading…
Reference in New Issue