Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
* A0 c+ c" C" q9 n$ K, Y  c" b登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
8 K! I  k( }4 @" U; y接着设置语言和本地化设置：
export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
Recipe: gitlab::database_migrations
  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
  * rails_migration[gitlab-rails] action run
; y* y& c, a# |7 ?# }3 F0 _- K3 Z( g    * bash[migrate gitlab-rails database] action run
5 p! `5 Y9 l: i" P9 B% J      
      ================================================================================
6 Z8 s0 B, F% z: ~% o+ D- }      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
      ================================================================================
, y- B* D+ `. t9 Y  |2 S' ?7 R2 e4 M+ g      
% e4 y0 ]( y7 O4 c  C7 @! ?      Mixlib::ShellOut::ShellCommandFailed
      ------------------------------------
      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
      
. n/ y! M0 `+ S) w' \' s      Resource Declaration:
      ---------------------
      suppressed sensitive resource output
' B9 @# ]% f$ @6 c& C+ }8 e+ E4 J      
      Compiled Resource:
; N! H- y; o7 M- O  X      ------------------
6 ]( J: P2 ?4 G! q& q2 P      suppressed sensitive resource output
; b: u  g/ N. y      
      System Info:
+ M$ {" Y/ h& M3 s9 j      ------------
- \9 i% J& |8 x1 \1 Q9 B      chef_version=15.17.4
* S. p9 Q" ^) s4 Q$ N2 E/ n( j      platform=ubuntu
      platform_version=20.04
3 c- O) }8 s0 Q      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
      program_name=/opt/gitlab/embedded/bin/chef-client
1 {  p9 I6 M0 s; {6 p2 z      executable=/opt/gitlab/embedded/bin/chef-client
      
/ z) J2 i; o& ?6 B( }/ a) e7 n   
    ================================================================================
    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
    ================================================================================
   
8 ?+ M+ v: d" w9 E/ \    Mixlib::ShellOut::ShellCommandFailed
    ------------------------------------
% X+ r# t# N9 _. U9 o    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
   
    Resource Declaration:
    ---------------------
/ [1 X& I8 G& c4 n    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
   
9 E' E/ g% M6 R7 i     51: rails_migration "gitlab-rails" do
     52:   rake_task 'gitlab:db:configure'
" m" }8 _* s' w& \7 l' ^* z     53:   logfile_prefix 'gitlab-rails-db-migrate'
     54:   helper migration_helper
     55:
     56:   environment env_variables
     57:   dependent_services dependent_services
  m5 |6 V# F* U( a8 B     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
* A. s6 W( Y0 v* c- [     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
& }3 G  P3 a5 a5 c$ }/ S     60:
. m% u. {. p" c5 U     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
! Z2 J' ~- m1 M' M     62: end
   
    Compiled Resource:
    ------------------
$ i3 e4 f' F% |' l$ P7 X    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
   
    rails_migration("gitlab-rails") do
' j# X0 D2 G8 h# @0 I1 p0 z      action [:run]
! @* N  @1 h4 i4 N' c; a      default_guard_interpreter :default
% a& A& L1 U# r  Z+ m: L' P      declared_type :rails_migration
      cookbook_name "gitlab"
      recipe_name "database_migrations"
! L! p6 H7 ^2 C      rake_task "gitlab:db:configure"
      logfile_prefix "gitlab-rails-db-migrate"
8 u" \8 b; E- b      helper "*sensitive value suppressed*"
3 C& W- T- D2 E; d% [8 @- [9 W      environment "*sensitive value suppressed*"
      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
      only_if { #code block }
& f+ Z; N$ @. i* y    end
   
! S. g9 x- g* v+ B5 e1 G9 b( T    System Info:
2 J! ]" a( v0 S) x) K    ------------
    chef_version=15.17.4
0 ?8 R0 p# g2 e/ ~% E    platform=ubuntu
    platform_version=20.04
    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
    program_name=/opt/gitlab/embedded/bin/chef-client
    executable=/opt/gitlab/embedded/bin/chef-client
- C5 b% @" f! U% b, D3 Y. h   
Running handlers:
There was an error running gitlab-ctl reconfigure:
rails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
/ ?: k* m8 m& i: E4 I- eRunning handlers complete
; ]  \' n! a6 s" SChef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
. g5 \6 U% a( H# }& U1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
# H  n1 P( d2 i8 _5 Y& n2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
4. 运行 gitlab-ctl reconfigure;
1 Z; W8 U0 M6 y0 n  ?5. 重启Gitlab：gitlab-ctl restart。
3 [$ E% z* Z6 ?" v3 I+ [需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
2. gitlab-ctl reconfigure failing due to migration issue
+ L* }6 _' {# Y0 b8 B& wAD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)