Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
2 A" ]" N9 T9 S- o! `  C运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
接着设置语言和本地化设置：
export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
3 `( l) D9 v7 I0 s) dRecipe: gitlab::database_migrations
  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
  * rails_migration[gitlab-rails] action run
3 N3 p3 O  T+ i# ?, b    * bash[migrate gitlab-rails database] action run
8 I- I: t& c  |5 x, b      
      ================================================================================
4 {3 [4 j- G/ f/ @      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
1 Q: {% \; Y# Y- ~6 P      ================================================================================
      
. L: E: v2 [& i. @, @& J7 i9 Y: C9 _1 I      Mixlib::ShellOut::ShellCommandFailed
, ~9 W# k% N: u2 {  S9 O3 ]6 [      ------------------------------------
$ J: y" l, w; c9 e/ `      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
      
' l' w/ f& N% ~/ O" z) }7 R      Resource Declaration:
      ---------------------
" n/ V( x* [  h      suppressed sensitive resource output
      
      Compiled Resource:
      ------------------
      suppressed sensitive resource output
      
      System Info:
2 J& r5 J) Z5 }9 A- b      ------------
$ d" d  b; r" m2 ~7 ?$ T/ i7 |      chef_version=15.17.4
      platform=ubuntu
  l5 Q% Q% f, }" c. H- S- l      platform_version=20.04
2 s) h' }9 ~" [4 N5 O3 |      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
      program_name=/opt/gitlab/embedded/bin/chef-client
% _! d4 v6 I, s      executable=/opt/gitlab/embedded/bin/chef-client
      
   
1 j( {7 o- M0 j; C+ M9 f3 r+ _' g    ================================================================================
% M& z( a) \+ g6 B    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
    ================================================================================
# E" b" E* @' |$ c9 `5 p3 E/ B. e   
" g9 K- F  l2 y3 ?9 x    Mixlib::ShellOut::ShellCommandFailed
    ------------------------------------
4 V2 Q6 V' {; C6 x/ @( t    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
: z1 S$ P( @* d2 S. `   
, }2 E$ l4 _7 v" ^0 P    Resource Declaration:
7 I( G, C! H- e" a2 x5 m    ---------------------
    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
   
     51: rails_migration "gitlab-rails" do
     52:   rake_task 'gitlab:db:configure'
     53:   logfile_prefix 'gitlab-rails-db-migrate'
     54:   helper migration_helper
( U' d7 X" z3 C/ Z7 s2 F     55:
     56:   environment env_variables
/ ^4 C* U% o3 m9 V6 \% n     57:   dependent_services dependent_services
. g9 Y* F( Q( T+ G4 `     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
     60:
     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
     62: end
3 t+ ^) s, N" U2 B   
    Compiled Resource:
. w4 Q$ h, l, u% S    ------------------
    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
: d  Q$ \: L" A3 _   
    rails_migration("gitlab-rails") do
! L  u9 f. O8 j$ L( J( u5 Q      action [:run]
      default_guard_interpreter :default
      declared_type :rails_migration
2 S6 L+ ~  B! O      cookbook_name "gitlab"
& H# a4 _& s! z: F3 B4 v; _5 l' ?      recipe_name "database_migrations"
      rake_task "gitlab:db:configure"
      logfile_prefix "gitlab-rails-db-migrate"
      helper "*sensitive value suppressed*"
      environment "*sensitive value suppressed*"
      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
      only_if { #code block }
    end
8 n* @4 y& Q8 U# ~   
' G2 k# m7 j) f    System Info:
    ------------
0 ~  O7 ]( @: ]) z    chef_version=15.17.4
* p/ Z' Z& E" K! f  S    platform=ubuntu
4 _$ I( k4 g  b" R  S2 U! u7 [    platform_version=20.04
, A7 D* S6 U+ o+ G& t    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
3 m: ^, b5 F9 I2 N    program_name=/opt/gitlab/embedded/bin/chef-client
4 P: c3 F& g+ C8 [/ ~    executable=/opt/gitlab/embedded/bin/chef-client
   
Running handlers:
, g! V8 O0 g. B9 cThere was an error running gitlab-ctl reconfigure:
rails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
Running handlers complete
% \3 u/ k$ }2 _& d* x+ yChef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
# z3 q$ G7 V5 h7 }4 y3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
4. 运行 gitlab-ctl reconfigure;
* F, d( ^" b! N: A- Y% k( g5. 重启Gitlab：gitlab-ctl restart。
需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
8 d( x+ b/ p* H0 R- C参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
2. gitlab-ctl reconfigure failing due to migration issue
AD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)