Gitlab升级14.10.0后运行出错 - 青浦海洋数码电脑城

[db:作者]

上周更新系统，看到Gitlab-CE有新版本，直接就更新了。今天写好代码要推送的时候，发现服务端竟然挂了，提示502错误。
9 L8 _  j' x$ }, R( f; q登陆到服务器，运行 gitlab-ctl status 查看状态，组件都正常运行。唯一的意外是：ssh登录服务器时，会出现”LANG cannot change locale (en_US.utf8)” 的提示。暂时想不到其他原因，就先解决这个问题。
运行 locale -a 命令，发现系统中确实没有 en_US.utf8 的本地化设置文件。于是编辑 /etc/locale.gen 文件，取消 “en_US.UTF-8 UTF-8” 这一行的注释，运行 locale-gen ，生成 en_US.utf8 相关文件。
接着设置语言和本地化设置：
export LC_ALL=en_US.UTF-8
1 E0 g$ N0 _9 \# r' bexport LANG=en_US.UTF-8断开ssh重新登陆，bash的警告提示消失了。运行 gitlab-ctl restart 重启Gitlab，代码能正常推送，网站能打开，似乎问题都解决了。
但是好事多磨，过了没多久，发现网页都是500错误。虽然能通过git正常推送和拉去代码，但是网页用不了也挺烦人的。想到上个月为了节省服务器资源，把Premethus、Grafana等用不到的组件都关了，会不会是这个原因导致的？
于是编辑 /etc/gitlab/gitlab.rb 文件，把组件又启用。运行 gitlab-ctl reconfigure 重新配置，意外发现了，脚本无法运行成功，出现了如下提示：
Recipe: gitlab::database_migrations
5 y, Z. t: p$ }/ i) v1 z  * ruby_block[check remote PG version] action nothing (skipped due to action :nothing)
3 V, A: E" A+ y; ?/ b9 E  * rails_migration[gitlab-rails] action run
- e6 O1 x' G  I  m    * bash[migrate gitlab-rails database] action run
! e1 C& E! b. y      
      ================================================================================
      Error executing action `run` on resource 'bash[migrate gitlab-rails database]'
! Y9 V' {) V- @5 Z      ================================================================================
      
* h$ U' K; \5 `& J" D  O% g3 `% w      Mixlib::ShellOut::ShellCommandFailed
( x( X, w: J4 {+ B      ------------------------------------
      Command execution failed. STDOUT/STDERR suppressed for sensitive resource
% F1 I! X9 l: K. q. n1 I      
      Resource Declaration:
      ---------------------
      suppressed sensitive resource output
      
      Compiled Resource:
' Z% R- c2 U2 N# R      ------------------
      suppressed sensitive resource output
      
5 N' [) a8 T5 O( R      System Info:
      ------------
- d3 t9 P# _1 H      chef_version=15.17.4
      platform=ubuntu
* J) H& p% {- i8 c9 L      platform_version=20.04
      ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
      program_name=/opt/gitlab/embedded/bin/chef-client
      executable=/opt/gitlab/embedded/bin/chef-client
      
   
    ================================================================================
& x; \$ _  r4 ^' l9 r; N6 {3 I    Error executing action `run` on resource 'rails_migration[gitlab-rails]'
    ================================================================================
   
    Mixlib::ShellOut::ShellCommandFailed
    ------------------------------------
4 C. z2 Q' i- v! \- k    bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
! L- H7 o& G! w5 x+ Y  Y   
    Resource Declaration:
    ---------------------
6 v7 Z4 g5 |: L4 _# E! |0 U    # In /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb
) ]( f$ m* ]8 M1 m7 g& R# J6 E   
8 N1 k6 S! B6 g4 w     51: rails_migration "gitlab-rails" do
+ ]: V& D0 G" r6 q     52:   rake_task 'gitlab:db:configure'
0 F# Q5 f" ~6 T, a- b     53:   logfile_prefix 'gitlab-rails-db-migrate'
( k8 W% E  V- O2 G; L% v" ?     54:   helper migration_helper
# @; u) @. Q% ?4 w     55:
1 ]+ _0 X0 p% w( D     56:   environment env_variables
8 R* J& s! d" D4 o3 Y/ K8 Q     57:   dependent_services dependent_services
4 {. {5 q5 s+ _8 `9 f4 q" n     58:   notifies :run, "execute[clear the gitlab-rails cache]", :immediately
" P$ u0 Z  q+ P9 P4 h  U; G     59:   notifies :run, "ruby_block[check remote PG version]", :immediately
! ~( v- J+ A' {" H8 Q+ `     60:
     61:   only_if { migration_helper.attributes_node['auto_migrate'] }
8 v2 s. G9 {6 S2 @4 C+ _. N2 _     62: end
, A( [2 \  ^4 t   
" y/ d% L! T+ K8 T    Compiled Resource:
    ------------------
& M* r% {" L$ M, s, a5 D6 C7 P    # Declared in /opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/recipes/database_migrations.rb:51:in `from_file'
+ O, F+ h5 v" y, N" G+ f3 ~   
, z5 B# ~& k: V# j    rails_migration("gitlab-rails") do
      action [:run]
1 m7 `& B2 T: v( |& X- V      default_guard_interpreter :default
( }' X2 }. s6 O5 F      declared_type :rails_migration
" P! k+ y( j. l. d& b      cookbook_name "gitlab"
      recipe_name "database_migrations"
) l+ N6 x3 w5 i+ _: T      rake_task "gitlab:db:configure"
      logfile_prefix "gitlab-rails-db-migrate"
      helper "*sensitive value suppressed*"
, L; \# [. z" m. f* ~5 N      environment "*sensitive value suppressed*"
( e' L3 }+ z: {' E      dependent_services ["runit_service[puma]", "sidekiq_service[sidekiq]"]
; K% g$ l3 ]0 m; {6 z7 _      only_if { #code block }
    end
! ^2 P. z  \: c* M6 B# ?& f1 Y   
3 H# N5 J" r2 @# ?. k    System Info:
    ------------
1 x8 a3 u# ]7 W9 W- |" d9 q! I% {    chef_version=15.17.4
    platform=ubuntu
0 \% G( m, q  Z    platform_version=20.04
    ruby=ruby 2.7.5p203 (2021-11-24 revision f69aeb8314) [x86_64-linux]
# _8 e4 p; j% f$ c- U    program_name=/opt/gitlab/embedded/bin/chef-client
    executable=/opt/gitlab/embedded/bin/chef-client
9 H- {# e: f) N# p' @, j   
Running handlers:
There was an error running gitlab-ctl reconfigure:
rails_migration[gitlab-rails] (gitlab::database_migrations line 51) had an error: Mixlib::ShellOut::ShellCommandFailed: bash[migrate gitlab-rails database] (/opt/gitlab/embedded/cookbooks/cache/cookbooks/gitlab/resources/rails_migration.rb line 16) had an error: Mixlib::ShellOut::ShellCommandFailed: Command execution failed. STDOUT/STDERR suppressed for sensitive resource
Running handlers complete
8 x, X$ v% g' U/ P# Z/ X( @5 SChef Infra Client failed. 0 resources updated in 21 seconds网上一查，发现和上次碰到的 Gitlab更新设置总是500错误 问题一样，又是Gitlab官方的锅。但是这次解决问题比之前更麻烦，步骤为：
1. 运行 gitlab-rake db:migrate，出现错误没关系，中间会输出一行用于终止后台任务的命令；
2. 复制这条命令或者上一步控制台输出的指令： gitlab-rake gitlab:background_migrations:finalize[ProjectNamespaces::BackfillProjectNamespaces,projects,id,'[null\,"up"]']。运行这条指令可能会失败，如果失败，请重新运行上面的指令，成功说明问题解决了；
3. 再次运行 gitlab-rake db:migrate，确认不会再报错；
+ _9 y) J6 V6 i8 K% A, D1 g' }4. 运行 gitlab-ctl reconfigure;
5. 重启Gitlab：gitlab-ctl restart。
需要注意的是，这个bug是在Gitlab-CE 14.10.0中引入，在14.10.1版本被修复。如果运行过reconfigure但没解决错误，是无法直接升级到14.10.1版本的。
参考1. Gitlab-ctl reconfigure doesn’t work after gitlab omnibus updated
- {5 t# U# k# J$ m% P. l7 _2. gitlab-ctl reconfigure failing due to migration issue
AD：【加速器推荐】 搬瓦工官方代理服务Just My Socks，高速CN2 GIA线路流畅访问外网，被墙自动更换IP打赏赞(2)