网站崩了,但崩的不是网站——简记应急状态下的服务恢复

发布于 2022-12-27  524 次阅读


1.宕机

2022-12.16 12:35左右 想登录博客发一个说说 偶然间发现网页突然打不开了,以为是手机问题,于是拖着被新冠折磨的身体从床上爬起来,打开电脑尝试访问博客 ,edge提示err_connection_timed_out。

1.1寻找问题

看到这个第一反应是不是ip被GFW阻断了,于是打开科学上网工具,前往中国香港和中国台湾尝试链接,依旧失败。

然后我打开了FinalShell,打算试一下SSH:

也是寄,一时间摸不着头脑,于是我又打开了CMD,尝试ping服务器的两个ipv4和一个ipv6地址

本机不通,可能是GFW。于是我又掏出了我在中国香港的一个小机器:

还是不通

诶我就傻了,不会是被黑了吧,但转念一想被黑了也不能从公网离线

思索了一下之后登录了DO的控制台,看了一下确实服务器是在线状态:(其实图片是后来补截的)

尝试使用网页控制台进行登录:

但是会一直卡在这个页面:

然后不久后就会变成:

这肯定不对劲啊,于是我继续尝试了恢复控制台:(应该是物理机直连或者内网直连)

输入账号密码,回车:(这个图依旧是后补的)

到此可以初步确认,网炸了

然后使用简单的几项测试验证一下我的猜想:

speedtest无法解析,ping百度无法解析,ping ip地址网络异常

好了,故障知道了——网炸了

1.2 尝试排故

找到故障在哪接下来就得排除故障了,但是限于本人对linux浅薄的理解,这种东西我真不会修啊

对于这种问题,我只会 重启解决99%问题,重买解决100%问题

在我尝试重启无果后

于是,我给DO支持团队发了一个工单:

不久(指三个来小时),在那边时间的早上12点,回复了我的工单:

基本都是网络状态相关的命令,执行结果的图片放在下面了

说实话,这堆东西 ——我看不懂

所以我就回复了这些图片,看看DO支持人员咋说

然后,DO不负众望的在早上五点(当地时间)回复我了:

他认为是网桥问题,那就看看去喽

输进去看了一下,我寻思也没啥问题啊,于是就继续回复了工单等着看看咋说。

有了DO团队的抛砖引玉,我尝试了一下自己进行排故:

首先根据上面的命令可知,这个Centos内没有network服务,全都换成了networkmanager,也就是Centos的nmcli

首先,我尝试使用nmcli重启网络服务:

很遗憾,报错

于是我又去搜索报错信息,在这个网页 Error: Could not create NMClient object: Error sending credentials: Error sending message: Broken pipe. - Red Hat Customer Portal 找到了和我一样的报错,可是没有找到解决办法。

于是我继续搜索:linux7 nmcli,centos7配置网络nmcli无法使用_weixin_39595487的博客-CSDN博客 看到了这一篇,尝试去重启nwm:

这次直接大红字报错,于是我又去搜索错误信息:

翻遍网络也没有找到和我一样的情况,于是打算摆了,等DO支持人员吧

从第一个开始搜索报错信息早上6:35

到打算放弃中午10:32

只能说尽力了()

PS:截止到现在,也就是我写到这的时间,DO还没回复我的工单,打算销毁服务器了

2.迁移服务

既然DO指不上,那我不如自己把原服务器上的内容转移到新服务器,重新搭建环境快速重新部署

2.1 转移数据

环境这些都是次要的,主要是这个服务器内的数据有用需要尽可能的转移走。思考了一下,我在DO够买了一块数据外挂硬盘,并且将它添加到了断网的服务器上:(还好断网也能加硬盘)

挂载硬盘!

然后是拷贝数据!

完事!还好我有备份数据的好习惯,然后关机,卸载硬盘。在去创建一个新的服务器:

挂载硬盘:

数据迁移基本就差不多了,然后安装bt:

然后就是安装lnmp,解压网页源码,恢复数据库,修改数据库配置文件:

最后设置一下ssl证书以及域名解析就完成啦!

堂堂复活!

3.后记

出这么大的事 怎么可能恢复的过程一帆风顺呢()

在我写文章的时候就暴露出了一个问题:

这啥啊

简单的搜索过后,发现是伪静态的问题,随即打开

然后上传附件时的报错又换成了这个:

经过我在网上查阅了30min的成果总结后,发现是权限问题:

因为我是用root用户复制的文件,导致nginx无权访问,改一下所属就好了

(像这种啥用没有,去网上一搜全是这种

到这 基本就算是迁移完了,应该不会出现啥奇奇怪怪的问题了)

ps:我这篇文章都写完了,DO还没回复我的工单

pss:文件分享站和网盘暂时还没修,鸽了,新冠太难受了 修完了

psss:看官网的统计,我服务器应该是12.25 19:50 突然宕机)

我也不到咋回事啊

届ける言葉を今は育ててる
最后更新于 2022-12-29