当前位置：首页 > 科技 > 软件

与机器打交道的工作：细节决定浪费生命的时间——记一次 Docker 与软链接的故障

来源：责编：时间：2024-07-19 08:01:38 529观看

导读问题背景假设在一台 ubuntu 服务器上，我们有一个专门存放日频数据的路径：ls /data/daily -lh202401012024010220240103...这些数据过于庞大，我们无法将其全部保存在服务器中。对于这些数据，只有当天的路径，我们需要对其有

问题背景

假设在一台 ubuntu 服务器上，我们有一个专门存放日频数据的路径：

ls /data/daily -lh202401012024010220240103...

这些数据过于庞大，我们无法将其全部保存在服务器中。对于这些数据，只有当天的路径，我们需要对其有「写」的权限，历史数据我们只读即可。

因此，假设今天是 20240717 ，那么，我们可以将小于 20240717 的数据软链接到一个 mount 到服务器上的分布式文件系统中，比如：

ls /data/daily -lh20240101 -> /mnt/gfs-data/daily/2024010120240102 -> /mnt/gfs-data/daily/20240102...20240716 -> /mnt/gfs-data/daily/2024071620240717

接下来，我们希望启动的 docker 容器可以访问 daily 数据，那么：

docker run /  -v /data/daily:/data/daily /  --name my-service-container /  my-service-image  run-service-command

此时 my-service-container 报错：

no such file or directory: /data/daily/20240716

但是当你进入容器：

docker exec -it my-service-container /bin/bash$ cd /data/daily$ ls20240101  20240102  ...  20240716 20240717# 数据似乎存在？$ ls -l 20240716no such file or directory: 20240716# 明明存在，却无法访问？

那么，问题出在了哪里？

我估计读到这里的读者中，至少有一半已经知道了问题所在。

但是让我们先来看看一些错误的思路（也是困住了我的思路）：

一、会不是文件系统权限问题？

显然， docker 容器在未开启 --privileged ，权限是不完整的
尤其是涉及到与 mount 分布式文件系统的交互，这其中是很容易出问题的

二、软链接的问题？

软链接本身不复杂，但是 docker 与软链接的结合，可能有点问题？
于是甚至很傻地去搜了 stackoverflow ，尝试类比 docker 、 softlink 、 mount 相关的问题

三、其他更复杂的原因导致的？

问问 ChatGPT 吧！免费版不聪明，再问问 ChatGPT-4o ！
嗯...是我的 prompt 写得太差了？获得了一些正确的废话

如果你已经知道问题，你或许会嘲笑上述费力不讨好的一番折腾。但是为什么我（或者其他陷入误区的读者）会想到这些呢？

思维惯性。大多数日常使用 docker 的人（比如现在的我），对于 docker 的了解是不够深入的，在经历过一些 docker 的 bug 后，再遇到类似的问题，首先会顺其自然想到是不是 docker 本身的问题
所见即所得。我明明已经 ls 出了 20240101 20240102 ... 20240716 20240717 ，为什么还会出现 no such file or directory: /data/daily/20240716 ？显然， 20240716 是软链接的、是来自 /mnt/gfs-data/ 的，而这个庞大的分布式文件系统很有可能存在一些兼容性问题

真正的解决之道

我在 docker 内部敲入下面的命令让我恍然大悟，甚至为自己的愚蠢发笑：

docker exec -it my-service-container /bin/bash$ cd /data/daily$ ls -lh20240101 -> /mnt/gfs-data/daily/2024010120240102 -> /mnt/gfs-data/daily/20240102...20240716 -> /mnt/gfs-data/daily/2024071620240717

显然，软链接在 docker 内部链接到了 /mnt/gfs-data/ ，那么，你也需要让 /mnt/gfs-data/ 映射到本地的 /data/daily/ 路径上！

增加一行挂载直接解决问题：

docker run /  -v /data/daily:/data/daily /  -v /mnt/gfs-data:/mnt/gfs-data /  --name my-service-container /  my-service-image  run-service-command

所以，既不是 docker 的问题，也不是权限的问题，更不是文件系统的问题。

为什么程序员的下班时间不同

所以，为什么有些程序员下班早，看起来还很轻松？

他可能并不是摸鱼大事。相反，他对于机器有更好的直觉与灵感，而这一切的前提是他积累了足够的知识与经验。

显然，对于 docker ，仅仅知道基本的 cgroups 实现原理是不够的。没有更扎实的基础知识与经验作为支撑，我们甚至总是焦头烂额地走向了错误的解决问题的方向。

细节决定浪费生命的时间。停下来，想一想自己是不是刚刚死脑筋了。

本文链接：http://www.28at.com/showinfo-26-101715-0.html与机器打交道的工作：细节决定浪费生命的时间——记一次 Docker 与软链接的故障

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：我们如何管理软件项目的交付？

下一篇： Java 函数式接口，一文彻底剖析！

标签：

热门焦点

从 Pulsar Client 的原理到它的监控面板

背景前段时间业务团队偶尔会碰到一些 Pulsar 使用的问题，比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。虽然我们有个监控页面可以根据 topic 维度查看他的发送状态，
如何使用JavaScript创建一只图像放大镜？

译者 | 布加迪审校 | 重楼如果您曾经浏览过购物网站，可能遇到过图像放大功能。它可以让您放大图像的特定区域，以便浏览。结合这个小小的重要功能可以大大改善您网站的用户体验
一个注解实现接口幂等，这样才优雅！

场景码猿慢病云管理系统中其实高并发的场景不是很多，没有必要每个接口都去考虑并发高的场景，比如添加住院患者的这个接口，具体的业务代码就不贴了，业务伪代码如下：图片上述代码有
使用AIGC工具提升安全工作效率

在日常工作中，安全人员可能会涉及各种各样的安全任务，包括但不限于：开发某些安全工具的插件，满足自己特定的安全需求；自定义github搜索工具，快速查找所需的安全资料、漏洞poc、exp
腾讯盖楼，字节拆墙

来源 | 光子星球撰文 | 吴坤谚编辑 | 吴先之“想重温暴刷深渊、30+技能搭配暴搓到爽的游戏体验吗？一起上晶核，即刻暴打！”曾凭借直播腾讯旗下代理格斗游戏《DNF》一
“又被陈思诚骗了”

作者｜张思齐出品｜众面（ID：ZhongMian_ZM）如今的国产悬疑电影，成了陈思诚的天下。最近大爆电影《消失的她》票房突破30亿断层夺魁暑期档，陈思诚再度风头无两。你可以说陈思诚的
机构称Q2全球智能手机出货量同比下滑11% 苹果份额依旧第2

7月20日消息，据外媒报道，研究机构的报告显示，由于需求下滑，今年二季度全球智能手机的出货量，同比下滑了11%，三星、苹果等主要厂商的销量，较去年同期均有下
英特尔Xe-HP项目终止，将专注Xe-HPC/HPG系列显卡

据10 月 31 日消息报道，英特尔高级副总裁兼加速计算系统和图形事业部总经理表示，Xe-HP“ Arctic Sound” 系列服务器 GPU 已经应用于 oneAPI devcloud 云服
华为举行春季智慧办公新品发布会首次推出电子墨水屏平板

北京时间2月27日晚，华为在巴塞罗那举行春季智慧办公新品发布会，在海外市场推出之前已经在中国市场上市的笔记本、平板、激光打印机等办公产品，并首次推出搭载