当前位置:首页 > 科技  > 软件

用过 Mongodb 吧, 这三个大坑踩过吗?

来源: 责编: 时间:2023-10-26 17:12:16 365观看
导读一:背景1. 讲故事前段时间有位朋友在微信群问,在向 mongodb 中插入的时间为啥取出来的时候少了 8 个小时,8 在时间处理上是一个非常敏感的数字,又吉利又是一个普适的话题,后来我想想初次使用 mongodb 的朋友一定还会遇到各

一:背景

1. 讲故事

前段时间有位朋友在微信群问,在向 mongodb 中插入的时间为啥取出来的时候少了 8 个小时,8 在时间处理上是一个非常敏感的数字,又吉利又是一个普适的话题,后来我想想初次使用 mongodb 的朋友一定还会遇到各种新坑,比如说:插入的数据取不出来,看不爽的 ObjectID,时区不对等等,这篇就和大家一起聊一聊。VH828资讯网——每日最新资讯28at.com

二:1号坑 插进去的数据取不出来

1. 案例展示

这个问题是使用强类型操作 mongodb 你一定会遇到的问题,案例代码如下:VH828资讯网——每日最新资讯28at.com

class Program    {        static void Main(string[] args)        {            var client = new MongoClient("mongodb://192.168.1.128:27017");            var database = client.GetDatabase("school");            var table = database.GetCollection<Student>("student");            table.InsertOne(new Student() { StudentName = "hxc", Created = DateTime.Now });            var query = table.AsQueryable().ToList();        }    }    public class Student    {        public string StudentName { get; set; }        public DateTime Created { get; set; }    }

图片图片VH828资讯网——每日最新资讯28at.com

我去,这么简单的一个操作还报错,要初学到放弃吗?挺急的,在线等!VH828资讯网——每日最新资讯28at.com

2. 堆栈中深挖源码

作为一个码农还得有钻研代码的能力,从错误信息中看说有一个 _id 不匹配 student 中的任何一个字段,然后把全部堆栈找出来。VH828资讯网——每日最新资讯28at.com

System.FormatException  HResult=0x80131537  Message=Element '_id' does not match any field or property of class Newtonsoft.Test.Student.  Source=MongoDB.Driver  StackTrace:   at MongoDB.Driver.Linq.MongoQueryProviderImpl`1.Execute(Expression expression)   at MongoDB.Driver.Linq.MongoQueryableImpl`2.GetEnumerator()   at System.Collections.Generic.List`1..ctor(IEnumerable`1 collection)   at System.Linq.Enumerable.ToList[TSource](IEnumerable`1 source)   at Newtonsoft.Test.Program.Main(String[] args) in E:/crm/JsonNet/Newtonsoft.Test/Program.cs:line 32

接下来就用 dnspy 去定位一下 MongoQueryProviderImpl.Execute 到底干的啥,截图如下:VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

我去,这代码硬核哈,用了 LambdaExpression 表达式树,我们知道表达式树用于将一个领域的查询结构转换为另一个领域的查询结构,但要寻找如何构建这个方法体就比较耗时间了,接下来还是用 dnspy 去调试看看有没有更深层次的堆栈。VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

这个堆栈信息就非常清楚了,原来是在 MongoDB.Bson.Serialization.BsonClassMapSerializer.DeserializeClass 方法中出了问题,接下来找到问题代码,简化如下:VH828资讯网——每日最新资讯28at.com

public TClass DeserializeClass(BsonDeserializationContext context){    while (reader.ReadBsonType() != BsonType.EndOfDocument)    {        TrieNameDecoder<int> trieNameDecoder = new TrieNameDecoder<int>(elementTrie);        string text = reader.ReadName(trieNameDecoder);        if (trieNameDecoder.Found)        {            int value = trieNameDecoder.Value;            BsonMemberMap bsonMemberMap = allMemberMaps[value];        }        else        {            if (!this._classMap.IgnoreExtraElements)            {                throw new FormatException(string.Format("Element '{0}' does not match any field or property of class {1}.", text, this._classMap.ClassType.FullName));            }            reader.SkipValue();        }    }}

上面的代码逻辑非常清楚,要么 student 中存在 _id 字段,也就是 trieNameDecoder.Found, 要么使用 忽略未知的元素,也就是 this._classMap.IgnoreExtraElements,添加字段容易,接下来看看怎么让 IgnoreExtraElements = true,找了一圈源码,发现这里是关键:VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

也就是: foreach (IBsonClassMapAttribute bsonClassMapAttribute in classMap.ClassType.GetTypeInfo().GetCustomAttributes(false).OfType<IBsonClassMapAttribute>())这句话,这里的 classMap 就是 student,只有让 foreach 得以执行才能有望 classMap.IgnoreExtraElements 赋值为 true ,接下来找找看在类上有没有类似 IgnoreExtraElements 的 Attribute,嘿嘿,还真有一个类似的: BsonIgnoreExtraElements ,如下代码:VH828资讯网——每日最新资讯28at.com

[BsonIgnoreExtraElements]    public class Student    {        public string StudentName { get; set; }        public DateTime Created { get; set; }    }

接下来执行一下代码,可以看到问题搞定:VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

如果你想验证的话,可以继续用 dnspy 去验证一下源码哈,如下代码所示:VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

接下来还有一种办法就是增加 _id 字段,如果你不知道用什么类型接,那就用object就好啦,后续再改成真正的类型。VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

三:2号坑 DateTime 时区不对

如果你细心的话,你会发现刚才案例中的 Created 时间是 2020/8/16 4:24:57, 大家请放心,我不会傻到凌晨4点还在写代码,好了哈,看看到底问题在哪吧, 可以先看看 mongodb 中的记录数据,如下:VH828资讯网——每日最新资讯28at.com

{    "_id" : ObjectId("5f38b83e0351908eedac60c9"),    "StudentName" : "hxc",    "Created" : ISODate("2020-08-16T04:38:22.587Z")}

从 ISODate 可以看出,这是格林威治时间,按照0时区存储,所以这个问题转成了如何在获取数据的时候,自动将 ISO 时间转成 Local 时间就可以了,如果你看过底层源码,你会发现在 mongodb 中每个实体的每个类型都有一个专门的 XXXSerializer,如下图:VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

接下来就好好研读一下里面的 Deserialize 方法即可,代码精简后如下:VH828资讯网——每日最新资讯28at.com

public override DateTime Deserialize(BsonDeserializationContext context, BsonDeserializationArgs args){    IBsonReader bsonReader = context.Reader;    BsonType currentBsonType = bsonReader.GetCurrentBsonType();    DateTime value;    switch (this._kind)    {        case DateTimeKind.Unspecified:        case DateTimeKind.Local:            value = DateTime.SpecifyKind(BsonUtils.ToLocalTime(value), this._kind);            break;        case DateTimeKind.Utc:            value = BsonUtils.ToUniversalTime(value);            break;    }    return value;}

可以看出,如果当前的 this._kind= DateTimeKind.Local 的话,就将 UTC 时间转成 Local 时间,如果你有上一个坑的经验,你大概就知道应该也是用特性注入的,VH828资讯网——每日最新资讯28at.com

[BsonDateTimeOptions(Kind = DateTimeKind.Local)]    public DateTime Created { get; set; }

不信的话,我调试给你看看哈。VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

接下来再看看 this._kind 是怎么被赋的。VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

四:3号坑 自定义ObjectID

在第一个坑中,不知道大家看没看到类似这样的语句: ObjectId("5f38b83e0351908eedac60c9") ,乍一看像是一个 GUID,当然肯定不是,这是mongodb自己组建了一个 number 组合的十六进制表示,姑且不说性能如何,反正看着不是很舒服,毕竟大家都习惯使用 int/long 类型展示的主键ID。VH828资讯网——每日最新资讯28at.com

那接下来的问题是:如何改成我自定义的 number ID 呢?当然可以,只要实现 IIdGenerator 接口即可,那主键ID的生成,我准备用 雪花算法,完整代码如下:VH828资讯网——每日最新资讯28at.com

class Program    {        static void Main(string[] args)        {            var client = new MongoClient("mongodb://192.168.1.128:27017");            var database = client.GetDatabase("school");            var table = database.GetCollection<Student>("student");            table.InsertOne(new Student() { Created = DateTime.Now });            table.InsertOne(new Student() { Created = DateTime.Now });        }    }    class Student    {        [BsonId(IdGenerator = typeof(MyGenerator))]        public long ID { get; set; }        [BsonDateTimeOptions(Kind = DateTimeKind.Local)]        public DateTime Created { get; set; }    }    public class MyGenerator : IIdGenerator    {        private static readonly IdWorker worker = new IdWorker(1, 1);        public object GenerateId(object container, object document)        {            return worker.NextId();        }        public bool IsEmpty(object id)        {            return id == null || Convert.ToInt64(id) == 0;        }    }

然后去看一下 mongodb 生成的 json:VH828资讯网——每日最新资讯28at.com

图片图片VH828资讯网——每日最新资讯28at.com

四:总结

好了,这三个坑,我想很多刚接触 mongodb 的朋友是一定会遇到的困惑,总结一下方便后人乘凉,结果不重要,重要的还是探索问题的思路和不择手段

本文链接:http://www.28at.com/showinfo-26-15228-0.html用过 Mongodb 吧, 这三个大坑踩过吗?

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 如何保证分布式情况下的幂等性

下一篇: 状态模式:对象状态的变化,你学会了吗?

标签:
  • 热门焦点
  • 天猫精灵Sound Pro体验:智能音箱没有音质?来听听我的

    这几年除了手机作为智能生活终端最主要的核心之外,第二个可以成为中心点的产品是什么?——是智能音箱。 手机在执行命令的时候有两种操作方式,手和智能语音助手,而智能音箱只
  • K8S | Service服务发现

    一、背景在微服务架构中,这里以开发环境「Dev」为基础来描述,在K8S集群中通常会开放:路由网关、注册中心、配置中心等相关服务,可以被集群外部访问;图片对于测试「Tes」环境或者
  • 19个 JavaScript 单行代码技巧,让你看起来像个专业人士

    今天这篇文章跟大家分享18个JS单行代码,你只需花几分钟时间,即可帮助您了解一些您可能不知道的 JS 知识,如果您已经知道了,就当作复习一下,古人云,温故而知新嘛。现在,我们就开始今
  • 使用LLM插件从命令行访问Llama 2

    最近的一个大新闻是Meta AI推出了新的开源授权的大型语言模型Llama 2。这是一项非常重要的进展:Llama 2可免费用于研究和商业用途。(几小时前,swyy发现它已从LLaMA 2更名为Lla
  • 2023年,我眼中的字节跳动

    此时此刻(2023年7月),字节跳动从未上市,也从未公布过任何官方的上市计划;但是这并不妨碍它成为中国最受关注的互联网公司之一。从2016-17年的抖音强势崛起,到2018年的&ldquo;头腾
  • 华为将推出盘古数字人大模型 可帮助用户12小时完成数字人生成

    在今日举行的2023年华为云数字文娱AI创新峰会上,华为云全球Marketing与销售服务总裁石冀琳表示,华为云将在后续推出盘古数字人大模型,可帮助用户12小
  • 华为Mate60标准版细节曝光:经典星环相机模组回归

    这段时间以来,关于华为新旗舰的爆料日渐密集。据此前多方爆料,今年华为将开始恢复一年双旗舰战略,除上半年推出的P60系列外,往年下半年的Mate系列也将
  • 朋友圈可以修改可见范围了 苹果用户可率先体验

    近日,iOS用户迎来微信8.0.27正式版更新,除了可更换二维码背景外,还新增了多项实用功能。在新版微信中,朋友圈终于可以修改可见范围,简单来说就是已发布的朋友圈
  • 北京:科技教育体验基地开始登记

      北京“科技馆之城”科技教育体验基地登记和认证工作日前启动。首批北京科技教育体验基地拟于2023年全国科普日期间挂牌,后续还将开展常态化登记。  北京科技教育体验基
Top