2023/10/8 大作业

国庆节已经过完,最后的长假不情不愿地落下了帷幕。我必须面对看似凶险异常的研究生生活了,曾经许下的承诺每天读一篇文献,其实现在来看也一点没有做到(当然可以给自己找借口说:还没有定方向,但是没有定方向就意味着可以不学习吗?不然也)。在做第一个大作业的时候,我才意识到自己有多么头大,主要遇到了以下的问题:

  1. 写报告发现讲事情讲不清楚,抽象能力不够,什么层次该写什么内容?顶层设计需不需要写技术细节?当然是不需要,但是下意识要混一点进去,造成了无处不综述,无处不技术的尴尬局面,以致于写到后面发现没东西可写了。
  2. 工程问题和研究问题弄混了,工程问题是理论研究已经很充分了,在理论上证明了问题是可以解决的,才能在工程上去找路径;但是如果理论研究都没有透彻,就要把一个问题转化成工程问题进行研究,可能行得通(像古人那样凭经验和试错),但是大多数情况下是行不通的,切记不要觉得一个问题有趣就把它当作工程问题进行实践,大概率是没有结果的!

2023/10/19 显卡之纠结

从8月底开始陆陆续续一直在关注显卡啊电脑配件这些的价格,看了很久很久,平均每天要在这上面花费一个到两个小时的时间,真的太浪费时间了!时间成本也是成本,省下来的那一两块钱,一顿饭就收回来了,真的很不值得。宁可早点把这玩意给买了,免得心心念念。

2023/10/24 电脑配件之疯狂

前天过生日时悦老师还专程送来礼物,帮我报销餐费,实在是大为感动。双十一如果能想好为悦老师买什么东西,那等她过生日的时候就直接寄过来简直不要太完美。时值京东双十一活动开启,刚刚收到买好的4070Ti显卡,就疯狂地在显卡测试、玩游戏测试上面花了很多时间,不惜代价再买入一块硬盘,果然买买买是最有用的麻醉剂啊!

2023/11/23 外包项目

张严同志跟我推荐了一个项目,大概是一个小公司要调研一个叫SCADA的工业控制系统,目前缺人手,想找个研究生兼职。起初我是拒绝的,因为这玩意确实跟我专业差太远了,属于是啥也不知道的情况。后面跟这个主管聊了聊天,大概知道要求是:基本上工作不多,一两周能做完,材料也基本上由她发我然后我做整理,基本的了解还是要有的。这么想来接一下也并不是不可以,遂接受之。希望不要拖太久,也希望回报可以丰厚点哈哈。

2023/12/20 作业告一段落

快两个月的时间,被6-7个大作业所包围,喘不得一口气。尤其是多视图几何的大作业,可以说是折腾了我太多太多的时间,现在总算都做完了。距离考期还有两周,我感觉是毫无压力,比起本科的忙来说,实在是清闲了太多,就是啊,谁让我本科要把那些大作业卷来卷去写个几万字呢,无非是夸夸而谈罢了,没有太多的意义。相反现在是惜字如金了(一说是文思枯竭了),天天倒是惦记着玩游戏,确被周围优秀的同学惊得一身冷汗直出。唉,惊便惊罢,竞争不过,便竞争不过,何苦折磨自己呢!

2023/12/25 发现了新大陆

我竟然!!我竟然现在才发现Edge的Copilot居然可能读论文,而且效果还很不错!我靠!知道得太晚了!甚至还能读公式,讲算法,我感觉很容易形成依赖了,这下读论文,岂不是日新月异。测试过,识图的能力很差,给一张全是公式的图,直接卡了。说明用的是OCR工具和公式OCR,效果还真的不错!

2024/1/4 考期即将开始

5号开始考试,一直到12号结束。考期真是恶心,持续时间好久,8号还考三门,研究生考什么考!明明重点就应该放在做研究上,学这些东西,除了学个方法以外还能有什么用呢!真的不理解啊!

2024/2/21 寒假归来

度过了有史以来最短的(但是将是未来N年都最长的)一个寒假,应该收心了。今天第一天将寒假在家干得一塌糊涂的网络训练重新整了一下,确定是硬件和代码都没有大的问题,是远程控制的桌面太难用了,所以问题并不在软硬件上,远程控制还是只能玩玩不能用作主力,仅可以在本地都调试顺利后,可以使用远程来检查运行的结果和模型的测试,并不能用于直接从远程桌面中进行训练 并调试程序。在本地运行中发现,显卡的显存使用率仍然远小于内存使用率,为此加开磁盘交换内存。

2024/2/26 感受到算力的紧张了

以前听网上的说法“显存小点就小点,大不了多训练一段时间”现在感觉,多训练的一段时间真的好长好长,等不了了!我用自己的12G显存只能把batchsize取到20就顶天了,而24G的显存足足可以取到48,调试一次的成本真的就不一样,一旦模型在原理上没错而运算上有不足,迭代一次的时间成本真的是高不可攀,还是攒钱,买4090吧。

2024/3/11 思路蛮多

最近论文看的数量颇多,对CV领域和深度学习都有了更新的理解,看完的论文也不再感觉头脑悾悾,基本上每一篇创新的论文都似乎有这样或者那样的问题,好像这些问题都是可以进行改进的(当然也极有可能是我自己的臆想罢了)。头一回感觉到要做的事情多到数不完了。

2024/3/12 受不了一点!!

在复现扩散模型的视频插帧,结果发现里面使用到的子模块“弹性可分离卷积”DSConv的代码风格奇差无比!一点没法运行不说,甚至代码还一会CUDA一会Python,要我说,你要用就用一个,没有必要非要为了CUDA去写了Python的正则式替换,给人一种初学者的感觉,至少你是发表在PAMI上的文章啊!得像个样子吧,代码里面反正找不到一点注释,复现它真是让我心力交瘁。

不过,我也必须要感谢一点:因为你至少代码的命名是规范的,我能够通过命名去猜测你的意图。

2024/3/14 一天的奋战

经过一天奋战,总算把全部挡在torch自定义算子编译前面的问题都解决了,剩下的都是语法上面的问题了,这个就好办了。但是!有一个非常讨厌的问题是:实验室的服务器好像都有问题,一旦用它们来跑我写的CUDA代码,都将是一个报错:RuntimeError: CUDA error: an illegal memory access was encountered,据传这个错误八成跟硬件有关(驱动、显存)。在各个显卡上都测试了一遍,发现我自己的台式机、隔壁偷算力的工作站以及实验室服务器的0卡是能正常跑的,也不会有报错。但是实验室服务器1至7卡跑都有问题。

2024/3/19 Debug完成

从17号至19号,经历了CUDA的编译调试、pytorch-lightning的学习使用以及最后细节上的调试,总算磕磕碰碰地运行进来了,这个框架真是对新手太不友好了,没见到这么抽象的。可能只有等我熟悉了之后,才会觉得它的好吧。不过总算能够运行训练程序了,只不过训练一个epoch就要整整两个小时,太慢了,等后面想办法优化或者加上多卡。

上午才高兴过了,下午迎来了一个糟糕的消息,我被派活了,我竟然被派活了,我自由自在的独立研究生涯始于今年1月,卒于这会,才俩月,我蚌埠住了。

不要忘记了自己的理想,没有什么能够限制得了我,在进行工作的过程中,也不要忘记了把之前工作接着做下去,那些是我进一步攀登的希望。名不正则言不顺,言不顺则事不成,被参加一个重要项目,客观上也会提高我说话的分量,希望我能够把握好这个机会,做好第一步,不以论文为目的,面向更高标准,面向未来。

2024/3/22 项目启动

真的是心情极差,从来没有遇到过如此难应付的数据格式,PDS,一生之敌!今天的效率全让你给耽误了,我基本上啥事也没有做成。

2024/3/23 项目进展缓慢

昨天的最大成果就是证明了国家航天局发布的数据是处理不了的,至少我目的是处理不了的。不过好在美国的LROC项目提供了高分辨率的对月观测图像,精度极高,且格式是tif格式,不用我再自行处理转换,方便使用,虽然但是这些数据也并不是从仓库中直接下载的,而是从宣传海报上去弄的,不过能够得到源图像,也是很好的。

2024/3/30 新显示器

自从跟江老师汇报之后,趁机提出配置显示器的要求,没想到江老师直接一口答应,带上我去就去找小魏老师把这事给定了,小魏老师还非常大度地让负责报销的冯老师单独开账户把报销额度也开了上去,(真是把牛马我感动到了)牛马决定加倍付出对得起导师们的大恩大德(蚌埠住了)。不过真u1s1,导师们真没有派太多的活给我,而是让我自己探索的时间(放养)太多,是福也是祸。

2024/4/1 折腾博客

近几日忽然封兄重启了久违的博客,不得不说这确实刺激了我一下,于是决定把博客 的评论系统开放一下,也方便 玩玩,然后发现折腾了一个上午才勉勉强强地弄好,中途还把我fcitx5的输入法给整崩溃了,真是蚌埠住了。

2024/4/2 折腾主机

就为了安装一个ROS系统驱动下的PX4仿真,把自己的电脑给整崩了,没有人比我更无语了。这件事情直到今天 中午12点才算是真正地解决了,我实际上并不需要ROS操作系统,仅仅安装一个PX4+Gazebo环境就可以了,历经三天,总算看到了成功的曙光。记录一下,聊慰这两天反复折腾的电脑和我。

2024/4/18 忽然心情好

自从党支部的活动胜利结束后,加上月球表面的三维模型也顺利完成搭建,感觉近期的努力都 没有得到白费,心情自然变好许多。天气也越来越热,就像是过夏天了一样。

2024/4/21 Libreoffice拜拜了您嘞!

一直以为Linux系统下你是王者,原来竟然是青铜,难怪不温不火这么多年。界面不好用先不说,功能也不全,更恶心的是卸载也极其难卸载,除非是使用ppa源安装的,对于使用dpkg安装的,卸载就是依托答辩,从此粉转黑!文档帮助也什么都没有,难怪没有人用呢,我现在也坚决不用了,转投支持国产WPS

好的,已经上手WPS了,是熟悉的感觉,特别是格式刷,是熟悉的重复使用,除非WPS的广告稍微多一点(其实也是可以容忍的),没有Libreoffice什么事了。(关键人家还支持云同步呢,我有什么理由不使用WPS呢?毕竟可是我们雷布斯同志的力作!)

2024/6//8 快有一个月没有更新了

快一个月没有更新博客了,这个月一直在忙新的实验报告、大作业、党支部的事情以及考试,目前还没有结束,还剩下一个自然辩证法的大作业和考试,这个应该在两周内出现。这个月解决了一个非常重要的问题:之前训练的模型莫名其妙就在那里振荡,甚至还倒着上涨的,之前一直以为是模型设计的问题(实际上不会这样的,只要设计出来的模型就一定能用梯度下降找到一个最优解,只是这个最优解不一定是问题的解而已),直到昨天才发现,原来torch的梯度里面的torch.no_grad()这一项一定要慎用,万分确保它只用在完全不需要梯度的地方,否则就会将经过它的全部梯度归None,非常惨痛的教训!!此外,以后的模型训练时一定要先查看其权重更新,首先确保模型参数正常更新后,再去讨论模型的设计问题。

解决了这个问题后,感觉一个月来最大的压力就没了,一直担心这个月没有啥进度不能汇报呢,现在可以宽心了。