Das Blog von BugBubbles

前言 Ubuntu22.04->Ubuntu20.04->Ubuntu22.04->Ubunut20.04 关于这个软件的配置和安装，看到以上的四个系统版本，首先会联想到什么 ？ 高情商：装机经验丰富 低情商：系统被反复玩坏 反正我就是这样，如此“简单”的一个软件，我在自己的台式机上来回装了四五遍（我辛辛苦苦配置的路径和软件就这么没了），从装在conda虚拟环境 里、装在用户 目录下、装在系统目录下（然后系统就寄了），最终回过头来，还是决定装在docker里面，这才是最终的解决方案。在此也推荐正在看到这篇博客 的你，除非对自己的包管理能力充分自信，否则还是装在docker里面吧（当然富哥另说）。 目前也只是完成了一个安装，我仿真是一点不会，能记到多少，先把它写下来，后面不走回头路。 安装心得 首先在安装前，要充分地考察自己的需求，即，是否需要安装ROS系统。我在重装之前的初次安装中，一来就是毫无顾忌地装ROS，还是Bug极多的ROS2，犯了兵家大忌之一；二来是在安装完ROS2后，又迫不及待地去找了另一个博客去安装Gazebo，谁知这两个博客的内容是自相矛盾的，在编 ...

腾讯OCR测试 控制台： https://console.cloud.tencent.com/ocr/overview demo：https://cloud.tencent.com/act/event/ocrdemo 参数文档：https://cloud.tencent.com/document/product/866/33526 腾讯云目前不能实现版面分析功能，仅就其文本识别的能力作测试。 通用版测试结果如下： 中文期刊 中英文混排中，英文识别效果极差，高度格式化的文本中也存在大量错误。 能识别两栏文本，以空格分隔两栏文本，两栏内容交叠在一起。 不能实现数学公式的自动识别 部分全角逗号被识别为半角，部分上标产生误识别结果 此外，文本中大量存在英文单词之间的空格被吞的现象。 大图文本 非标准型英文字体识别能力较差，出现大量误识别。中文全角括号识别错误，部分英文单词之间的空格被吞。 繁体竖排 文本大体上能识别出来，但是编排极其混乱，有的行能连成一句完整的话，有的又不能，内容不能重构为原始文本。 三栏文本 页眉标题文字字号较小，误识别较多。 正文文本仍然三栏 ...

前言 事不宜迟，看完的文献总是浅尝辄止，没有总结吸收，还不是自己的东西。积土成山，风雨兴焉！ 脉冲 神经元之间通过神经冲动传递信号，脉冲是神经冲动的数学模型。在时域上一连串脉冲组成的冲激函数串称为脉冲序列或者脉冲串spike train[1]。 脉冲序列 通常以冲激函数串表示脉冲序列，则在不同时间处的脉冲组成的脉冲串记为A=∑i=0∞δ(t−ti)A=\sum\limits_{i=0}^{\infty}\delta(t-t_i)A=i=0∑∞​δ(t−ti​)。 脉冲序列的描述 表征脉冲序列的物理量是活动频率firing rate，缩写为FR，其原始定义为单位时间内的脉冲数目，即： FR(t)=lim⁡Δt→0N(t,t+Δt)Δt\mathrm{FR}(t)=\lim\limits_{\Delta t\rightarrow 0}\frac{N(t,t+\Delta t)}{\Delta t} FR(t)=Δt→0lim​ΔtN(t,t+Δt)​ 这一定义式仅具有理论意义，不具有工程实践的价值，因此常用单位时间内的脉冲频率表示FR，在大量样本数据情况下，脉冲频率近似等于脉冲概率，即： ...

前言 脉冲神经网络不像深度神经网络那样，有非常成熟的训练框架如torch，tensorflow或者国内如oneflow，paddle等，在不带其他依赖包的前提下可以完成独立训练、推理以至部署。本博客的目的在于，收集整理现有的全部脉冲神经网络（说是全部其实言过其实，我压根就没看过几篇），从这些网络的搭建中学习设计思想，运用这部分网络完成自己的研究工作，或是为将来的框架发展做出自己的贡献。 目录 SLAYER框架 Version 1 SLAYER框架 由新加坡国立大学Garrick Orchard团队设计搭建的脉冲神经网络，目前已经迭代两个版本，首先介绍版本1。 Version 1 本框架的基本原理是：使用替代梯度完成对脉冲网络的训练。文献名：SLAYER: Spike Layer Error Reassignment in Time 神经元模型 本文选用的脉冲神经元模型是脉冲响应模型Spike Response Model(SRM)，其核心的数学表达式为：输入至膜上的电位脉冲ai(t)a_i(t)ai​(t)等于输入脉冲si(t)s_i(t)si​(t)与膜响应函数ε(t)\v ...

公众号推文 5.6T原始数据目录为/mnt/cos/cos_shanghai_2/raw_datasets/mt/ 和/mnt/cos/cos_shanghai_2/raw_datasets/mt/p3/p1 ，均为月份标号，覆盖了从2021年11月起至2023年1月止的大量公众号、视频号推送文章，对该数据集的解压和清洗结果在以下链接中。 5.6T数据解压 taobao 目录路径 /mnt/cos/cos_shanghai_2/raw_datasets/mt/taobao 目录文件类型 含有极多子文件夹，且不同的子文件夹内装有的文件类型也不同，下表是全部子文件夹中，装有的全部类型的文件数量和文件大小，没标明的文件大小在5M以下。 后缀名 数量 备注 文件总大小 pdf 38139+60 PDF（60个） 117.2G+188M rar 250 大部分是PPT和PPT模板文件，一定数量是pdf 69G zip 117 大部分是pdf，夹杂有少量其他类型的文件，主要是券商的报告和医学、社会科学论文报告等 497G ppt 90 104M pptx 36 2 ...

90万道小学语数外、初高中语数外政史地理化生共21科习题。 题库输出 处理完毕的题目存放于根目录/dataset_goosefs/cos_shanghai_2/ready_datasets/zh2/shiti/output 将根据处理框架的更新情况刷新题目： 20230722更新：/dataset_goosefs/cos_shanghai_2/ready_datasets/zh2/shiti/output/20230722 习题总体情况 习题含图片约占30%，共计32万道左右，包括题干有图片、选项有图片、解答有图片（公式以图片表述、比较少用的数学符号以图片插入），这部分完全不能解析； 习题含公式约占20%，这部分不含图片，能使用脚本或者Pandoc软件解析； 选择题（单道选择题约占总数60%，多道选择题约占总数20%），填空题约占10%，简答题和作文题共计占10%，总共能用的题目约61万道。 目前尚未发现不能转换的docx格式，仅转换了所有习题中的docx文件，未转换doc格式的文件（占比小于5%，转换较为复杂，尚未研究明白）。 习题转换项目 将docx直接转换为格式化的h ...

数据集文件存储位置 /mnt/cos/cos_shanghai_1/raw_datasets/google_coding 解压缩并提取数据库文件后的数据集文件存储位置如下： /mnt/cos/cos_shanghai_1/raw_datasets/google_coding/google_coding_unzip 数据集文件schema 每个文件夹中有两个数据库文件raw_data.sqlar和solutions.sqlar，其余为样例数据和测试数据。其中每个数据库文件的存储格式如下， 1234567CREATE TABLE sqlar( name TEXT PRIMARY KEY, -- name of the file mode INT, -- access permissions mtime INT, -- last modification time sz INT, -- original file size data BLOB -- compresse ...

本汇总来自于本汇总来自于MNBVC数据文件下，含有links.txt文件的文件夹的hugging face、悟道和oscar数据集 hugging face数据集：约4GB https://huggingface.co/datasets/miracl/miracl-corpus https://huggingface.co/datasets/wangrui6/Zhihu-KOL OSCAR数据集：约30G https://huggingface.co/datasets/oscar-corpus/OSCAR-2201 悟道数据集：约1.9GB 北京智源人工智能研究院 (baai.ac.cn) 本汇总来自于MNBVC数据文件下，含有links.txt文件的文件夹，去除了来自hugging face、悟道和oscar数据集 北理工张华平实验室数据集：共有约3.5GB http://www.nlpir.org/wordpress/2017/07/13/nlpir新闻语料库-2400万字/ http://www.nlpir.org/wordpress/2017/10/0 ...

百度云OCR介绍 Untitled 办公文档识别接口：https://ai.baidu.com/tech/ocr/doc_analysis_office 接口调用说明: https://ai.baidu.com/ai-doc/OCR/ykg9c09ji 重点关心正文提取能力：版面分析+文字识别能力。 中文和繁体中文 测试case覆盖：包含多栏、公式、页眉页脚、图片/表格等复杂版面。 评价标准：版面检测准确率，文字识别准确率。 测试结果： 注音文本 版面检测：较为准确，图片全部识别，正文文本类型全部正确检测，标题误判定为正文。 侧栏页码检测位置置于文本内 文字识别准确率：中文文本全部识别正确，极个别注音字符识别错误，总体准确率99%以上。 中文期刊文章 版面检测：能正确检测标题、页眉、脚注、页码等信息，正文检测正确，对于期刊这种高度格式化的文本图像，检测效果很好。 文本识别：上标识别出错，其余文字识别正确，正文文本识别正确率99%以上。 两栏文本 版面检测：能正确检测出页眉和小标题，能检测出两栏文本但是没有将其按栏分开，而是两栏交错地放在一起，不能检测出数学公式。 ...

前言 江老师既然已经给定了选题，咱也不要犹豫了，犹豫就会败北，赶快开始准备综述材料和积累与运用吧！ 在写作每周的综述报告时，虽然老师没有要求，自己还是要严格对待，至少要包括这些内容：主要看了什么内容，用一句话概括一下。技术应用型论文，侧重介绍方法和实施手段，特别是算法设计上。理论研究型论文，侧重介绍理论推导和关键技巧。 两种论文，都要以能够找出其不足和缺点作为论文阅读的终极目标，当然也不需要按图索骥，慢慢积累，水到自然渠成。可惜分身乏术，不然还能分个身出来复现一下它们的算法和结果，如果能做到那就实在是太厉害了。 2023/10/23 当周进展 本周论文概览 本周一共看了6篇文献，其中4篇都是同一个类型（讲STDP生理学基础的）所以归作一篇文献，另外两篇是事件相机在无人机领域的应用，两篇都是避障，第一篇是动态避障，另一篇是静态避障，两篇都用了YOLO检测模型。 第一篇文献 文献名：基于动态视觉传感器的无人机目标检测与避障 北航学报 解决的问题 无人机在动态和静态两种情况下检测出篮球并实施躲避。 采用的方法 事实上是多传感器融合，如下图： 有关事件相机的处理时，采取的方法实际上选用事件图 ...