命令行寻找Linux系统中的大文件 命令行寻找Linux系统中的大文件 引言 在 Linux 的命令行中查找大文件的操作非常实用,本文介绍两种查找方法,分别是使用系统工具(适合没有 sudo 权限)和外部工具(适合有 sudo 权限可以方便安装)。 外部工具 使用ncdu快速检视文件路径及大小 先安装 12sudo apt updatesudo apt install ncdu 使用直接在命令行输入ncdu 每次启动会进行检索,使用 2024-04-06 学习 #Linux #shell
一种常规的Git使用方法 前言 好久没有写博客了,正好最近论文提交之后有时间整理一下代码,因此重新回顾一下在服务器上使用 Git 管理版本的方式,并且能够同步到自己部署的 Gitlab 仓库上做备份。 首先需要熟悉 Git 的几个重要操作,除了 clone pull push 之外: branch 创建分支,通常用一个 dev 分支和主分支区分,只在 dev 分支上进行开发 checkout 切换分支到指定分支 merg 2024-03-10 学习 #Git #版本控制
ESXi6.7安装Realtek8125bg四口网卡驱动并直通 前言 众所周知,螃蟹网卡Realtek在ESXi7之后的版本都不被支持,虽然也有一些邪道方法安装上去,不过都是更推荐Intel网卡,但是架不住螃蟹网卡太便宜了,没有钱是我的问题。。。正好手上的ESXi是6.7版本,只需要安装下对应的驱动就可以使用。和PCIe四口网卡一起还配了一个单口的全高8125网卡给Manjaro,一个USB网卡给Mac,简单组建了一下2.5G内网,把固态硬盘的速度利用起来,也 2023-10-11 技术 #网络 #ESXi #虚拟机
Gitlab本地部署(2)Git LFS从外网访问的问题和解决 前言 上一篇自部署的Gitlab已经能够在内网环境内访问了,在校园环境内我们通常是在机房的服务器上运行程序,因此从机房服务器到实验室内的Gitlab宿主机这条路需要打通: graph LR 机房服务器 --> 个人路由器 --> Gitlab宿主机 如果你的个人路由器无法被机房服务器访问,那么这篇文章的完整过程可能无法复现,但是可以作为借鉴。 本篇主要解决的问题是git lfs在 2023-10-08 学习 #Docker #Git #LFS #端口转发
GitLab本地部署(1)Docker部署和配置 前言 本地部署Git仓库和管理对于程序员来说一直是很重要的,毕竟一些私人代码哪怕放到私有仓库里依然难以给人安全感。在体验了Gitea和Gitlab两个不同的工具之后我选择了Gitlab-CE版本。 首先是gitea需要额外设置mysql数据库,不过由于比较轻量化,启动速度很快,并且占用的内存大约200MB;而gitlab直接部署就可以使用,但是启动耗时较长,占用内存经常超过5GB,重量了许多。当 2023-10-01 学习 #Gitlab #Docker #群晖
Python中GB2312转UTF-8的问题(2023.07.31) 问题描述 中文的单个破折号—字符在GB2312编码中使用两个字节,十六进制表示为A1AA。 根据这幅图中的对应关系在UTF-8编码中应该使用三个字节E28094(VSCode内置的通过编码保存功能得到的也是这个结果) 是在通过Python的open函数读取GB2312文件并重新保存为UTF-8编码时,结果变成了E28095,成为了另一个长相相同但是编码不同的字符。 接下来我们查询一下UTF-8 2023-07-31 学习 #python #utf8 #gb2312 #编码
ESPNet代码结构(Recipe) 文件结构介绍 图中表示ESPNet的文件目录结构 在corpus-name下,任务文件夹enh1表示用于语音增强任务(单人增强,多人分离) conf表示模型训练和推理时用到的配置文件 local表示与该语音数据集相关的准备脚本 data表示在代码运行过程中产生的Kaldi格式的运行文件 dump表示对data目录中内容进行进一步处理后得到的数据文件 exp存放实验相关的文件 enh.sh模板脚本 2023-07-23 学习 #语音 #ESPNet
Arch/Manjaro系统ssh断开后tmux会话中断的问题 问题 系统:Manjaro或Arch 桌面系统:Gnome(万恶之源) 描述:通过SSH连接到Manjaro上并开启tmux会话,每次在tmux detach后也认真tmux ls发现session保存才敢下线,但是发现ssh log out后所有的session都没有被保存下来。 其实是一个经历许久的问题,应该是遇到相同问题的人不太多,今天终于花时间找到了解决方案。 解决方案 原帖在这里,大家不 2023-06-20 技术 #tmux #Manjaro #Linux #SSH #网络
使用Surge开启SSH代理无法通过私钥连接的原因 问题 SSH代理 如果不通过密码开启SSH代理就必须使用私钥,使用RSA私钥可以通过ssh连接服务器,但是在Surge设置后出现了ssh authorazition failed的情况,测试代理不通。 解决 结论放在前面:RSA密钥加密方式不对,更换到ed25519加密方式重新生成密钥 Surge的SSH代理相当于ssh -D命令,开启动态端口转发功能。 如果用的是dropbear这种非op 2023-05-23 技术 #SSH #网络 #Surge #代理
在Linux上无sudo安装使用ProxyChains 前言 多人共用服务器时经常遇到分配的账户无sudo权限、无法提权,但是经常需要安装软件。 通常来讲下载源码本地make然后install没有太多问题,不过由于很多软件开发者设置的路径问题会导致软件无法使用, 本文以ProxyChains为例进行整个过程,ProxyChains是一个全局代理工具,可以在需要的命令前加上proxychains4使得该命令按照设置通过代理访问。 注意这个工具只能代理TC 2023-04-18 技术 #代理 #proxy #tool #linux
Github Pages与Hexo deploy的一点小问题 前情提要 顺便如果你还没撸过这个学生党羊毛:https://education.github.com/pack/offers 一共有三家域名商给提供这个羊毛,慢慢撸 前段时间想玩玩域名,于是趁着GitHub学生包还在赶紧撸两个免费的一年域名。简单的注册域名绑定在GitHub Pages上之后就没有再deploy到仓库上新的博文,只是在本地修改过,于是忘记了有这么一回事。 namecheap这家 2023-04-16 技术 #博客 #git #hexo
微调Bert模型完成文本分类feat.fastNLP Fine-tuned Bert for TextClassification 前言 文本分类也是NLP领域的传统任务,在Bert模型的加持下可以轻松达到较高的准确率,相比之前的NER任务从数据到模型上都要简单。 如果直接手写训练函数,可以在模型上调用huggingface的BertForSequenceClassification类,它是在BertModel的后面接上dropout和一层分类头,直 2023-03-31 学习 #Bert #NLP #文本分类