工具推荐-Colab介绍与使用方法

2年前教程14029
工具推荐-Colab介绍与使用方法 最白の白菜 于2022-03-03 21:34:02发布 22068 收藏 224 分类专栏: 工具推荐 文章标签: 深度学习 分类 计算机视觉 工具推荐 专栏收录该内容 3 篇文章 2 订阅 订阅专栏 工具推荐-Colab介绍与使用方法

之所以能够接触到Colab,是由一位好朋友的推荐,首先得先感谢他安利了这么好的一个东西,哈哈哈!我先浅聊一下我目前对这个Colab的理解吧,我认为它就相当于一台云主机,由Google 云端硬盘作为存储地,所以首先得要有Google 云端硬盘,它可以在Google硬盘上面搭建起来,然后可以在文件夹下新建像Jupyter里面那样的notebook文件,关联Colab,可以运行代码了。

为什么说它好呐?对于我来说,我的Anaconda安装在了C盘,学习深度学习等方面的东西时,C盘存储空间在不断地减少,而且下载一些库文件和安装包,都必须在C盘,这样本就不富裕的家庭又雪上加霜,哈哈哈哈!而用这个Colab,我就不用把文件都存储在本机了,感觉可以跟Anaconda说拜拜了。同时这个玩意儿还有一个听起来很厉害的东西,就是可以将代码运行设置为GPU模式(硬盘会分配很厉害的GPU),运行数据集会相当的快!之前我训练数据集,本机上运行的特别慢,每次都要等,这玩意我刚入门,我试了试安装tensorflow,真的运行很快啊!一些强大的功能目前还没有机会尝试,安装完就来写这篇文章了,以后如果遇到什么问题,会再更新这方面的内容。

我忙活了了一下午加一晚上,总算初步入门,同时走了一些弯路,想记录下来以帮助更多的朋友!

Colab是什么? Google Colab 是一个免费的云服务并支持免费的 GPUColab 是Google的且服务器在国外

只需要在 Google Drive 上,安装 colab 即可使用。如果需要上传数据,可以上传到 Google Drive 上,并在 colab 中挂载,就可以直接访问。

显卡:V100、P100、T4 等训练主流显卡,显存 16 G。

磁盘存储:15 G,可使用 Google Drive 扩容。

时间限制:每次 12 个小时。

但是它有明显的问题,需要梯子,毕竟是 Google 的产品。

Colab的基本配置

1、搜索谷歌云硬盘(https://www.google.com/intl/zh-CN/drive/),点击“转至Google云端硬盘”

2、使用谷歌账号登陆(没有账号的可以自行注册)

3、安装Colab

按下图右击->更多->关联更多应用

4、搜索Colab,并添加(按下图步骤安装)

5、安装成功后(右击->更多)发现有一个Colaboratory

6、使用Colab

在 Google Drive 上创建文件夹,这是我的文件夹目录,创建分级文件夹就是为了更好的管理你的代码文件。

7、初步测试代码

点击进入你想放代码的文件夹里面,右击页面的空白处,点击More->Google ColaBoratory,接下来就会看到你熟悉的界面了

然后可以笔记本设置(设置为GPU)

8、装载谷歌云

​ 点击左侧文件夹(查看目录),等待右侧连接状态为已连接,最后点击装载谷歌云硬盘

装载完成之后(继续点击左侧文件夹),会发现多了一个drive目录(drive/My Drive/Colab)其中的Colab就是我们刚刚创建的文件夹,Colab文件夹下的是我们的项目文件。

我不太清楚装载云端硬盘是什么意思,也不清楚为什么这么做,我在网上搜索说的是,谷歌硬盘和colab是分开的,我们需要将硬盘挂载到colab上面,优点:在colab中就可以直接读写google drive的目录,模型可以直接保存在dirve上非常方便。还是不太懂。。。。不过应该是有好处的吧。。。

9、使用Colab

查看当前脚本目录(!ls)点击运行

进入项目

import os path = "/content/drive/My Drive/Colab/Notebooks/17.yoloV3" os.chdir(path)

测试我项目里的数据集,至于我是如何把数据集上传到Google 云端硬盘的,请接着看看下去!

from dataset.vocdata_tfrecord import load_labels,write_to_tfrecord import os

发现可以运行成功

实际上我喜欢直接在项目的当下目录,新建一个Colab关联的文件,也就是那个写代码的文件,然后运行以下代码

# 加载盘 from google.colab import drive drive.mount('/content/drive/') # 指定当前的工作文件夹 import os # 此处为google drive中的文件路径,drive为之前指定的工作根目录,要加上 os.chdir("/content/drive/My Drive/Colab/Notebooks/17.yoloV3")

安装一些库的命令行,例如安装pytorch

Colab 一般情况下已经自带了pytorch环境了。若没有可以进行相应的安装:

!pip install torch torchvision # 在Colab中执行操作语句时,感叹号不能漏

安装tensorflow也是类似的。

到此基本上算是入门Colab了, 明天我就可以用它运行我的代码了,再也不用本机的Jupyter,哈哈哈!

遇到的麻烦解决 解决colab上传数据集慢的问题

前面别看似我挺顺利的,实际上我下午加晚上大部分时间都浪费在这上面了,从本地上传到Google 云端硬盘太慢了,不建议直接上传,同时建议先把上传到文件夹打成压缩包的形式,接下来我将讲一讲怎么上传比较快。

1、将文件先上传到OneDrive上

不建议用网页版的OneDrive,光是上传文件就贼慢贼慢(估计是文件上传和同步一起来),直接用电脑自带的OneDrive

将压缩文件复制到文档这个文件夹下面,我的这个压缩包有1个G,复制的速度很快,接下来就是同步,建议找个网速快的地方,学校的校园网我发现是真滴慢,我用流量同步的,心疼1个G的流量。。。。

接下来这个OneDrive小窗口,就会显示让你同步,耗费流量的。。。速度也还行!

最后利用MultCloud拓展程序,将文件从OneDrive上传到Google 云端硬盘上,直接加到Google浏览器的拓展程序就好,在应用商店下载

进去之后界面是这样的,点击Add Cloud

将Google Drive和OneDrive都添加进来,然后点击Cloud Transfer,左边是OneDrive的文件目录,右边是Google Drive文件目录

最后点击Transfer Now ,这个速度非常地块,大功造成!

然后就可以在你的Google 云端硬盘的目录下看到你的文件了,不过别高兴太早,这还只是压缩包,还没解压类,解压也弄的我差点自闭。。。。

解压:首先挂载好谷歌云盘,我就是这一步没做,然后运行别人写的解压命令,一直都是找不到本地目录,真的要自闭了。。。因为他们的解压代码文件路径都有/content/drive/My Drive开头,我没有挂载是肯定没有这个drive文件目录。。。。所以一直会报错!

import os from google.colab import drive drive.mount('/content/drive') path = "/content/drive/My Drive" os.chdir(path) os.listdir(path)

然后运行下面的代码,文件目录和输出目录都按照你自己的就好了,最后显示成功运行

!pip install pyunpack !pip install patool from pyunpack import Archive Archive('/content/drive/My Drive/Colab/Notebooks/yoloV3.rar').extractall('/content/drive/My Drive/Colab/Notebooks')

我的云端硬盘里也有了这个文件夹,最后的压缩包没用给删了。

google云端硬盘无法连接到代码执行程序。

这个是我设置计算机为GPU模式的时候一直遇到的,不知道为啥,可能是不想让我用吧,我一般都默默的换成None。。。。

参考文章

我看了很多的博客文章,最终终于完成了Colab的入门,希望我写的文章能对您有所帮助,如果对我写的东西还不太理解,可以康康这些参考文章!看到这里了,不妨来个赞吧,哈哈哈哈!

https://mp.weixin.qq.com/s/zYU3RY6dgH4pCWyW-WCRwQ 教白嫖gpu服务器

https://zhuanlan.zhihu.com/p/54389036 苦逼学生党的Google Colab使用心得 https://blog.csdn.net/qq_36890370/article/details/106160805 Colab使用教程 https://www.cnblogs.com/zgqcn/p/11186406.html colab实用教程 https://www.freesion.com/article/42081149133/ 解决colab上传数据集慢的问题

如何使用Google Colab 在线解压GoogleDrive里的RAR ZIP等压缩包https://www.uud.me/qiwenzalun/colab-unzip-unrar.html Colab如何解压rar和zip文件https://blog.csdn.net/weixin_42870380/article/details/114731820

最后google云端硬盘无法连接到代码执行程序。

相关文章

面试:软件测试个人简历如何编写?

面试:软件测试个人简历如何编写?...

1、PCB常用走线宽度

1、PCB常用走线宽度...

TCP/IP四层模型、HTTP、HTTPS、TCP

TCP/IP四层模型、HTTP、HTTPS、TCP...

【专栏必读】王道考研408计算机网络+网络编程万字笔记、题目题型总结、注意事项、目录导航和思维导图

【专栏必读】王道考研408计算机网络+网络编程万字笔记、题目题型总结、注意事项、目录导航和思维导图...

【云原生 • Kubernetes】认识 k8s 网络、外部网络访问 k8s 内部服务

【云原生 • Kubernetes】认识 k8s 网络、外部网络访问 k8s 内部服务...

JMETER性能测试

JMETER性能测试...