AI Studio

AI Studio

百度AI Studio是针对AI学习者的在线一体化开发实训平台,它包含了包括AI教程,代码环境,算法算力,数据集等很多内容。

  • 项目。项目大厅有很多他人的项目可以供自己学习参考,这就是共享项目。同时也可以自己创建项目,添加数据集,运行开发环境,他的算法框架包括了paddlepaddle和sklearn等。我在项目大厅fork了一个关于paddle的项目,如图

  • 数据集。数据集包括一些经典的公开数据集,像MNIST,IMDB,CIFAR10,Penn Treebank,MovieLens 等;也包括一些开放的百度数据。用户也可以上传自定义数据进行模型开发。

  • 比赛。比赛这个模块可以说是一些工程师最喜欢的了,因为它不仅可以提高自己的水平,而且有奖金可以拿。Studio赛制清晰,社区完善还提供平台训练,能够更加公平的进行竞赛。

  • 课程。关于课程,PaddlePaddle关于机器学习的教程应该是中文里最好的教程之一,不仅有机器学习、深度学习的视频公开课和教程文档,而且包含了大量的各个方向的深度学习实例,比如图像分类,词向量,个性化推荐,情感分析,语义角色标注以及机器翻译等,不仅从原理层面进行深入浅出的讲解,更提供模型代码逐行进行实操。能够有效的帮助人们学习更多的知识。

Python

  • fork python语法

  • python语法总结xinz

  • 标识符。在Python里,标识符由字母、数字、下划线组成。所有标识符可以包括英文、数字以及下划线(_),但不能以数字开头,区分大小写的。以下划线开头的标识符是有特殊意义的。以单下划线开头 _foo 的代表不能直接访问的类属性,需通过类提供的接口进行访问,不能用 from xxx import * 而导入。以双下划线开头的 __foo 代表类的私有成员,以双下划线开头和结尾的 foo 代表 Python 里特殊方法专用的标识,如 init() 代表类的构造函数。Python 可以同一行显示多条语句,方法是用分号。

  • 输出。print输出是默认换行的,如果要实现不换行需要在变量末尾加上逗号。

  • 注释。python中单行注释采用#开头。多行注释使用三个单引号(''')或三个双引号(""")。

  • 引号。Python可以使用引号(')、双引号(")、三引号 '''或""") 来表示字符串,引号的开始与结束必须是相同类型的。其中三引号可以由多行组成,编写多行文本的快捷语法,常用于文档字符串,在文件的特定地点,被当做注释。

  • 行和缩进。学习 Python 与其他语言最大的区别就是,Python 的代码块不使用大括号{}来控制类,函数以及其他逻辑判断。python 最具特色的就是用缩进来写模块。缩进的空白数量是可变的,但是所有代码块语句必须包含相同的缩进空白数量,这个必须严格执行。

Jupyter notebook

  • 简介。Jupyter notebook是一种Web应用,能让用户将说明文本、数学方程、代码和可视化内容全部组合到一个易于共享的文档中。

  • 极其适合数据分析。Jupyter Notebook可以将所有内容收归一处,使人们顿觉灵台清明,思路更加清晰了呢、

  • 支持多语言。包括R语言,或者是想用学术界常用的MATLAB和Mathematica,这些都不成问题。分享便捷,支持以网页的形式分享,GitHub中天然支持Notebook展示,也可以通过nbviewer分享你的文档。当然也支持导出成HTML、Markdown、PDF等多种格式的文档。

  • 远程运行。在任何地点都可以通过网络链接远程服务器来实现运算。

  • 交互式展现。不仅可以输出图片、视频、数学公式,甚至可以呈现一些互动的可视化内容,比如可以缩放的地图或者是可以旋转的三维模型。

Linux基本命令

这里列出部分详细见xinz

  • pwd:显示当前路径
    cd :切换目录
    用法:cd
    cd ../ 切换到上级目录
    cd /   切换到根目录
    cd ~  (或只有cd )切换到当前用户主目录(home底下以用户名命名的文件夹) /root目录
    mkdir 创建目录
    mkdir 目录名  -p   递归创建目录

  • rmdir 删除空目录
    用法:rmdir 目录名
    也可用:rm -rf 目录名

  • ls 查看目录或文件信息
    主要选项:
    -l 列出目录或者文件的详细信息。比如权限、修改时间等等
    -a 列出当前目录下所有文件,包括隐藏文件(已点开头的都是隐藏文件)

  • vi 文本编辑器
    键入i 进入编辑状态
    退出编辑按ESC键
    不保存退出: :q!
    保存退出:   :wq
    输入/,进入搜索
    输入:set nu,显示每一行的行数
    按键盘G,可以直接定位到最末尾

  • cp 复制
    用法:cp [选项]文件名或目录  目标地址
    -R 拷贝目录及目录下所有目录和文件
    cp a.txt  b.txt   将a文件复制,且另命名为b文件(目录名)

  • mv 移动 
    用法:mv 文件名或目录  目标目录
    mv a.txt ../    将a文件移动到上级目录(将一个文件移动到另一个目录没有重命名)
    mv a.txt  ../b.txt   将a文件移动到上一级并改名为b文件(将一个文件移动到另一个目录并重命名)

  • rm 删除文件或目录
    -f 强制删除
    -r 删除目录   
    常用:rm -rf 文件或目录

  • find 查找文件
    用法:find [路径] [选项]
    常用选项有:
    find  . -name *.log    在当前目录查找以.log结尾的文件
    find  / -name  log   在根目录查找log命名的目录

Fork有关网民情绪的项目

经过运行理解,大致明白了创建一个项目的具体步骤,大致为以下几步在安装更新paddlepaddle之后

  • 将数据整理成特定格式
  • 定义Dataset数据类
  • 加载模型
  • 构建reader数据读取接口
  • 确定finetune训练策略
  • 配置finetune参数
  • 确定任务,开始finetune(训练)
  • 预测
原文地址:https://www.cnblogs.com/hlchlc/p/13412219.html