机器学习-K均值 KMeans

机器学习是一类算法的总称,这些算法企图从大量历史数据中挖掘出其中隐含的规律,并用于预测或者分类,更具体的说,机器学习可以看作是寻找一个函数,输入是样本数据,输出是期望的结果,只是这个函数过于复杂,以至于不太方便形式化表达。
需要注意的是,机器学习的目标是使学到的函数很好地适用于“新样本”,而不仅仅是在训练样本上表现很好。学到的函数适用于新样本的能力,称为泛化(Generalization)能力。

机器学习-随机森林 RandomForest

机器学习是一类算法的总称,这些算法企图从大量历史数据中挖掘出其中隐含的规律,并用于预测或者分类,更具体的说,机器学习可以看作是寻找一个函数,输入是样本数据,输出是期望的结果,只是这个函数过于复杂,以至于不太方便形式化表达。
需要注意的是,机器学习的目标是使学到的函数很好地适用于“新样本”,而不仅仅是在训练样本上表现很好。学到的函数适用于新样本的能力,称为泛化(Generalization)能力。

人工智能 AI Science


人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。
人工智能是一门极富挑战性的科学,从事这项工作的人必须懂得计算机知识,心理学和哲学。人工智能是包括十分广泛的科学,它由不同的领域组成,如机器学习,计算机视觉等等,总的说来,人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
但不同的时代、不同的人对这种“复杂工作”的理解是不同的。2017年12月,人工智能入选“2017年度中国媒体十大流行语”。2021年9月25日,为促进人工智能健康发展,《新一代人工智能伦理规范》发布。

自然语言 NLP

《圣经》里有一个故事说巴比伦人想建造一座塔直通天堂。建塔的人都说着同一种语言,心意相通、齐心协力。上帝看到人类竟然敢做这种事情,就让他们的语言变得不一样。
因为人们听不懂对方在讲什么,于是大家整天吵吵闹闹,无法继续建塔。后来人们把这座塔叫作巴别塔,而“巴别”的意思就是“分歧”。
虽然巴别塔停建了,但一个梦想却始终萦绕在人们心中:人类什么时候才能拥有相通的语言,重建巴别塔呢?机器翻译被视为“重建巴别塔”的伟大创举。
假如能够实现不同语言之间的机器翻译,我们就可以理解世界上任何人说的话,与他们进行交流和沟通,再也不必为相互不能理解而困扰。

计算机视觉 CV

计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。
作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
这里所指的信息指Shannon定义的,可以用来帮助做一个“决定”的信息。
因为感知可以看作是从感官信号中提 取信息,所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

深度学习 Deep Learning

人类大脑中,大约有1000亿个神经元,每个神经元与大约10万个神经元相连。从本质上说,这就是我们想要创造的,在某种程度上,这对机器来说是可行的。
深度学习的目的是模仿人类大脑的工作方式。这在神经元,轴突,树突等方面意味着什么?嗯,神经元有胞体,树突和轴突。来自一个神经元的信号沿着轴突传播并转移到下一个神经元的树突。传递信号的那个连接被称为突触。

推荐系统 Recommendation

推荐系统是信息过载所采用的措施,面对海量的数据信息,从中快速推荐出符合用户特点的物品。解决一些人的“选择恐惧症”;面向没有明确需求的人。
解决如何从大量信息中找到自己感兴趣的信息
解决如何让自己生产的信息脱颖而出,受到大众的喜爱
总得来说:让用户更好更快获取到自己喜欢的内容,让内容更好更快地推送到喜欢它的用户手中,让网站(平台)更有效的保留用户资源。

Python网站框架 Django

项目开发常用复用的工具函数

Django

Django操作

django-admin startapp APPname 创建APP
project.setting.DATABASES 项目数据库
python manage.py makemigrations 创建迁移
python manage.py migrate 迁移–将Model中创建的数据表同步到数据库中
python manage.py startapp xxxx 创建文件夹
django-admin startproject 项目名称
python manage.py startapp 应用app名
setting.py ———-> 在APP列表中新增APP名 配置数据库地址
Model.py ———-> 定义项目使用的model
在对应的APP中的views.py创建类及对应函数render 创建对应的html文件

数据处理 python pandas

通往机器学习算法工程师的进阶之路是崎岖险阻的。《线性代数》 《统计学习方法》《机器学习》《模式识别》《深度学习》,以及《颈椎病康复指南》,这些书籍将长久地伴随着你的工作生涯。
除了拥有全面、有条理的知识储备,想成为一名优秀的算法工程师,更重要的是对算法模型有着发自心底的热忱,对研究工作有一种匠心精神。这种匠心精神,直白来讲,可以概括为:发现问题的眼光、解决问题的探索精神,以及对问题究原竟委的执着追求

基础操作 Python

人类大脑中,大约有1000亿个神经元,每个神经元与大约10万个神经元相连。从本质上说,这就是我们想要创造的,在某种程度上,这对机器来说是可行的。
深度学习的目的是模仿人类大脑的工作方式。这在神经元,轴突,树突等方面意味着什么?嗯,神经元有胞体,树突和轴突。来自一个神经元的信号沿着轴突传播并转移到下一个神经元的树突。传递信号的那个连接被称为突触。

高阶使用 Python

人类大脑中,大约有1000亿个神经元,每个神经元与大约10万个神经元相连。从本质上说,这就是我们想要创造的,在某种程度上,这对机器来说是可行的。
深度学习的目的是模仿人类大脑的工作方式。这在神经元,轴突,树突等方面意味着什么?嗯,神经元有胞体,树突和轴突。来自一个神经元的信号沿着轴突传播并转移到下一个神经元的树突。传递信号的那个连接被称为突触。

常用函数 Python

常用python函数

  • 数学相关: abs / divmod / pow / round / min / max / sum
  • 序列相关: len / range / next / filter / map / sorted / slice / reversed
  • 类型转换: chr / ord / str / bool / int / float / complex / bin / oct / hex
  • 数据结构: dict / list / set / tuple
  • 其他函数: all / any / id / input / open / print / type

基础操作 Shell

人类大脑中,大约有1000亿个神经元,每个神经元与大约10万个神经元相连。从本质上说,这就是我们想要创造的,在某种程度上,这对机器来说是可行的。
深度学习的目的是模仿人类大脑的工作方式。这在神经元,轴突,树突等方面意味着什么?嗯,神经元有胞体,树突和轴突。来自一个神经元的信号沿着轴突传播并转移到下一个神经元的树突。传递信号的那个连接被称为突触。

数据库操作 Hive / sql sever


数据库在磁盘上就是一个文件;数据库管理系统是管理数据库的一个软件; 数据库:存放数据的仓库;Databsae,简称DB
模型训练需要使用大量的数据 使用python读取数据库再用 pandas 进行操作 占用时间/内存资源 并且处理大量数据时效率较低
实际使用时直接在数据库里进行简单的字符串操作/数据简单的加减乘除等 最后把处理后的数据结果表拉近python用于模型训练等操作

数据处理 Sql Basic

SQL(Structured Query Language)==是“结构化查询语言”,它是对关系型数据库的操作语言。它可以应用到所有关系型数据库中,例如:MySQL、Oracle、SQL
虽然 SQL 可以用在所有关系型数据库中,但很多数据库还都有标准之后的一些语法,我们可以称之为“方言”。例如 MySQL 中的 LIMIT 语句就是 MySQL 独有的方言,其它数据库都不支持!当然,Oracle 或 SQL Server 都有自己的方言。
模型训练需要使用大量的数据 使用python读取数据库再用 pandas 进行操作 占用时间/内存资源 并且处理大量数据时效率较低
实际使用时直接在数据库里进行简单的字符串操作/数据简单的加减乘除等 最后把处理后的数据结果表拉近python用于模型训练等操作

数据处理 Athena

AWS数据查询工具-Athena
Amazon Athena 是一种交互式查询服务,让您能够轻松使用标准 SQL 直接分析 Amazon Simple Storage Service (Amazon S3) 中的数据。只需在 AWS Management Console 中执行几项操作,即可将 Athena 指向 Amazon S3 中存储的数据,并开始使用标准 SQL 运行临时查询,然后在几秒钟内获得结果。
Amazon Athena 还可使用 Apache Spark 以交互方式轻松运行数据分析,无需规划、配置或管理资源。在 Athena 上运行 Apache Spark 应用程序时,您需要提交 Spark 代码以进行处理并直接接收结果。使用 Amazon Athena 控制台中简化的笔记本体验,以通过 Python 或 Athena 笔记本 API 开发 Apache Spark 应用程序。
Athena SQL 和 Amazon Athena 上的 Apache Spark 无服务器,因此您无需设置或管理任何基础设施,只需为运行的查询付费。Athena 可自动扩展(并行执行查询),因此,即使在数据集很大、查询很复杂的情况下也能很快获得结果。


Powered by Hexo and Hexo-theme-hiker

Copyright © 2013 - 2024 HELLO WORLD All Rights Reserved.

UV : | PV :