Python网络爬虫笔记
参考 B 站IT 私塾的Python 爬虫编程基础 5 天速成(2021 全新合集)Python 入门+数据分析视频 初识网络爬虫网络爬虫(又被称为网页蜘蛛、网络机器人),是一种按照一定的规则,自动地抓取互联网信息的程序或者脚本。 其本质是,由一个入口网页进行深入,不停的进行其他的 URL 的爬取,然后再把抓取到的网页进行分析处理得出想要的数据。 Robots 协议,是网站跟爬虫间的协议,用简单直接的 txt 格式文本方式告诉对应的爬虫被允许的权限 网络爬虫的一般流程 发起请求,获取响应 通过 http 库,对目标站点进行请求。等同于自己打开浏览器,输入网址 常用库:urllib、urllib3、requests 服务器会返回请求的内容,一般为:html、二进制文件(视频,音频)、文档,json 字符串 解析内容 寻找自己需要的信息,就是利用正则表达式或者其他库提取目标信息 常用库:re、beautifulsoup4 数据持久化将解析得到的数据保存到文件或者数据库中 基本流程准备工作 弄清楚你需要爬取哪些页面,以及哪的数据 分析页面借助 Chrome 开发者工具(F1 ...
雅思口语笔记
看 Jerry 18年12月的网课所撰写的笔记,本人雅思已考过,现在免费分享给大家
机器学习笔记
机器学习概述什么是机器学习我们可以将模型理解为一个函数,输入模型的数据,我们称为训练数据。由训练数据来确定函数的参数的过程就叫训练数据(其实就是解方程)。 通过不断训练,我们最终会得到一个合适的模型,从而可以对未知的数据先进行预测。其实这过程和咋们人类学习过程十分类似,只不人的认知与判断是通过经验得到,而机器是通过数据得到。 其中,用于训练模型得到的每条数据,我们成为一个样本,而样本中的每个属性,我们称为特征,每个样本的目标输出值,我们称为标签(监督学习),我们习惯使用 x 来表示特征,习惯使用 y 来表示标签。 其实,咋们在初中就会训练模型了,比如算一道已知两点求直线方程的数学题,这类题目已经包括了机器学习的 2 个重要步骤: 训练 预测 正如大家所感受的那样,机器学习就是一个类似解方程的过程。然而,现实中的数据不可能像求直线方程那么简单,模型也不可能总是通过肉眼能观察出来,这时就需要咋们通过机器学习算法来进行建模了。 机器学习应用场景 语音识别技术、自然语言处理( Siri ,小娜,小度,小艾同学) 人脸识别(张学友演唱会上逃犯落网) 汽车无人驾驶技术(百度 Apollo) 专 ...
Agile Methodology Note
本笔记参考于 Agile Tutorial IntroWhat is Agile Methodology?An agile methodology is an iterative approach to software development. Each iteration of agile methodology takes a short time interval of 1 to 4 weeks. The agile development process is aligned to deliver the changing business requirement. It distributes the software with faster and fewer changes. The single-phase software development takes 6 to 18 months. In single-phase development, all the requirement gathering and risks management factors ...
一些常用英语近义表达的细微区别
咋们平时学习英语过程中,总能遇到些既熟悉又陌生的一组近义词,又不晓得有撒子区别, So let's get started, my friends! n.work & job job 是可数名词,强调职业。work 是不可数名词,强调抽象的工作,如日常工作学习。work 这个词比 job 更普遍,job 是一种特定的职业,work 是指为实现目标而进行的努力和活动,work 既可以在正式工作中也可以在工作之外完成。 He got a new job. 他找到了一份新工作。 He got some work to do. 他有一些工作要做。 work 多指体力或脑力的努力或活动。job 多指为换取报酬而进行的日常活动。 参考文章:work 和 job 的区别 holiday & vacation其实可以混用,没有对错之分,大家都能理解,也不会闹笑话。 如果要区分的话,Holiday 通常指一些官方的、特定的、宗教性质的或国家性质的假期,比如圣诞节、复活节、国庆节等。 在英式英语中,"holiday" 也可以用来指度假。 e.g ...
C语言程序设计刷题笔记
将跳转到我的个人文档网站,欢迎有想法的友友们来PR,共同撰写和完善笔记
IDEA相关问题合集
常规设置更换背景IDEA 如何设置自定义背景_idea 设置背景 更换浅色主题IntelliJIDEA2021 怎么更改主题为亮色#校园分享#-百度经验 (baidu.com) 设置字体大小随滚轮变化IDEA 设置字体随鼠标滚动放大缩小_idea 设置鼠标滚轮放大缩小 设置中文注释字体解决 idea 中文注释字体不统一_idea 注释字体粗细不一样 Git 没有下载Idea Git is not installed - 邓尘锋 (surest.cn) 给类、接口、方法设置注释IDEA 这样配置注释模板,让你高出一个逼格! (baidu.com) 报错合集启动时报错 Start Failed部分报错代码: 12Internal error. Please refer to http://jb.gg/ide/critical-startup-errorsjava.util.concurrent.CompletionException: java.net.BindException: Address already in use: bind 方法一 ...
芝士热狗棒,热量满满幸福满满
对的没错,这是一篇美食制作教程 🎊!动机源于我昨夜在 B 站刷到的一条转载于油管的美食教学视频,我滴肚子咕咕叫了 all night🐤,眼泪不争气地从口角流淌了出来,有时间一定要整活,孩子馋哭了 😋(戏过了) 其实我不算是个吃货叭,但难得有食物如此吸引我,所以我赶紧记录下来,以备不时之需 原视频是要制作 3 种类型的芝士热狗棒,分别是土豆芝士棒、泡面芝士棒、经典热狗棒 准备工作食材准备 1 颗常温鸡蛋 4g 活性干酵母 150g 高筋面粉 50g 米粉(可用低筋面粉代替) 3 根香肠(12cm) 芝士(马苏里拉) 1 颗土豆 淀粉(可以是玉米淀粉) 方便面 面包糠 配料准备 4g 盐 30g 糖 100ml 温水和半锅沸水 食用油 你喜欢的酱料(如番茄酱、芥末酱) 工具准备 3 根大竹签 塑料袋 保鲜膜 刀、碗、蒸锅等基本厨房用具 制作步骤制作面团 打一颗鸡蛋到大碗里,搅拌均匀 倒入 30g 糖、4g 活性干酵母,并搅拌均匀 倒入 150g 高筋面粉、50g 米粉、4g 盐,将盐稍微拌开 倒入 100ml 水,用手大力揉面,揉成面团状 盖上保鲜膜, ...
雅思词伙大全
主要收集于《顾家北手把手教你雅思词伙 2.0》一书,外加其它渠道的收集整理,祝路过的烤鸭选手屠鸭顺利~ 词伙的介绍什么是词伙?词伙(collocations)无论是在写作还是口语中都很重要,剑桥雅思公布的官方评分标准明确指明考生需要展示词伙能力。词伙可以理解成咋们常说的“搭配”、“短语”,但与之不同的是,它有仨特点: 与话题相关 不只是 2 个单词,可以由多个组成 需注意单复数、句子的位置和其它使用的特点 词伙的重要性 辨析单词 通过记背词伙能更好理解单词。煮个栗子,electric 和 electrical,仅通过看单词长相或背释义很难去分清它们的区别,但通过记背词伙,electric cars(电动汽车),electrical equipment(电器),能更好去理解单词意思,还有 influence,impact,effect 等意思相近的词。其实我觉得非母语者学英语的方式完全可以和像母语者那样,你无需知道太多的规则,你用多了见多了自然就形成一种天然的语感,知道怎么使用怎么搭配就行。 减少中式英文表达 使表达更加简洁 咋们很多人在表达一件事时,都习惯于逐字翻译自己大脑 ...
Office三剑客相关问题合集(Word、PPT、Excel)
前言:本篇收集了我使用微软 Office 办公软件时常见问题的解决方案 Office 所有办公软件Office 显示文件修复不了怎么办?我在网上搜索了很多方法,对我来说没有半点用,大概分为两种: 将受保护的视图的权限全部勾掉 右键文件属性取消阻止/解除锁定,第一种方法没有用,第二种,我右键根本没有选项。之所会 Office 文件修复不了,是因为很大可能对方传给你的文件是用 WPS 编辑的,两者不兼容 解决办法:在 Office 文件内点击另存为,然后打开另存为后的文件,即为正常打开。 🔥 激活 Office 软件强推以下良心教程 👍 视频教程(B 站):Office Tool Plus 系列教程之白嫖 Office(已下架,乌鱼子) 视频教程(YouTube):【Office Tool Plus 官方】还不会安装 Office?几个步骤即可搞定全部! 安装教程:[安装 Office] Office Tool Plus 入门教程 激活教程:[激活 Office] Office Tool Plus 入门教程 Wordword 怎样自动生成目录 word 中设置标题级别的 ...
美式黑人口语
图一乐,涨涨姿势,了解下美式黑人口语
数据库笔记
放我电脑里吃灰一年多了,这次直接分享出来。欢迎来共同撰写!