谢乾坤 | Kingname

给时光以生命。

关于我

个人介绍

单位：红杉中国 | 高级数据分析师
Github：https://github.com/kingname
学校：电子科技大学
联系方式：[email protected]
微信公众号：

出版作品

个人专利

一种验证码的处理方法、装置、终端及存储介质

微软 MVP

2020-2023年度微软最有价值专家。

MVP ID：5003916

技术背景

  • Python/Golang/Java/JavaScript
  • Scrapy/Pandas/Flask/Django/Tkinter
  • ELK/MaxCompute/Kafka/Linux
  • MongoDB/Redis/MySQL
  • Uiautomator/Android自动化测试
  • Scrum
  • 运营商数据清洗提取与分析/银行卡数据清洗提取与分析/APP数据清洗提取与分析/卫星数据识别与分析

工作经历

红杉中国

  • 2023.05 - 至今
  • 高级数据分析师
  • 投资人背后的工程团队，负责数据抓取、投资标的调研、尽职调查等事项。

字节跳动

  • 2022.07 - 2023.05
  • 高级后端工程师
  • 负责通用BI系统风神的开发维护和调优。

NewsBreak

  • 2020.09 - 2022.07
  • 高级研发工程师
  • 负责新闻类通用爬虫的开发和维护。实现了23个国家，日均近百万篇新闻入库

网易游戏

  • 2018.05 - 2021.09
  • 高级数据挖掘工程师、爬虫组组长、风言舆情项目技术负责人
  • 负责舆情干预项目/舆情监控系统项目的开发

连尚网络

  • 2017.12 - 2018.04
  • 资深爬虫工程师
  • 爬虫系统开发/可视化爬虫管理系统开发

BigOne Lab

  • 2017.02 - 2017.12
  • 数据工程师
  • 负责爬虫开发/数据采集/数据清洗/数据处理/架构设计

MediaTek.Inc

  • 2015.03 - 2017.02
  • 软件工程师
  • 负责自动化测试框架开发/自然语言处理

项目经历

直播平台舆情监控系统

  • 实时监控各大直播平台视频与弹幕舆情
  • 实现分布式爬虫调度系统（600台服务器）
  • 基于Django与Vue实现舆情可视化分析系统

舆情机器人

  • 对各大游戏论坛的舆论引导与干预
  • 实现自动发帖、点赞、踩、评论、回复评论
  • 基于Django与Vue实现机器人轨迹可视化监控与定制

信息流爬虫

  • 基于中间人攻击与Android自动化测试技术
  • 实现日均20万新闻入库
  • 使用Kafka做数据转发

Scrapy可视化管理系统

  • 在网页中监控并管理Scrapy爬虫
  • 自动批量化部署Scrapy爬虫

通用爬虫系统

  • 自动对网页聚类与分类
  • 自动抽取并格式化网页内容
  • 自动探测与突破反爬虫机制

脱敏系统

  • 对银行卡数据/运营商数据脱敏
  • 自动清除姓名/地址/电话号码
  • 100万+条秒每分

定向爬虫开发课程

  • 在极客学院讲授定向爬虫开发课程
  • 课程访问量大于十万

基于自然语言的自动化测试案例开发系统

  • 使QA可以通过英语开发自动化测试案例并立刻进行测试
  • 实现完全自然的英语语法
  • 已在美国和中国申请专利

自动化测试系统维护

  • 新功能开发
  • 技术支持
  • 这个项目为公司节约了很多QA的成本

开发匿名聊天网站——未知道

  • 上线第一天访问量破2000
  • 上线第二天，访问量破10000
  • 基于Flask与Bootstrap开发

数据挖掘

  • 百度贴吧、百度榜单、百度用户资料
  • 淘宝店铺信息及商品评论
  • 全国各大视频网站评论
  • 众多小网站
  • 使用Scrapy+Redis+MongoDB制作分布式爬虫

卖肉漫画下载器

  • 分析目标网站漏洞
  • 编写爬虫
  • 多线程下载
  • wxPython编写图形界面

选课辅助软件

  • 需求分析
  • 设计数据库
  • 使用Python完成软件，使用wxPython制作图形界面，使用MySQL储存课程
  • 通过学校创新训练项目答辩

Python的游戏开发

  • Coursera课程项目——RiceRock
  • 设计游戏数据结构
  • 使用面向对象编程设计游戏底层代码
  • 使用SimpleGui图形库完成游戏编写
  • 通过Rice大学项目课程审核

主要证书

  • 全国计算机等级考试三级网络技术证书
  • 全国计算机等级考试二级C证书
  • 大学英语六级证书
  • 大学英语四级证书

我的课程

分布式爬虫专项课程

Python利器，超凡蜘蛛带你“爬”世界

定向爬虫系列课程：

  1. 基本的正则表达式
  2. 单线程爬虫
  3. Xpath与多线程爬虫
  4. 简单的模拟登录
  5. Scrapy初探
  6. MongoDB与Scrapy
  7. Scrapy与Redis入门
  8. 定向爬虫：动态加载网页的爬取

远控软件系列课程：

  1. 微信远控：Python 控制电脑的两种方法
  2. 微信远控：让微信控制电脑
  3. Flask 快速搭建网站
  4. 网页遥控电脑
  5. 编写图形界面的远程控制程序
  6. 开发远程控制程序高级功能

RSA 公钥

如果你需要给我发送任何不希望被监控的消息，你可以使用如下 RSA 公钥加密信息以后通过邮箱发送给我。

1
2
3
4
5
6
7
8
-----BEGIN RSA PUBLIC KEY-----
MIIBCgKCAQEApQSWvu/C5NH3aEGMqFTeiJrXbOM2Qi+uXc+FiApEWDYdyEMPQWKH
exJiFoyAa+JJ8OfmkTIVktkx0VqEcvfjfKxrGPk9JuQ6WL4/UUYs8/F+2ArDnMyR
lWcqaf1658QjrWYbFHxQ0eEOZ6RcRKME3p431mDMqeDpQtqlDyeMKGp7hSv5gnpd
Qjlyl1Jgoa4lAzyPv66IM1PD207qjLFCTY0udiWSFDiUlvgXcBHDypUqWGOUUSLE
vVXIE+KYNbR2g23iRa1IJGSCEz1xllt7QpygCwwd+vVGD8zaCHOEE7Fex0K/ybhi
Nvdt19qgxE8aIwGt0ln71DNpn+yZsq4fIwIDAQAB
-----END RSA PUBLIC KEY-----

关于本站

若无特殊说明，主站所有文章均为原创文章，并遵循 CC BY-SA 4.0 协议发布。

你可以自由地对博客中内容进行分享和创作演绎，但必须在文章末尾或参考文献处注明文章的出处（文章链接）。完整的协议可以参看这里。

0%