DecafTea的博客

reference：机智的叉烧：https://www.zhihu.com/column/c_127266200厂妹：https://www.zhihu.com/question/264459321/answer/12292593521. 算法工程师的工程能力工程能力，对于一个算法/策略需求，你能从无到有地建立好模型/设计好策略，并将其投入实际应用，包括后续的监控迭代的能力。包括：1） 数据的操纵能力一个是，懂得数据的操作，能够规范化，整理成模型需要的格式，甚至包括写SQL，确认数据的来源等等；

传统文件系统 + 数据库的数据存储和处理方法批处理大数据架构：分布式存储 + MapReduce只能批量处理已经落盘的静态数据，无法在数据采集、传输等数据流动的过程中处理数据，因此被称为批处理。过程：数据源 – ETL（服务器端预处理） – HDFS(分布式存储系统) – MapReduce（分布式数据批处理） – 数据使用如BI工具，数据分析，特征工程缺点：只能批处理HDFS中的数据，因此延迟性较大，影响实时性。流计算大数据架构：流计算平台 + 存储系统流计算大数据架构在数据流..

reference：摘自机智的叉烧的知乎回答和微信推文https://www.zhihu.com/people/ceng-guan-rong-72/answershttps://mp.weixin.qq.com/s/xdJcQZgHUeGjZLzxUAp36g1. NLP二分类任务，为什么各种模型最后的训练结果(F1,ACC)都相差甚微（使用Glove词向量）？1）分析问题：遇到问题首先，要知道症在哪，要知道的核心就在于你要足够理解病症问题，对于算法问题，大到看数据整体分布，看数据整体特点，小到看