okx

你是个刚接触web3的数据师何成为一名Web3数据分析师?

时间:2022-02-11|浏览:502

假设你刚接触web3.数据分析师,开始组建你的 web3 分析团队,或者刚刚对 web3 对数据感兴趣。无论采用哪种方式,你都应该大致熟悉 APIs、 数据库、转换和模型web2 工作方式。

数据思考
让我们总结一下如何 web2 构建、查询和访问数据(即访问 Twitter 的 API)。简化数据渠道有四个步骤:
触发 API 事件(发了一些推文)
更新到数据库(连接到现有用户模型/状态变更)
特定产品/分析用例的数据转换
模型训练和部署(用于管理你的 Twitter feed)
当数据开源时,唯一需要的步骤是在转换完成后。Kaggle hugs Face(26,000 顶级 NLP 模型)和其他社区使用一些公共数据子集来帮助企业建立更好的模型。在某些特定的领域,如在前三个步骤中打开数据的开放街道地图,但它们仍然有写作权限的限制。
我想声明的是,我只是在这里谈论数据,我不是说 web2 根本没有开源。和大多数其他工程角色一样,web2 数据有大量的开源工具来构建它们的管道(dbt,apache,TensorFlow)。我们还在 web所有这些工具都在3 中使用。总之,他们的工具是开放的,但他们的数据是封闭的。
Web3 还开源数据,这意味着不仅数据科学家在开放环境中工作,分析工程师和数据工程师也在开放环境中工作!每个人都参与了一个更连续的工作流程,而不是一个几乎循环。
工作形式已作web2 数据坝到 web3 数据河流、三角洲和海洋。同样重要的是,生态系统中的所有产品都会同时受到这个循环的影响。
让我们看一个 web3 分析师如何一起工作的例子。几十家交易所使用不同的交易机制和费用,允许您使用代币 A 代币 B。如果这些都是典型的交易所,比如纳斯达克,每个交易所都会向 10报告自己的数据k 或一些 API,然后其他一些服务,比如 capIQ,将所有交换数据放在一起,然后收取费用,让您访问他们的 API。也许有时他们会举办创新竞赛,这样他们将来就可以收集额外的数据/图表功能。
在 web在3 交易所,我们有这样的数据流:
dex.trades 是 Dune 上表(由很多社区分析工程师随着时间的推移整理而成),所有 DEX 交换数据是聚合在一起的,所以你可以很容易地在所有交易所搜索单个代币的交易量。
一位数据分析师通过社区开源查询创建了一个仪表盘,所以现在我们正在整个 DEX 行业有一个公开的概述。即使所有的查询似乎都是一个人写的,你也可以猜测这是在discord经过大量的争论,准确地拼凑在一起。
DAO 科学家检查仪表板,并开始在自己的查询中分割数据,查看特定的正确性,如稳定货币。他们观察用户行为和商业模式,然后开始建立假设。因为科学家能看到哪个 DEX 在交易量中占有更大的份额,他们将提出新的模型,并提出改变治理参数,以便在链上投票和执行。
之后,我们可以随时查看公众查询/仪表板,看看如何创造更具竞争力的产品。
在未来,如果另一个 DEX 出现(或升级到新版本),此过程将重复。有人会创建插入查询来更新此表。这将反映在所有的仪表板和模型上(没有人必须回去手动修复/更改任何东西)。任何其他分析师/科学家都可以基于他人已经完成的工作。
由于共享的生态系统,讨论、合作和学习发生在一个更紧密的反馈周期中。我承认这有时是难以忍受的,我认识的分析师基本上都在轮换数据。然而,只要我们中的一个继续推进数据(例如,有人创建了一个插入 DEX 查询),那么别人就会受益。
它并不总是一个复杂的抽象视图,有时它只是一个实用的功能,如果它很容易搜索 ENS 多数 反向分析器或工具的改进,如自动生成graphQL 映射与 CLI 命令!所有这些都可以被每个人重用,并且可以在某些产品的前端或你自己的个人交易模型中 API 的使用。
虽然在这里打开的可能性是惊人的,但我确实承认车轮还没有顺利运行。与数据工程相比,数据分析师/科学领域的生态系统仍然不成熟。我认为有以下原因:
数据工程是web三年来的核心焦点,从客户端 RPC API 改进到基本 SQL/graphQL 聚合theGraph 和 Dune 这样的产品就是他们在这方面努力的例子。
对分析师来说,理解 web3 独特的跨协议关系表非常困难。例如,分析师可以理解如何只分析 Uniswap,但而,在混合中很难添加聚合器DEXs 和不同的代币类型。最重要的是,实现这一切的工具直到去年才真正出现。数据科学家通常习惯于收集原始数据,独自完成所有工作(建立自己的管道)。我认为他们不习惯在开发初期与分析师和工程师如此密切和开放的合作。就我个人而言,这需要一段时间。
除了学习如何合作,web3 数据社区仍在学习如何跨越这个新的数据堆栈。你不再需要控制基础设施,或者慢慢地从 excel 建立到数据池或数据仓库,只要你的产品在线,你的数据就会在线。您的团队基本上被扔到数据基础设施的最深处。
数据工具
让我们来看看每种类型和用法:
交互 数据源:主要用于前端、钱包和低级数据摄取。
客户端:虽然以太坊的底层实现是相同的,但每个客户端都有不同的额外特征。Erigon 大量优化数据存储/同步,Quorum 支持隐私链。
节点是服务:您不必选择运行哪个客户端,但使用这些服务将为您节省维护节点和 API 正常运行的麻烦。节点的复杂性取决于你想捕获多少数据(轻节点→全节点→归档节点)。
查询 数据映射:这层数据要么用作 URI 在合同中引用用合同 ABI 将交易数据从字节映射到表模式。ABI 告诉我们合同中包含哪些函数和事件,否则只能看到部署的字节码(没有这个 ABI,不能反向工程/解码合同交易)。
交易数据:这些是最常用的,主要用于仪表板和报告。theGraph 和 Flipside API 也在前端中使用。有些表是合约的 1:1 映射,有些表允许模式中额外的转换。
元数据协议:这些不是真正的数据产品,而是用来存储 DIDs 或存储文件。大部分 NFT 将使用其中一个或多个数据源,我认为今年我们将开始使用越来越多的数据源来增强我们的查询。
专业提供商:其中一些是非常强大的数据流产品,Blocknative 用于 mempool 数据,Parsec 用于链上交易数据。其他聚合链和链外数据,如 DAO 治理或国库数据。
高维数据提供商:您无法查询/转换他们的数据,但他们已经帮助您完成了所有繁重的工作。
若没有强大、优秀的社区来配合这些工具,web3 不会出现!我们可以看到每种类型对应的优秀社区:
Flashbots:专注于 MEV 上,从保护交易中提供自定义 RPC 到专业白帽服务。MEV 主要是指枪跑问题,当有人支付比你多的 Gas(但直接给矿商),这样他们就可以先交易了。
Dune 数据精英:专注于 Dune 为数据生态做出贡献的数据分析精英。
Flipside 数据精英:专注于 Web3 数据分析精英为数据升天做出贡献。
MetricsDAO:跨生态工作,处理多链上的各种数据奖励。
DiamondDAO:专注于 Stellar 数据科学工作主要集中在治理、财代币管理。
IndexCoop:重点分析代币等特定领域,制定加密货币行业最佳指标。
OurNetwork:每周对各种协议、 Web3 数据覆盖。
每个社区都做了很多改进 的工作web3 生态系统。毫无疑问,拥有社区的产品将以 100 倍的速度增长。这仍然是一个被严重低估的竞争优势。我认为他们不会得到这个优势,除非人们在这些社区建立了一些东西。

你是个刚接触web3的数据师何成为一名Web3数据分析师?
数据团队
不用说,你也应该在这些社区找到能加入你的团队的人。让我们进一步分析重要性web3数据技能和经验,让你真正知道自己在搜索什么。如果你想被雇佣,把它看作是你所追求的技能和经验!
至少分析师应该是 Etherscan 侦探何阅读 侦探Dune 仪表板。这可能需要1个月的时间来适应悠闲的学习,如果你真的想疯狂地学习,需要2周的时间。
此外,你还需要考虑更多的内容,特别是时间分配和技能转移。
时间: web3 中大约有30名数据分析师-40%的时间将花在与生态系统中的其他分析师和协议同步上。请确保你不会对他们感到头晕,否则这将对每个人造成长期损害。有必要与更大的数据社区一起学习、贡献和构建。
可转移性:在这个领域,技能和领域都是高度可转移的。如果使用不同的协议,启动时间可能会减少,因为链上数据的表模式是一样的。
记住,知道如何使用这些工具并不重要,每个分析师或多或少都应该写 SQL 或创建数据仪表板。这一切都是关于如何做出贡献和与社区合作的。如果你面试的人不是 web3 数据社区的一员(似乎对这一块不感兴趣)可能要问问自己这是否是危险信号。

热点:NFT 代币 以太 以太坊 加密货币 数据 钱包

欧易

欧易(OKX)

用戶喜愛的交易所

币安

币安(Binance)

已有账号登陆后会弹出下载

« 上一条| 下一条 »
区块链交流群
数藏交流群

合作伙伴

非小号交易所排名-专业的交易行情资讯门户网站,提供区块链比特币行情查询、比特币价格、比特币钱包、比特币智能合约、比特币量化交易策略分析,狗狗币以太坊以太币玩客币雷达币波场环保币柚子币莱特币瑞波币公信宝等虚拟加密电子数字货币价格查询汇率换算,币看比特儿火币网币安网欧易虎符抹茶XMEX合约交易所APP,比特币挖矿金色财经巴比特范非小号资讯平台。
非小号行情 yonghaoka.cn 飞鸟用好卡 ©2020-2024版权所有 桂ICP备18005582号-1