Python实现Doris ODS层数据同步到历史表

各位老铁们好，相信很多人对Python实现Doris ODS层数据同步到历史表都不是特别的了解，因此呢，今天就来为大家分享下关于Python实现Doris ODS层数据同步到历史表以及的问题知识，还望可以帮助大家，解决大家的一些困惑，下面一起来看看吧！

python3 doris.py ods_stu

# coding: utf-8import pymysqlimport sys# 检查是否传递了足够的参数if len(sys.argv) != 3 : print(''' 请传递两参数第一个参数: 表名(不包含后缀) 第二个参数: 关联条件,判断数据唯一性,业务表中主键或唯一建(如果包含空格使用双引号包裹) ''') sys.exit(1) # 获取参数# 获取传入表名table_name = sys.argv[1].strip()# 关联条件where = sys.argv[2].strip()# Doris数据库连接参数doris_host = 'cdh002'doris_port = 9030 # 注意：这里应该是整数doris_user = 'root'doris_password = ''doris_db = 'test'# 建立连接conn = pymysql.connect(host=doris_host, port=doris_port, user=doris_user, passwd=doris_password, db=doris_db)# 创建游标对象cursor = conn.cursor()# 编写您的SQL查询query1 = '''select TABLE_NAME , GROUP_CONCAT(COLUMN_NAME ORDER BY ORDINAL_POSITION ),GROUP_CONCAT(CONCAT('nvl(',COLUMN_NAME,',''---'') ',COLUMN_NAME) ORDER BY ORDINAL_POSITION ) COLUMN_NAME,GROUP_CONCAT(CONCAT('nvl(',COLUMN_NAME,',''---'') ') ORDER BY ORDINAL_POSITION ) COLUMN_NAME1from information_schema.columns where TABLE_SCHEMA = 'test' and TABLE_NAME =''''query2 = '''_for' GROUP by TABLE_NAME ;'''query = query1 + table_name + query2 #print(query)# 执行查询cursor.execute(query)# 获取查询结果rows = cursor.fetchall() b=rows[0][1]d=rows[0][3]query2='insert into ' + table_name +'_his select * from (with a as(select md5sum(' + d +') md5,' + b + ' from ' + table_name + '_for EXCEPT select md5,' + b + ' from ' + table_name + '_his), b as (select md5,' + b + ',START_DT,CURRENT_DATE() END_DT from a RIGHT SEMI join '+ table_name + '_his osh on '+ where +' AND osh.end_dt = '9999-12-31' ) select md5,' + b + ' ,CURRENT_DATE() START_DT,'9999-12-31' END_DT from a union all select md5,' + b + ', START_DT,END_DT from b) c;'print(query2)'''cursor.execute(query2)rows = cursor.fetchall()for row in rows: print(row)'''# 关闭游标和连接cursor.close()conn.close()

用户评论

一笑傾城゛

终于找到解决 Python 操作 Doris ODS 层数据同步到历史表问题的答案了！之前一直卡在数据处理和写入上，这篇文章真是及时雨！

有16位网友表示赞同！

你与清晨阳光

文章写的很详细，例子也比较贴近实际应用，尤其是关于数据类型转换和错误处理的部分，值得收藏！

有8位网友表示赞同！

绳情

虽然是 Python 操作 Doris ODS 层，但感觉代码有点复杂，新手可能不太容易理解。希望作者能再写一篇更简单的入门教程。

有13位网友表示赞同！

恰十年

感觉这篇博文内容比较干货，我之前一直用 ETL 工具处理数据同步，现在学到了用 Python 直接操作 Doris 的方法，感觉效率更高！

有8位网友表示赞同！

落花忆梦

作者用 Python 实现 Doris ODS 层数据同步到历史表，感觉很厉害，但实际应用中会遇到哪些挑战呢？

有17位网友表示赞同！

你tm的滚

文章中提到的一些方法我之前没接触过，比如 Doris 的数据分区和数据压缩，感觉很实用，值得深入学习！

有12位网友表示赞同！

面瘫脸

代码写的有点简略，很多细节没有说明，例如错误处理和异常情况，希望作者能进一步完善一下。

有7位网友表示赞同！

从此我爱的人都像你

感觉这篇文章更像一个技术文档，内容比较专业，适合有一定 Python 和 Doris 基础的人学习。

有13位网友表示赞同！

逾期不候

看到作者用 Python 操作 Doris ODS 层，突然想起之前项目中也遇到过类似的问题，现在终于找到解决方案了！

有9位网友表示赞同！

煮酒

Doris 作为一款高性能的 OLAP 数据库，用 Python 操作它感觉效率很高，但对于数据量很大的情况，是否还有更好的方法呢？

有19位网友表示赞同！

古巷青灯

作者文章思路清晰，结构合理，但感觉内容略显单薄，建议可以添加一些实际应用的案例，让读者更容易理解。

有17位网友表示赞同！

隔壁阿不都

Python 操作 Doris 的方式有很多，作者只介绍了一种，希望以后能看到更多关于 Doris 数据同步的技巧。

有11位网友表示赞同！

遗憾最汹涌

感觉这篇文章有点理论化，缺少一些实践经验的分享，例如如何优化代码效率，如何处理数据一致性问题等等。

有13位网友表示赞同！

你身上有刺，别扎我

文章内容比较基础，对于已经掌握 Python 和 Doris 的同学来说可能帮助不大，但对于新手来说是个不错的入门教程。

有7位网友表示赞同！

病态的妖孽

作者文章的代码风格比较简洁，但感觉缺乏注释，希望作者能添加一些注释，方便读者理解代码逻辑。

有7位网友表示赞同！

余温散尽ぺ

感觉这篇文章更适合作为学习笔记，而不是一个完整的技术分享，建议作者可以添加更多关于 Doris 的知识点，丰富内容。

有17位网友表示赞同！

風景綫つ

Python 操作 Doris 的方法很多，作者选择了一种比较常见的方案，感觉还有其他方法可以尝试，例如使用一些开源库进行数据同步。

有7位网友表示赞同！

情字何解ヘ

文章内容很实用，但对于一些关键问题，例如数据安全性和数据完整性，作者没有深入讲解，希望作者能在后续文章中进行探讨。

有18位网友表示赞同！

浅笑√倾城

感觉这篇文章更适合作为技术参考，而不是一个完整的解决方案，希望作者能提供更多关于 Doris ODS 层数据同步的最佳实践案例。

有15位网友表示赞同！

巷口酒肆

Python 操作 Doris 的方法真是越来越多了，感觉学习成本也越来越高，希望作者能提供更多关于 Doris 的学习资源，方便大家学习。

有15位网友表示赞同！

用户评论

孤廖

终于有人解决了这个老问题！我们公司也一直痛恨 Doris 和 ODS层的同步工作量巨大啊，这篇文章正好给我点思路了。

有5位网友表示赞同！

龙吟凤

感觉写的很详细，代码注释也很到位，就是我Python功底还差点儿，需要多加练习才能彻底理解

有9位网友表示赞同！

鹿先森，教魔方

这个Doris ODS层数据同步问题，对生产环境来说影响挺大的，这种实用的技术总结太值钱了！收藏一波先!

有14位网友表示赞同！

在哪跌倒こ就在哪躺下

作者说的没错，现在很多公司的数据系统都包含历史表的使用，这个Python实现方法很实用的哦，希望能看到更多的案例分享!

有17位网友表示赞同！

呆檬

我是数据分析工程师，遇到类似问题也经常手头忙乱，看了这篇文章有收获! 感觉用 Python 实现能自动处理同步逻辑，确实比手动操作效率高很多。

有8位网友表示赞同！

凝残月

历史表的设计和维护本身就挺复杂的，加上Doris 的ODS层，这个Python实现方案的难度应该不低吧？

有8位网友表示赞同！

情深至命

看了代码发现作者使用的是一些 Python内置库来完成数据同步，这种方式简单易懂，而且维护成本相对较低，很适合小型应用场景。

有19位网友表示赞同！

发呆

我觉得这篇博文最大的优点就是能把Doris ODS层的数据同步问题细致地剖析出来，然后给出可行的解决方案，非常实用!

有19位网友表示赞同！

一点一点把你清空

希望作者能后续分享更多使用这个 Python 方案的案例，比如具体的代码调试、性能测试等方面

有16位网友表示赞同！

青衫故人

虽然博文对 Python实现方案讲解得很清楚，但是对于一些没有Python基础的人来说，还是需要先学习一下相关知识才能理解

有9位网友表示赞同！

权诈

我对 Doris 的ODS层并不太了解，但是感觉这篇文章的思路很可以借鉴到其它数据同步场景中去。

有13位网友表示赞同！

未来未必来

这个 Python 实现方案最大的优势应该是可读性强，方便维护和修改，这样对于代码团队来说是非常有帮助的。

有13位网友表示赞同！

古巷青灯

这种数据同步方式相比于传统的 ETL 工具更加灵活，可以根据实际需求定制脚本，实现更精准的数据处理。

有5位网友表示赞同！

葵雨

文章中提到的历史表的设计原则值得仔细思考，比如数据粒度、时间范围等因素需要在最初设计阶段就考虑清楚。

有12位网友表示赞同！

金橙橙。-

对于 Doris 的ODS层数据同步来说，除了 Python 实现方案以外，还有其他更专业的工具和服务可以提供帮助。文章中可以加入一些对比分析，让读者更好地做出选择

有14位网友表示赞同！

淡写薰衣草的香

总的来说，这篇文章内容实用，观点清晰，能够解决很多企业实际面临的数据同步难题。希望作者能够持续创作更多优质的技术文章!

有8位网友表示赞同！

仰望幸福

作为一名资深数据工程师，我对 Doris 的ODS层实现方案比较熟悉，这篇博文的内容与我的理解一致，同时也有一些新的见解可以借鉴.

有8位网友表示赞同！

孤者何惧

如果能提供一些更详细的数据同步案例分析，再加上一些代码优化的技巧，这篇文章就更加完美了!

有14位网友表示赞同！

本文由发布，不代表千千择校网立场，转载联系作者并注明出处：https://www.qqzexiao.com/gdjy/5699.html

Python实现Doris ODS层数据同步到历史表

用户评论

用户评论

相关推荐

联系我们