本子任务致力于探讨深海甲烷喷发与海洋生物分布之间的关系,并基于多源视频、图像和化学数据进行建模与分析。本任务的母项目是一个多学科交叉研究项目,结合了计算机视觉、生态学、地理信息系统(GIS)、化学分析与生态建模技术。本研究的主要目标是量化甲烷喷发对海底生物群落的影响,并探索喷发规模与生物分布、物种多样性之间的关系。
项目数据来源于深潜器的多视角摄像系统以及海水化学与微生物的垂直采样。我们收集了来自深潜器的以下视频数据:
- 前置摄像头
- 尾端摄像头
- 左右两个侧翼摄像头
此外,还进行了竖直方向的海水化学与微生物数据采样,这些数据将用于分析甲烷喷发对不同海水层的化学影响和微生物分布。
- 海底景观重建:根据多角度视频数据合成完整的海底二维图景,进行海底景观的复现,构建海底环境的整体视觉图。
- 海底生物分布分析:基于深潜器传回的视频,分析海底特定位置的生物密度和数量,探索海底不同生物群体在空间上的分布模式。
- 甲烷喷发与生物分布关系分析:量化甲烷喷发量与周围生物分布和密度的关系,并通过生态系统建模技术,预测甲烷喷发对生物分布的长期影响。
- 海水化学与微生物分布分析:基于海水采样数据,分析甲烷喷发对海水化学和微生物分布的影响,构建甲烷喷发影响范围的预测模型。
- 目标:使用计算机视觉与图像处理技术,对来自不同视角的海底视频进行图像拼接和重构,合成完整的海底景观图。
- 技术要点:目标检测、图像配准与拼接、三维建模、点云分析。
- 关键技术:OpenCV, SIFT/SURF 特征匹配, 点云处理(PCL),深度学习模型(如 YOLO, Mask R-CNN)。
- 目标:使用机器学习算法自动识别和统计海底特定区域内的生物种类和密度,并分析其时空分布特征。
- 技术要点:目标检测、图像识别、数据标注与分类、统计分析。
- 关键技术:深度学习(TensorFlow, PyTorch),图像标注工具(如 LabelMe),数据可视化(Matplotlib, Seaborn)。
- 目标:构建甲烷喷发对海洋生态系统中生物分布影响的模型,并量化甲烷喷发量与生物密度、种群数量之间的关系。
- 任务描述:
- 通过分析甲烷喷发区域与非喷发区域的生物数量差异,探讨甲烷喷发对局部生态系统的直接影响。
- 构建甲烷喷发量与生物数量之间的关系模型,并进行时空预测。
- 探讨甲烷喷发量、频率对生物聚集模式的长期影响。
- 技术要点:生态系统建模、物种分布模型(SDM)、广义线性模型(GLM)、时空分析、机器学习。
- 关键技术:scikit-learn, statsmodels, PyGAM, PyKrige, GeoPandas。
- 目标:基于海水垂直采样数据,量化甲烷喷发对不同深度海水化学成分和微生物群落的影响,构建甲烷扩散模型。
- 技术要点:空间数据处理、垂直采样数据分析、空间自相关与插值分析。
- 关键技术:GeoPandas, Rasterio, PyProj, Kriging 插值(PyKrige)。
- 数据处理:
pandas
,numpy
- 数据分析与统计:
scipy
,statsmodels
- 生态系统建模与预测:
scikit-learn
,pyGAM
,yolo
- 地理空间数据分析:
GeoPandas
,PyKrige
- 可视化:
matplotlib
,seaborn
- 待更新:
本项目属于团队合作项目,欢迎团队成员对不同任务模块进行补充、改进或提出新的研究思路。如果对当前任务有任何建议或需要交流,请通过以下方式联系本人:
-
姓名: 周陈序
-
联系邮箱:[alanzhou@sjtu.edu.cn]
-
微信:sx12345678zcx
-
团队成员可参考本文档以及zcx分支下的
README
文档,在自己的分支中创建README
用于日志
- 23:18,2024/10/03:创建项目及此文档,进行首次虚拟环境配置和调试,初步探索未来方向
- 22:00,2024/10/15:尝试使用yolo识别气泡
- 22:00,2024/10/20:第一次小组会议,沟通进度,交流想法,确定下一步方向
- 继续以通过视频重建海底生境地图为主要方向,demo效果可观,但受限于原视频清晰度拍摄时的晃动等因素,仍有优化空间
- 扇贝识别方面,目前yolov5直接识别不够准确,需要重新训练
- 甲烷衡量方面,zcx在做气泡识别,受限于清晰度以及背景过于复杂,未经训练的yolo模型表现不佳,尝试使用sam模型以及手动标注部分作为训练集重训练
- 其它同学仍在探索可能的方向
- 21:00,2024/10/31: 第二次小组会议(线上交流):
- 重建生境地图工作有较大进展,将探索完成全部视频的重建所需算力资源以及当前脚本的稳定性
- 扇贝识别采用现成封装好的模型后效果明显改善,但仍不完美,需要进一步训练,或者更新方法
- 气泡识别方面,采取提升视频对比度后,识别较为准确,可大致估算气泡数量密度,但仍不足以作为衡量甲烷浓度的标准,考虑时序动态识别方向
- 项目目前受限于全部视频仍未拿到(预计未来两周线下拷贝,物理传输),海水数据仍未采集完成,只能做方向的探索
- 18:00,2024/11/09: 线上讨论,期中周,考虑大部分组员本周即将由期中考试,小组会议形式改为微信群文字交流,暂缓进度,预计下周恢复正常
- 23:00,2024/11/10: notes,提醒组员及时上传进度,要求每个组员建立自己的分支,并每周更新
README
,作为进度记录 - 18:00,2024/11//21: 已获取全部航次视频和相关位置数据,目前保存在组长和蔡睿同学处,由蔡睿同学在先前的demo基础上进行修改,评估所需算例,先完成重建海底生境地图的任务;同时,初步浏览所有前置云台视频后发现拍摄到的冷泉喷发画面较少,难以支撑“数泡泡”方案衡量甲烷浓度等信息,暂时停止此方向的进一步探索。
- 22:00,2024/11/23: 预计明日(2024/11/24)下午7点进行一次大组会,将于组会讨论目前进展和问题。